Andrey
Мы все обосремся и не раз
George
Это точно
Andrey
А про тестирование - у меня песочница и свои инструменты раскатывания кубеней, кой-че смогу
Andrey
Тот же пост про kubedb был написан после того, как он не пошел даже на стейджинг
Rainbow
Тот же пост про kubedb был написан после того, как он не пошел даже на стейджинг
Там по акценту было ясно 🧐
Andrey
Там по акценту было ясно 🧐
Это понятно, но когда всерьез хочешь мало-помалу перевести базы в кубеня, то имеет смысл протестить всех кандидатов на кодовую базу, даже когда все совсем подозрительно
Andrey
Да и кто интересуется kubedb, тем мой опыт в помощь, опять же
Rainbow
Andrey
nats не рассматривается?
Я пока не успел с ним разобраться, но на первый взгляд понял, что там плохо с персистентностью, а такое бы нежелательно в данном случае
Andrey
Но там вроде куча расширений, так что все равно поковыряю
Rainbow
Я пока не успел с ним разобраться, но на первый взгляд понял, что там плохо с персистентностью, а такое бы нежелательно в данном случае
там есть nats который гоняет события pubsub и сборку nats streaming который уже может персистентность и другие штуки.
Andrey
Вот, я про nats streaming и слышал. Воркеры вообще довольно медленные и там персистентность куда важнее производительности брокера
Terry
Вот, я про nats streaming и слышал. Воркеры вообще довольно медленные и там персистентность куда важнее производительности брокера
https://habr.com/ru/post/326880/
в комментариях инфы больше
Евгений
Просто Кафка "тяжелее". Ей и зукипер нужен ) и минимум три ноды (а в моем проекте - от 5)
Рассматривают возможность к etcd прикручивать https://issues.apache.org/jira/browse/KAFKA-6598
George
было бы неплохо
George
https://streaml.io/blog/pulsar-streaming-queuing
George
мне пульсар нра больше, но кафка какой-то более известный и более хайповый продукт
Andrey
Плюс, не зря же тогда брокеры типа кроля и кафки существуют
Andrey
Что-то тут не так
Евгений
Ну, кроль это 2007, а postgres queue эт ж 2016
Евгений
Kafka — 2011
Etki
как увидел 'postgres queue' в последнем сообщении, так тоже сразу пришел глазом дергаться
Евгений
Плюс, не зря же тогда брокеры типа кроля и кафки существуют
Так что если postgres queue ужасны (может это и правда так), то это не аргумент
Etki
хочется сразу спрашивать у людей, понимают ли они преимущества append-only и как влияет mvcc на хранение данных
Andrey
Так что если postgres queue ужасны (может это и правда так), то это не аргумент
Я не имел дела с pgq, поэтому не в состоянии предоставить аргументы
Andrey
Есть только подозрения
Rainbow
Я не имел дела с pgq, поэтому не в состоянии предоставить аргументы
Если у вас pg и не супер нагрузки то хорошо
Etki
если нет супер нагрузки, то вообще что угодно хорошо
Etki
пока оно не упало
Евгений
У меня подозрения только в области "Make each program do one thing well", но это точно не про postgres
Etki
ну рэббит не одним докер-образом запускается, конечно
Etki
да и два контейнера в случае кафки поднять тоже очень сложно
Евгений
Ну разваливающаяся кафка это же мем. Развернуть что угодно нынче просто, а вот поддерживать стабильную работу это другое
Etki
пока оно не упало
Etki
я тут не за кафку, я против очередей в mvcc
Etki
и за понимание процессов того, что поднимается
Andrey
Если у вас pg и не супер нагрузки то хорошо
Ну как. 170к тасок в день, но с очередями в постгресе они иногда встают и начинается нытье
Mikhail
Всем привет. А что с регой на второй митап в мейле?
Rainbow
Mikhail
Не вижу кнопки регистрации
Ivan
Не вижу кнопки регистрации
«Регистрация на событие пока закрыта: мы собрали достаточное количество заявок. »
Mikhail
Блин...
Rainbow
я тут не за кафку, я против очередей в mvcc
У этого дикий плюс есть- персистетность и гарантия exec once. А pgq как раз обходит косяки с вакуумом и тп. Лучше брать pgq, чем свои очереди в pg
Mikhail
«Регистрация на событие пока закрыта: мы собрали достаточное количество заявок. »
В мобильной версии страницы этого не показывают
Andrey
Почему встают?
Недорасставленные индексы, давно не работавший автовакуум, баги, после которых надо бы ускориться
Rainbow
Недорасставленные индексы, давно не работавший автовакуум, баги, после которых надо бы ускориться
Заучит как «давайте брать ещё сложную штуку, потому что в этой штуки не разобрались».
Etki
У этого дикий плюс есть- персистетность и гарантия exec once. А pgq как раз обходит косяки с вакуумом и тп. Лучше брать pgq, чем свои очереди в pg
что такое exec once? почему у других нет персистентности?
Rainbow
что такое exec once? почему у других нет персистентности?
Гарантия что событие один раз обработается. У кафки этой гарантии часто нет, не во всех кейфах. Я не знаток Кафки, но там нет «мы гарантируем»
George
Я могу представить постгрес очереди только , чтобы не тащить ещё кафку в прод
Rainbow
Я могу представить постгрес очереди только , чтобы не тащить ещё кафку в прод
Я про этот кейс и говорю. Часто достаточно pgq
George
Но этот кейс говно
George
Т.к. универсальное решение - худшее из возможных
George
Etki
во-первых кафка самая первая орет про "exactly once"
Etki
во-вторых его не существует в природе, что в постгресе, что в кафке
Etki
а в pgq звездочек нет, и поэтому физика порабощена, понятно
Andrey
Заучит как «давайте брать ещё сложную штуку, потому что в этой штуки не разобрались».
Куча воркеров берет задачи из одной таблицы
George
а в pgq звездочек нет, и поэтому физика порабощена, понятно
Там другие проблемы! И без звёздочек !
Евгений
во-вторых его не существует в природе, что в постгресе, что в кафке
А почему нельзя взять лок, обработать, снять лок. Конечно это будет "не более чем один раз", но верно это имеется в виду
George
Etki
А почему нельзя взять лок, обработать, снять лок. Конечно это будет "не более чем один раз", но верно это имеется в виду
как раз потому что это at least once
George
Например, процесс кинувший лок ушел в туман
George
Долго ждать будешь-то?