Yevhenii
проблема сразу же уйдет
Ivan
Ivan
Щас соберу и посмотрим
Yevhenii
ну, выключи тогда автофлаш
Ivan
Ivan
Sergey
Sergey
Ivan
А что касается TTL
Ivan
http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-event_queue_expires
Yevhenii
Bogdan (SirEdvin)
Я вообще не понимаю, почему redis так популярен для постройки очереди
Ivan
он же по-дефолту ставит 5 сек, или я не туда читаю?
Sergey
Я вообще не понимаю, почему redis так популярен для постройки очереди
Потому что он модный и хипстерский, и в него можно команды из консоли пихать и смотреть, что получается. А потом, как водится, по чатам плак-плак-плак - хочу дескать мастер-мастер, хочу автоудаление, вот это вот всё - это в 2018, когда функции брокеров сообщений уже давно и годно реализованы в брокерах сообщений (кролик, кафка).
Bogdan (SirEdvin)
Редис хипстерский? Ему уже почти десятилетие :)
Yevhenii
редис быстрый, скорее
Старый
Bogdan (SirEdvin)
Господи, как быстро время летит.
Старый
так если 5-2 по 10-14 часов торчать на работе и ещё 2-4 часа в страспорте, время летит быстро и не заметно
Ivan
Ivan
А редис просто как inmemory бд
Bogdan (SirEdvin)
А какой брокер использует селери?
Ivan
Ivan
Осознал
Старый
взять туже кафку, прекрасно под это заточена
Ivan
потому что думал, что отделаюсь редисом и целери
Ivan
Но вы мне тут надагностировали пиздец
Ivan
И я теперь уже пойду переписывать
Sergey
Ivan
Ivan
И проще
Yevhenii
обычно потом это переделывать приходиться, с большой болью
Sergey
Как видишь...... если оно не быстро и не просто - значит, начальная посылка ложная.
Кстати, кролик умеет в мастер-мастер и в персистентные очереди ( = твои задания на обработку не будут просраны при перезапуске).
Ivan
Ivan
Ладно, спасибо вам, пойду перепишу и кролика почитаю
Sergey
Кстати, вот прям на первой странице - селери умеет в кролика, так что переделывать итебе придётся, возможно, несколько меньше, чем думаешь.
Ivan
Uncel
А четам в задаче, netflow?
Ivan
Bogdan (SirEdvin)
celery не умеет в кафку
Ivan
Нужно пакетики парсить на лету и отправлять нужное в КХ
Ivan
Ivan
Так с вами и поумнею
Yevhenii
Старый
чем лучше
возьми 2 машины с кроликом, поставь по 1 гб памяти, и загрузи 12 гб данных, а потом попробуй их запрашивать и писать дальше
Ivan
чем лучше
щас он еще предложит кассандру юзать
Старый
а потом так же с кафкой и посмотри разницу
Yevhenii
Yevhenii
Старый
у меня один вопрос, ЗАЧЕМ
чтобы потом не удивляться что данным пизда при выходе из строя плеера, и продолжении набивания данными
Bogdan (SirEdvin)
То есть ты утверждаешь, что кролик будет выкидывать данные, когда у него закончится память?
Старый
Sergey
Sergey
😊
Yevhenii
я вот думаю ради эксперимента поднять виртуалку и протестить
Yevhenii
хрыч, что мы будем делать если ты напиздел?
Bogdan (SirEdvin)
А не эта фигня случайно: https://discuss.pivotal.io/hc/en-us/articles/206384498-Why-are-messages-lost-when-I-restart-a-RabbitMQ-broker- ?
Sergey
Ivan
Bogdan (SirEdvin)
Я тут поднял кафку на своей кофемолке, вообще не смог до нее достучатся. Как вы ей пользуетесь?
Старый
Мы обращаемся за задачей, а нам её дают в 1 из 80 попыток подключения ....
Sergey
Bogdan (SirEdvin)
У меня джава машина не влазит в 640 КБ :( Простите, если что, это была неудачная шутка)
Sergey
Bogdan (SirEdvin)
Спасибо, надо будет попробовать
Sergey
O_o ты в железки можешь?
Bogdan (SirEdvin)
Нет. Но раз пошутил, значит придется)
Bogdan (SirEdvin)
Хотя мне кажется, что кафку на ней не поднять, у нее релиз последний в 2006 году. А для кафки вроде java8+ нужна, судя по доке: http://kafka.apache.org/090/documentation.html#java
Вадим
А кого можно про Amazon Route53 поспрашивать?
Хочу failover на нем поднять (направлять трафик на разные узлы, отключать неработающие узлы), интересуют частные случаи.
Вадим
К примеру, что route53 будет делать, если все endpoint'ы (конечные узлы) недоступны?