Yevhenii
а можно в двух словах - почему нет?
можно, но тогда добавь удаление ключей, после их использования
Yevhenii
проблема сразу же уйдет
Ivan
Щас соберу и посмотрим
Yevhenii
ну, выключи тогда автофлаш
Sergey
можно, но тогда добавь удаление ключей, после их использования
и получится аналог кролика, только из говна и палок 😊
Sergey
Ivan
А что касается TTL
Ivan
http://docs.celeryproject.org/en/latest/userguide/configuration.html#std:setting-event_queue_expires
Yevhenii
и получится аналог кролика, только из говна и палок 😊
ну хочется человеку сову на глобус натянуть
Bogdan (SirEdvin)
Я вообще не понимаю, почему redis так популярен для постройки очереди
Ivan
он же по-дефолту ставит 5 сек, или я не туда читаю?
Sergey
Я вообще не понимаю, почему redis так популярен для постройки очереди
Потому что он модный и хипстерский, и в него можно команды из консоли пихать и смотреть, что получается. А потом, как водится, по чатам плак-плак-плак - хочу дескать мастер-мастер, хочу автоудаление, вот это вот всё - это в 2018, когда функции брокеров сообщений уже давно и годно реализованы в брокерах сообщений (кролик, кафка).
Bogdan (SirEdvin)
Редис хипстерский? Ему уже почти десятилетие :)
Yevhenii
редис быстрый, скорее
Bogdan (SirEdvin)
Господи, как быстро время летит.
Старый
так если 5-2 по 10-14 часов торчать на работе и ещё 2-4 часа в страспорте, время летит быстро и не заметно
Ivan
А редис просто как inmemory бд
Евгений
монге тоже уже лет много
Так монга уже давно легаси
Bogdan (SirEdvin)
А какой брокер использует селери?
Ivan
Осознал
Старый
А редис просто как inmemory бд
так а почему эти данные нельзя хранить в очереди пока не заберут и не поставят, что обработано?
Старый
взять туже кафку, прекрасно под это заточена
Ivan
потому что думал, что отделаюсь редисом и целери
Ivan
Но вы мне тут надагностировали пиздец
Ivan
И я теперь уже пойду переписывать
Sergey
Я не пойму, почему ты употребляешь в моем контексте redis == брокер. У меня ж очередями рулит целери.
Потому, что ты делаешь брокер из селери и редиса. Здесь ещё картинка про троллейбус.
Ivan
И проще
Yevhenii
обычно потом это переделывать приходиться, с большой болью
Sergey
Как видишь...... если оно не быстро и не просто - значит, начальная посылка ложная. Кстати, кролик умеет в мастер-мастер и в персистентные очереди ( = твои задания на обработку не будут просраны при перезапуске).
Ivan
Ладно, спасибо вам, пойду перепишу и кролика почитаю
Sergey
Кстати, вот прям на первой странице - селери умеет в кролика, так что переделывать итебе придётся, возможно, несколько меньше, чем думаешь.
Ivan
Uncel
А четам в задаче, netflow?
Старый
Ладно, спасибо вам, пойду перепишу и кролика почитаю
лучше kafka+zookeeper, кролик чисто инмемори хранение если будет
Bogdan (SirEdvin)
celery не умеет в кафку
Ivan
А четам в задаче, netflow?
Ну, несколько изощрённая его модификация
Bogdan (SirEdvin)
эээ, а целери мне зачем, если все это кролик сам умеет?
Потому что кролик низкоуровневая штука, все-таки. А селери дает удобную абстракцию, где куча вещей решена за тебя, воркеры, слушатели, транспорт и сериализация.
Ivan
Нужно пакетики парсить на лету и отправлять нужное в КХ
Ivan
Так с вами и поумнею
Старый
чем лучше
возьми 2 машины с кроликом, поставь по 1 гб памяти, и загрузи 12 гб данных, а потом попробуй их запрашивать и писать дальше
Ivan
чем лучше
щас он еще предложит кассандру юзать
Старый
а потом так же с кафкой и посмотри разницу
Bogdan (SirEdvin)
а потом так же с кафкой и посмотри разницу
Это круто, а есть техническая причина, почему так? Потому что кафка позволяет читать только пачками и пишет тоже так же?
Старый
у меня один вопрос, ЗАЧЕМ
чтобы потом не удивляться что данным пизда при выходе из строя плеера, и продолжении набивания данными
Bogdan (SirEdvin)
То есть ты утверждаешь, что кролик будет выкидывать данные, когда у него закончится память?
Старый
То есть ты утверждаешь, что кролик будет выкидывать данные, когда у него закончится память?
он может вообще зависнуть, а после ребута сказать, у меня нет данных
Sergey
он может вообще зависнуть, а после ребута сказать, у меня нет данных
ты с чем кролика ТАК готовишь? с хреном и петрушкой, что ли?
Sergey
😊
Yevhenii
я вот думаю ради эксперимента поднять виртуалку и протестить
Yevhenii
хрыч, что мы будем делать если ты напиздел?
Bogdan (SirEdvin)
А не эта фигня случайно: https://discuss.pivotal.io/hc/en-us/articles/206384498-Why-are-messages-lost-when-I-restart-a-RabbitMQ-broker- ?
Старый
хрыч, что мы будем делать если ты напиздел?
Я сказал то что видел, причём ребят был благо не мой, но вот мы от него зависили
Yevhenii
Как обычно, жить с этим
тогда я и не буду заморачиваться
Старый
"мопед не мой" 😉
Мне тогда пришлось с ним поработать, скорость обработки была......
Bogdan (SirEdvin)
Я тут поднял кафку на своей кофемолке, вообще не смог до нее достучатся. Как вы ей пользуетесь?
Старый
Мы обращаемся за задачей, а нам её дают в 1 из 80 попыток подключения ....
Bogdan (SirEdvin)
У меня джава машина не влазит в 640 КБ :( Простите, если что, это была неудачная шутка)
Bogdan (SirEdvin)
Спасибо, надо будет попробовать
Sergey
O_o ты в железки можешь?
Bogdan (SirEdvin)
Нет. Но раз пошутил, значит придется)
Bogdan (SirEdvin)
Хотя мне кажется, что кафку на ней не поднять, у нее релиз последний в 2006 году. А для кафки вроде java8+ нужна, судя по доке: http://kafka.apache.org/090/documentation.html#java
Вадим
А кого можно про Amazon Route53 поспрашивать? Хочу failover на нем поднять (направлять трафик на разные узлы, отключать неработающие узлы), интересуют частные случаи.
Вадим
К примеру, что route53 будет делать, если все endpoint'ы (конечные узлы) недоступны?