Roman
Aleserche
там же pub/sub
Alexander 🐕
Вот говно!
Alexander 🐕
А, сорян
Alexander 🐕
Это хранимые процедуры
Alexander 🐕
А не триггеры
Alexander 🐕
Странно как - хранимые процедуры есть, а че ж триггеры не сделали?
Aleserche
видимо сделали https://redis.io/topics/pubsub и успокоились
Alexey
К слову об ООП, если интересно как решаются РЕАЛЬНЫЕ проблемы с помощью ООП(читай: композиция, абстракция, расширяемость, итд), то лучше не книжку по Java читать, а посмотреть на хорошие C++'ные проекты, например LLVM, вот тут есть довольно сложный, но очень хороший пример, как добавив чутка классов и dependency injection ребята сделали расширяемый и главное очень простой API для JIT компилятора: https://www.youtube.com/watch?v=hILdR8XRvdQ
Mark ☢️
https://www.avito.ru/ekaterinburg/tovary_dlya_kompyutera/samodelnaya_pci-e_plata_dlya_raboty_s_potokami_e1_876616637
Konstantin
ого
Александр
>Абдулла Байрамов
Плата точно не взорвется?
Александр
Max
Пожалуйста, объясните сленг?
https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D0%BD%D1%82%D0%B0%D0%BA%D1%81%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D1%81%D0%B0%D1%85%D0%B0%D1%80
Alexander
Alexander
кстати, вы тут всякие монги/кассандры обсуждаете, а где же Couchbase?
Alexander
сейчас мне ответят, где Couchbase))
Александр
😆
Max
Коллеги. Собственно есть задачка.
В системе периодически происходят события, которые вызывают здоровенную пуш рассылку и шлют кучищу писем на почту. Сидим вот голову ломаем, как кошернее всего сделать очередь для всей этой херни. Может кто поделится опытом?
Arcos
Alexander
очереди задач обычно через Celery делают
Alexander 🐕
Alexander
ну, а задачи Celery уже там вызывают по API какие-нибудь там SaaS'ы для рассылки
Max
тут фикус в том, что данных достаточно дохуя должно храниться
Max
Alexander
Alexander
https://www.mailgun.com/pricing вот сервис для рассылки писем норм
Max
мейлган это не то
Max
почта бы хрен с ним
Max
проблема в том, что если сразу тысяч 10 пушек отправить, то вся эта радостная арава тут же ломанётся на серваки
Max
посему надо пачками отправлять
Alexander
аа
Alexander
но так и надо
Alexander
неправильно хотеть распределять их по часам
Alexander
потому что эффективность получения писем в разные часы суток разная
Alexander
и конверсия будет лучше в какое-то время
Alexander
а в какое-то хуже
Alexander
тут лучше в часы пик поднимать доп серверы
Alexander
а потом удалять
Max
а нам не надо вот прям щаз всем прислать месаги, есть временные рамки для этого, на конверсию не повлияет
Max
Грубо говоря пушка из серии у вас рядом с домом появилась акция в магазине бла бла бла
Alexander
а, понял
Max
то есть когда клиент её получит не важно
Max
если акция онлайновая то вообще похеру
Vladimir
Max
Опсно в прокете очереди через кролика ходят, но он явно не подходит под задачу и даже если справится в однонодовом режиме как-то, то в случае с кластером он тупо упадёт
Max
Alexander
ну вот та же кассандра - там хорошие показатели скорости записи в неё
Alexander
я не знаю, но, наверное, норм выбор
Alexander
туда можно сразу кучу разных писем закинуть и даты отправки
Max
да. пожалуй надо поточнее задачку сформулировать
Alexander
а потом оттуда выбирать эти письма по датам и удалять
Max
как минимум на тему что там лежать будет
Max
тупой вопрос
Max
как Celery хранит очередь?
Arcos
Alexander
Redis as a broker won’t perform as well as an AMQP broker, but the combination RabbitMQ as broker and Redis as a result store is commonly used. If you have strict reliability requirements you’re encouraged to use RabbitMQ or another AMQP broker. Some transports also uses polling, so they’re likely to consume more resources. However, if you for some reason aren’t able to use AMQP, feel free to use these alternatives. They will probably work fine for most use cases, and note that the above points are not specific to Celery; If using Redis/database as a queue worked fine for you before, it probably will now. You can always upgrade later if you need to.
Alexey
Коллеги. Собственно есть задачка.
В системе периодически происходят события, которые вызывают здоровенную пуш рассылку и шлют кучищу писем на почту. Сидим вот голову ломаем, как кошернее всего сделать очередь для всей этой херни. Может кто поделится опытом?
напишу про имейлы, но для пушей тоже сойдёт, система постит события в сервис занимающийся рассылками, сервис генерит персонализированные события(например с кастомным именем польщователя и unsubscribe ссылкой) в очередь(для каждой компании своя очередь со своим приоритетом), воркеры разгребают очереди в порядке приоритетов (например 2fa/сброс пароля имеют наибольшие приоритеты, а возможно и отдельный пул воркеров вообще) и отсылают письма. По удачному завершению отправки, помечают событие как actioned в базе.
Как разгребать те события которые не удалось обслужить (скорее всего баг в воркере или 3rd party api упал) — зависит от задачи, гдето exponential-backoff re-enqueue, гдето пререотправка через другого провайдера, гдето дроп.
Какие технологии выбирать, дело ваше, Celery-хуелери, MySQL-хуескьюэл. Кафка-... ну вы поняли.
Max
Это примерно понятно всё
Arcos
Блин чуствую себя удовлетворенным дегродом 😊
Потому как кодил на си, потом пересел на пых (исторически) и сейчас никуда не дергаюсь уже лет 10
Arcos
Max
пхп не деградация, пхп это пхп
Alexander 🐕
Пхп это ассемблер
Max
деградация, это если ты пишешь на пхп то что пхп писать не надо, например сложную бизнесс логику
Alexander 🐕
По типу джаваскрипта
Alexander
напишу про имейлы, но для пушей тоже сойдёт, система постит события в сервис занимающийся рассылками, сервис генерит персонализированные события(например с кастомным именем польщователя и unsubscribe ссылкой) в очередь(для каждой компании своя очередь со своим приоритетом), воркеры разгребают очереди в порядке приоритетов (например 2fa/сброс пароля имеют наибольшие приоритеты, а возможно и отдельный пул воркеров вообще) и отсылают письма. По удачному завершению отправки, помечают событие как actioned в базе.
Как разгребать те события которые не удалось обслужить (скорее всего баг в воркере или 3rd party api упал) — зависит от задачи, гдето exponential-backoff re-enqueue, гдето пререотправка через другого провайдера, гдето дроп.
Какие технологии выбирать, дело ваше, Celery-хуелери, MySQL-хуескьюэл. Кафка-... ну вы поняли.
мне нравится подход)
Anonymous
Alexander 🐕
Как и Си, тащемта
Alexey
Vladimir
Max
мы как раз сейчас пытаемся с пхп снять кучу задач
Alexey
(забей, я по привычке набросил=) я щас вааще хз как без folly писать =))))