std::slavik
в очередь наваливаются таски
Tishka17
std::slavik
и в какой то момент воркеры перестают справляться
очередь растет
Tishka17
std::slavik
чтобы она не переполнилась - нужно какие то таски инвалидировать
std::slavik
вот это вроде TTL
типа - если за это время таску в работу не взяли - можно ее выкинуть
Tishka17
Чтобы выполнять таски по расписанию
Для этого я бы взял любой планировщик или вечный цикл. Селери в первую очередь нужен для обработки тасков через очередь, а не для периодики
std::slavik
std::slavik
вместо танцев с бубном настраивая фреймворк
std::slavik
ну это чисто мой подход богомерзкого лоулевел говнокодера
Tishka17
Tishka17
Я тоже не вижу зачем нужен селери
Tishka17
У меня так выходит, что код обработчика таска и код того, кто его ставит, вообще может на разных языках быть написан
std::slavik
у меня как правило именно так и есть
Marat
Я просто не догоняю, что значит просрочен. Берет воркер задачу, и выполняет ее, наступает ее время, когда она протухла и он ее выкидывает???
Короче, видимо нужно доку почитать сначала предже чем тут вопросы задавать
std::slavik
гошный какой нить микросервис кидает реквест быстро в очередь, из нее читает какой нить питоновский сервис с логикой, который затем по разным очередям раскидывает rpc, которые часть на go, часть на питоне
std::slavik
плюсы пока бог миловал, но типа фреймворк вроде селери довольно сильная зависимость я щетаю
а я люблю гибкость в выборе инструментов
std::slavik
std::slavik
бывает короче что не успевают воркеры разгребать очередь
std::slavik
а если таски не разгребать - они будут капица
и нужно их из этой очереди убирать
Tishka17
std::slavik
чтобы не встал сервис
Tishka17
Tishka17
Или джава ставила
Tishka17
Или питон разгребал
Tishka17
Я даже не знаю всю комбинацию, это была Кафка и много подписчиков на топик
Marat
вооо, ну теперь понятненько
std::slavik
знаете как traceroute работает?
std::slavik
std::slavik
ну это чет меня понесло не туда на самом деле - ща про сетевые штормы начну втирать ченить
std::slavik
короче суть в том что любая очередь в среднем должна быть пустой
Tishka17
Tishka17
Любая очередь не должна расти
std::slavik
если производительность выгребания из нее меньше чем производительность поступления тасков - она гарантированно переполнится, поэтому должен быть четкий механизм формализованный по которому будут отбрасываться лишние таски
Tishka17
У меня сейчас на работе в среднем очередь днём держится на уровне 15 сообщений. Ночью падает почти до нуля.
Tishka17
std::slavik
в моменте в очереди понятно чето есть
std::slavik
но в среднем - за все время в очереди должно быть столько же элементов сколько при запуске
то есть 0
std::slavik
Tishka17
Ноль в среднем быть не может, так как отрицательных значений не бывает
std::slavik
std::slavik
вы хотите поговорить о мат анализе?)
Tishka17
В целом нагрузка имеет тенденцию к росту
std::slavik
ну да - и собственно механизм TTL обусловлен тем, что систему надо порой менять быстро
иначе можно было бы просто ограничить размер очереди
std::slavik
и, например, при переполнении - выкидывать из нее самый старый элемент, или не принимать новый
но тогда на практике деградирует производительность системы
Tishka17
Ттл актуален только если бизнес логика позволяет
Tishka17
Например, если ты знаешь, что будут дублирующие таски через указанный промежуток времени
std::slavik
если она будет при переполнении держать запросы которые пачкой прилетели пиково и уже никому не нужен результат их обработки
Tishka17
Или что результат никому не интересен
std::slavik
но из за того что они в очереди - страдают новые
Tishka17
Это далеко не всегда актуально
std::slavik
поэтому вводят TTL чтобы можно было если что прямо пачкой их из очереди выбросить так же быстро как они туда попали
std::slavik
std::slavik
что система начинает захлебываться
Tishka17
У меня например, бывают дубли в короткий промежуток времени, но потом их нет
std::slavik
и начинают консюмеры повторно слать таски
что еще сильнее нагружает систему
Tishka17
Tishka17
Зачем так делать?
std::slavik
ну так работает большинство систем
не можешь достучаться - повторяешь
один из вариантов - использовать стратегию LIFO
отдавая приоритет новым запросам, вместо старых
std::slavik
конечно от задачи зависит, но обычно если это что-то связанное с пользователями и ответом сиюминутным - лучше при перегрузке обслуживать новые запросы первыми
Tishka17
Очередь с гарантией at least once и нефиг продьюсерам повторять таски
std::slavik
и забить на старые
Tishka17
И правильную дедупликацию естественно
std::slavik
и так мы изобрели mqtt
Tishka17
Да нет, почти любой нормальный брокер
std::slavik
кстати - mqtt вполне не только в iot юзать можно
он клевый
std::slavik
слышал используют чуть ли не в играх
Ivan
Добрый вечер.
Подскажите, мне нужно контролировать частоту обращения пользователем к моему API (aiohttp). Есть какие-нибудь готовые инструменты/модули? Или просто в дикт писать и считать?
std::slavik
https://github.com/SlavikMIPT/tgasyncproxy/blob/master/async_proxy.py
std::slavik
ну я чет такое говнякал
std::slavik
можете адаптировать - вроде работает)
Tishka17
Tishka17