std::slavik
в очередь наваливаются таски
Tishka17
получается надо поставить рэбит и не задаваться вопросами этими
Как брокер может заменить фреймворк для тасков?
std::slavik
и в какой то момент воркеры перестают справляться очередь растет
std::slavik
чтобы она не переполнилась - нужно какие то таски инвалидировать
Tishka17
Просто хочу понять что делает exparation
Помечает, что если так просрочен, то делать его не надо, а можно сразу удалять
std::slavik
вот это вроде TTL типа - если за это время таску в работу не взяли - можно ее выкинуть
Tishka17
Чтобы выполнять таски по расписанию
Для этого я бы взял любой планировщик или вечный цикл. Селери в первую очередь нужен для обработки тасков через очередь, а не для периодики
std::slavik
Как брокер может заменить фреймворк для тасков?
ну типа логику можно самому написать
std::slavik
вместо танцев с бубном настраивая фреймворк
std::slavik
ну это чисто мой подход богомерзкого лоулевел говнокодера
Tishka17
Я тоже не вижу зачем нужен селери
Tishka17
У меня так выходит, что код обработчика таска и код того, кто его ставит, вообще может на разных языках быть написан
std::slavik
у меня как правило именно так и есть
Marat
Я просто не догоняю, что значит просрочен. Берет воркер задачу, и выполняет ее, наступает ее время, когда она протухла и он ее выкидывает??? Короче, видимо нужно доку почитать сначала предже чем тут вопросы задавать
Marat
Я тоже не вижу зачем нужен селери
Да просто уже во всех сервисах такая привычная схема - тупо копипаст и готово
std::slavik
гошный какой нить микросервис кидает реквест быстро в очередь, из нее читает какой нить питоновский сервис с логикой, который затем по разным очередям раскидывает rpc, которые часть на go, часть на питоне
std::slavik
плюсы пока бог миловал, но типа фреймворк вроде селери довольно сильная зависимость я щетаю а я люблю гибкость в выборе инструментов
std::slavik
бывает короче что не успевают воркеры разгребать очередь
std::slavik
а если таски не разгребать - они будут капица и нужно их из этой очереди убирать
std::slavik
чтобы не встал сервис
Tishka17
Или джава ставила
Tishka17
Или питон разгребал
Tishka17
Я даже не знаю всю комбинацию, это была Кафка и много подписчиков на топик
Marat
вооо, ну теперь понятненько
std::slavik
знаете как traceroute работает?
Tishka17
вооо, ну теперь понятненько
Если честно, я прочитал два предложения из документации, которую ты скинул
Tishka17
знаете как traceroute работает?
Пинги посылает с разным ттл, а что?
std::slavik
ну это чет меня понесло не туда на самом деле - ща про сетевые штормы начну втирать ченить
std::slavik
короче суть в том что любая очередь в среднем должна быть пустой
Tishka17
плюсы пока бог миловал, но типа фреймворк вроде селери довольно сильная зависимость я щетаю а я люблю гибкость в выборе инструментов
На самом деле в селери можно руками прописать имя таска. А ещё формат тела вроде документирован. И есть реализация под джаву и ещё что-то. А можно руками самому это обработать. Только зачем
Tishka17
Любая очередь не должна расти
std::slavik
если производительность выгребания из нее меньше чем производительность поступления тасков - она гарантированно переполнится, поэтому должен быть четкий механизм формализованный по которому будут отбрасываться лишние таски
Tishka17
У меня сейчас на работе в среднем очередь днём держится на уровне 15 сообщений. Ночью падает почти до нуля.
std::slavik
Любая очередь не должна расти
ну это значит Vproduce = Vconsume
std::slavik
в моменте в очереди понятно чето есть
std::slavik
но в среднем - за все время в очереди должно быть столько же элементов сколько при запуске то есть 0
std::slavik
<=
да
Tishka17
Ноль в среднем быть не может, так как отрицательных значений не бывает
std::slavik
вы хотите поговорить о мат анализе?)
Tishka17
зато бывает бесконечное время)
Не считается, так как условия меняются и систему надо под них менять
Tishka17
В целом нагрузка имеет тенденцию к росту
std::slavik
ну да - и собственно механизм TTL обусловлен тем, что систему надо порой менять быстро иначе можно было бы просто ограничить размер очереди
std::slavik
и, например, при переполнении - выкидывать из нее самый старый элемент, или не принимать новый но тогда на практике деградирует производительность системы
Tishka17
Ттл актуален только если бизнес логика позволяет
Tishka17
Например, если ты знаешь, что будут дублирующие таски через указанный промежуток времени
std::slavik
если она будет при переполнении держать запросы которые пачкой прилетели пиково и уже никому не нужен результат их обработки
Tishka17
Или что результат никому не интересен
std::slavik
но из за того что они в очереди - страдают новые
Tishka17
Это далеко не всегда актуально
std::slavik
поэтому вводят TTL чтобы можно было если что прямо пачкой их из очереди выбросить так же быстро как они туда попали
std::slavik
что система начинает захлебываться
Tishka17
У меня например, бывают дубли в короткий промежуток времени, но потом их нет
std::slavik
и начинают консюмеры повторно слать таски что еще сильнее нагружает систему
Tishka17
Зачем так делать?
std::slavik
ну так работает большинство систем не можешь достучаться - повторяешь один из вариантов - использовать стратегию LIFO отдавая приоритет новым запросам, вместо старых
std::slavik
конечно от задачи зависит, но обычно если это что-то связанное с пользователями и ответом сиюминутным - лучше при перегрузке обслуживать новые запросы первыми
Tishka17
Очередь с гарантией at least once и нефиг продьюсерам повторять таски
std::slavik
и забить на старые
Tishka17
И правильную дедупликацию естественно
std::slavik
и так мы изобрели mqtt
Tishka17
Да нет, почти любой нормальный брокер
std::slavik
кстати - mqtt вполне не только в iot юзать можно он клевый
std::slavik
слышал используют чуть ли не в играх
Ivan
Добрый вечер. Подскажите, мне нужно контролировать частоту обращения пользователем к моему API (aiohttp). Есть какие-нибудь готовые инструменты/модули? Или просто в дикт писать и считать?
std::slavik
https://github.com/SlavikMIPT/tgasyncproxy/blob/master/async_proxy.py
std::slavik
ну я чет такое говнякал
std::slavik
можете адаптировать - вроде работает)
Tishka17
можете адаптировать - вроде работает)
Ему контроль со стороны сервера