Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

ты либо крестик сними

либо трусы надень

Что здесь крестик, а что трусы?

celery - это отдельная очередь, а корутины - это корутины

тебе что надо - в рамках запроса сделать несколько вещей и потом отдать, или все таки отложенные таски?

Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

Зачем while True? Не понял пока.

Ребят, со вчерашнего дня никак не могу разобраться. Есть сервер aiohttp и есть какие-то задачи, которые должны исполняться параллельно (конкурентно). Хорошо ли эти задачи оформлять как корутины, помещать их в while True и внутри писать asyncio.sleep, или всё-таки стоит использовать celery?

А задачи какую работу совершают

Например пришёл запрос на сервер - и должно запуститься 5 тасок, одна работает каждые 10 минут, вторая работает каждые 2 минуты, третья работает каждую минуту, четвёртая работает каждые 10 секунд, пятая каждые 5 секунд

И таких пачек по 5 тасок может быть от 1 до бесконечности

ну юзай celery

это же задачи вообще не связанные с запросами

логично их вынести в другой сервер

ну юзай celery

Если он делает в тасках тупо http запросы, то селери не нужен

Если он делает в тасках тупо http запросы, то селери не нужен

что в тасках - вопрос другой, но это явно не задача web-приложения

возможно не celery, а любую другую очреедь задач

Ребят, у кого то был проект в связке nginx - uwsgi - django?

Ну да, как я понял - celery не запускает асинхронные задачи - а вообще отдельный поток делает

Ну да, как я понял - celery не запускает асинхронные задачи - а вообще отдельный поток делает

или процесс(ы)

И если у меня этих потоков будет 100 - было бы нехорошо

Ещё хуже, если процессов

И всё это внутри докер контейнера

Ребят, у кого то был проект в связке nginx - uwsgi - django?

я думаю у многих

Ребят, у кого то был проект в связке nginx - uwsgi - django?

У меня был

Так лучше в celery это повесить? Не будет проблем из-за большой частоты тасок?

Также придётся часто БД дёргать и Redis

Тоже нехорошо

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

Но выделил это в отдельный сервер?

Так лучше в celery это повесить? Не будет проблем из-за большой частоты тасок?

ну это явно задача отдельная от работы веб-приложения и может вообще балансироваться по другому. Поэтому или celery или любой аналог

Окей, понял, спасибо)

Если нужно, что-то простое — посмотри rq. Он не умеет решедулить таски с увеличивающимся интервалом, например, но ужасно простой. (впрочем, мы быстро уперлись и свалили на Celery)

в прочем мы быстро свалили на другие языки, где celery выглядит странно

ладно, не быстро, но свалили

/me не юзал celery, у меня напрямую читаются из rabbitmq или kafka

Это в веб приложении?

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

в прочем мы быстро свалили на другие языки, где celery выглядит странно

На какие?

И почему странно? :)

в прочем мы быстро свалили на другие языки, где celery выглядит странно

Запахло Go-проповедью!

И почему странно? :)

нигде кроме питона не слышал про celery

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

так обычная ситуация же с воркер моделью, просто добавь столько воркеров, сколько нужно, чтобы в пике их хватало всем

Вообщем, который раз возвращаюсь к этому вопросу. Есть проект с воркерами в размере - 30 и более (в зависимости от памяти на серве). И есть куча "тяжелых" запросов к базе(минута и более) - не все, но такие запросы есть. И соответственно иногда попадаю в такую ситуацию, когда все воркеры заняты запросами и пользователь банально не может подтянуть из за этого статику(вэб лежит грубо говоря). Есть ли возможность добиться асинхронности вообще? Или спасение искать в брокерах?

В идеале статику бы отделить от логики

нигде кроме питона не слышал про celery

Кажется, у любителей Руби есть «Сайдкик».

нигде кроме питона не слышал про celery

ты сейчас троллишь? celery это чисто питонячья история с пикл’ом объектов и удаленном их выполнении - обобщенный такой консьюмер. на го ты просто не сделаешь подобного)

ты сейчас троллишь? celery это чисто питонячья история с пикл’ом объектов и удаленном их выполнении - обобщенный такой консьюмер. на го ты просто не сделаешь подобного)

щас еще набегут с проповедями "пикл плоха, плоха!"

ты сейчас троллишь? celery это чисто питонячья история с пикл’ом объектов и удаленном их выполнении - обобщенный такой консьюмер. на го ты просто не сделаешь подобного)

https://github.com/crabhi/celery-java https://github.com/gocelery/gocelery если celery настроить на json, вместо пикла, можно подрубить это

щас еще набегут с проповедями "пикл плоха, плоха!"

пикл плохо

пикл плохо

я знаю

ну конечно плоха, так селери в целом днище

ну конечно плоха, так селери в целом днище

Какие альтернативы?

ну конечно плоха, так селери в целом днище

какие аналоги celery?

ой все, нет аналогов, жуйте дальше

какие аналоги celery?

а зачем он нужен-то?

какие аналоги celery?

Тебе ж сказали

Тебе ж сказали

где?

видимо, специализированные консьюмеры вам не по силам написать и отказаться от этой магии

rq сказали

я вообще не знаю, что делает celery

так обычная ситуация же с воркер моделью, просто добавь столько воркеров, сколько нужно, чтобы в пике их хватало всем

дак я так сервак убью) воркеры память жрут дико

дак я так сервак убью) воркеры память жрут дико

горизонтальное масштабирование оно такое

дак я так сервак убью) воркеры память жрут дико

веб воркеры с запросами в БД дольше 0.1 секунды не должны существовать

выноси из веба куда-то отдельно

клиент все равно отвалится через 10-30 секунд и ты ему ничего не отправишь

rq сказали

вообще не аналог

таскраннеров в этом вашем петоне немеряно

веб воркеры с запросами в БД дольше 0.1 секунды не должны существовать

Я понимаю, но сделать ничего не могу, так исторически сложилось в проекте

видимо, специализированные консьюмеры вам не по силам написать и отказаться от этой магии

А можно примеры, чтобы знать на что ориентироваться?

rq довольно тупой насколько я знаю

Ну вот, из аналогов остаётся только самому тащить из Redis и делать таски

но почему то мир питона для многих свёрнут до джанги + селери

а, и пандас еще, чтоб csv прочитать

Поэтому нормальный вопрос - какие аналоги могут быть у celery?

Ну вот, из аналогов остаётся только самому тащить из Redis и делать таски

а на базе редиса можно сделать чтобы таск брал только один консьюмер и удалялся он только при подтверждении?

Поэтому нормальный вопрос - какие аналоги могут быть у celery?

Для Kafka - faust есть

Поэтому нормальный вопрос - какие аналоги могут быть у celery?

мне в голову приходит - руками обрабатывать сообщения в очереди

вообще хз зачем нужен celery

Есть dramatiq

а на базе редиса можно сделать чтобы таск брал только один консьюмер и удалялся он только при подтверждении?

Если я правильно понял, то такую штуку можно сделать

while True: m = get_message() do(m) m.commit() вот это он делает?

вообще хз зачем нужен celery

ну это как бы комбайн в огороде. громоздкий, неповоротливый. умеет почти всё, и почти всё - через задницу

объясните что ли если не лень, чем драматик отличается от сельдерея так драматично?

Кто-то знает как достать код макроса из excel файла?

И вот еще) https://huey.readthedocs.io/en/latest/

Кто-то знает как достать код макроса из excel файла?

попробуй unzip

А можно примеры, чтобы знать на что ориентироваться?

А какие примеры ты просишь с меня? Примеры producer-consumer на python?

ну это как бы комбайн в огороде. громоздкий, неповоротливый. умеет почти всё, и почти всё - через задницу

вообще не представляю что он должен уметь делать, что не описывается 5 строками

Где можно найти специалиста по регулярным выражениям?

И вот еще) https://huey.readthedocs.io/en/latest/

А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio

попробуй unzip

Я достал файл vbaProjects.bin, но хз что с ним делать, внутри колонки букв и цифр

Где можно найти специалиста по регулярным выражениям?

попробуй чат по перлу

А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio

https://github.com/aio-libs/aiokafka

А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio

Ну есть aiojobs, не знаю насколько оно тебе подойдет

А вот и кафка