Tishka17
rq довольно тупой насколько я знаю
Oleg
Ну вот, из аналогов остаётся только самому тащить из Redis и делать таски
Pavel
но почему то мир питона для многих свёрнут до джанги + селери
Pavel
а, и пандас еще, чтоб csv прочитать
Oleg
Поэтому нормальный вопрос - какие аналоги могут быть у celery?
Tishka17
Ну вот, из аналогов остаётся только самому тащить из Redis и делать таски
а на базе редиса можно сделать чтобы таск брал только один консьюмер и удалялся он только при подтверждении?
Tishka17
Поэтому нормальный вопрос - какие аналоги могут быть у celery?
мне в голову приходит - руками обрабатывать сообщения в очереди
Tishka17
вообще хз зачем нужен celery
🍁 Jaŭhien
Есть dramatiq
Oleg
а на базе редиса можно сделать чтобы таск брал только один консьюмер и удалялся он только при подтверждении?
Если я правильно понял, то такую штуку можно сделать
Tishka17
while True:
m = get_message()
do(m)
m.commit()
вот это он делает?
Pavel
вообще хз зачем нужен celery
ну это как бы комбайн в огороде. громоздкий, неповоротливый. умеет почти всё, и почти всё - через задницу
lexx
объясните что ли если не лень, чем драматик отличается от сельдерея так драматично?
Anonymous
Кто-то знает как достать код макроса из excel файла?
🍁 Jaŭhien
И вот еще) https://huey.readthedocs.io/en/latest/
Je
А можно примеры, чтобы знать на что ориентироваться?
А какие примеры ты просишь с меня? Примеры producer-consumer на python?
Tishka17
ну это как бы комбайн в огороде. громоздкий, неповоротливый. умеет почти всё, и почти всё - через задницу
вообще не представляю что он должен уметь делать, что не описывается 5 строками
Д0:q!т0р
Где можно найти специалиста по регулярным выражениям?
Oleg
И вот еще) https://huey.readthedocs.io/en/latest/
А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio
Anonymous
попробуй unzip
Я достал файл vbaProjects.bin, но хз что с ним делать, внутри колонки букв и цифр
Tishka17
А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio
https://github.com/aio-libs/aiokafka
🍁 Jaŭhien
А есть чё-нибудь с корутинами? Всё под них завязано, и почти нигде нет менеджера задач для asyncio
Ну есть aiojobs, не знаю насколько оно тебе подойдет
🍁 Jaŭhien
А вот и кафка
Tishka17
я все ещё не понимаю, что должен делать “менеджер задач”
Tishka17
класть задачу в очредь?
Tishka17
и получать из очереди?
Oleg
Ну есть aiojobs, не знаю насколько оно тебе подойдет
Да у меня в общем-то - запускается задача - и через определённое время запускается ещё ра
Oleg
Хорошо было бы, если бы время между задачами определялось динамически после каждой задачи
Oleg
sleep в этом плане был хорош, расчитал значение - уснул
Tishka17
эм
Pavel
я все ещё не понимаю, что должен делать “менеджер задач”
ну еще рескедьюлить-он-фейл, например
Tishka17
выглядит как будто реально надо взять while+sleep
Pavel
а, в целери есть свой крон, с преферансом и куртизанками
Alexey
А какие примеры ты просишь с меня? Примеры producer-consumer на python?
Что понимается под специализированными консьюмерами хочу понять
Просто брать и загонять данные в Redis, а оттуда затем считывать?
Oleg
почему?
Мне кажется, что asyncio.sleep() будет много внимания к себе привлекать при переключении контекста, а это лишние
Oleg
А если sleep(10800) будет - это странно
Tishka17
в случае с селери всё не так однозначно
то есть celery сама выдумыает пробелму и сама её решает?
Tishka17
Мне кажется, что asyncio.sleep() будет много внимания к себе привлекать при переключении контекста, а это лишние
так ты же сказал время как-то считается на основе истории
Pavel
то есть celery сама выдумыает пробелму и сама её решает?
нет. она порождает несколько (иногда много) проблем, и предлагает тебе их решить (часть её способами, часть - самостоятельно)
Tishka17
=D
Tishka17
выглядит как будто проще без celery
Pavel
просто селери была очень долго таскраннером-по-умолчанию
Oleg
так ты же сказал время как-то считается на основе истории
ну да, но оно будет около 10800, например
Je
Что понимается под специализированными консьюмерами хочу понять
Просто брать и загонять данные в Redis, а оттуда затем считывать?
Брокер неважен, producer-consumer это паттерн, когда одна часть у тебя создает таски, другая выполняет и отчитывается, и также имеется некоторый шедулер (часто это сам брокер)
Sergey️
Какие альтернативы есть для newspaper3k? Интересует не сколько парсинг страниц, сколько анализ текстов. Summary, Keywords (с подрузкой базы из Гугла, например)
Tishka17
ну да, но оно будет около 10800, например
короче я не вижу проблем в обычном цикле, если это реально просто воторяющаяся задача, а не что-то вызванное действиями пользователя
Oleg
короче я не вижу проблем в обычном цикле, если это реально просто воторяющаяся задача, а не что-то вызванное действиями пользователя
Но всё равно лучше в отдельный сервер вынести?
Tishka17
ну да
Tishka17
в отдельный контейнер
Anonymous
Как запустить задачи по другому, а не через loop.create_task
D.
С помощью чего можно сделать?
Написать функцию, которая разобьет последовательность на заданные куски
def chunks(size: int, iterable: Iterable):
"""
>>> list(chunks(3, [0, 1, 2, 3, 4]))
[(0, 1, 3), (4, )]
"""
Andrew
slice
lexx
С помощью чего можно сделать?
Написать функцию, которая разобьет последовательность на заданные куски
def chunks(size: int, iterable: Iterable):
"""
>>> list(chunks(3, [0, 1, 2, 3, 4]))
[(0, 1, 3), (4, )]
"""
https://stackoverflow.com/questions/8991506/iterate-an-iterator-by-chunks-of-n-in-python
D.
@lexxdesu Спасибо огромное
D.
Andrew спасибо
U
Проксимов
Tishka17
U
а как save ?
Tigran
>
Je
sed -i
Tishka17
в новый файл только
Tishka17
ну или так
U
в новой
U
спасибо, что по фасту)))
Tishka17
тебе вообще что надо было?