ты видимо гуглил что то в духе "taskrunner"?

Эмм, ну да, фоновое выполнение задач, в интеграции с джангой, вроде классический рецепт. P.S. а почему не к ночи упомянут?

потому что не нужен

потому что не нужен

Почему?

потому что не нужен

А что юзать вместо крона?

Почему?

потому что комбайн в огороде.

тем более в случае периодик тасок

Ну да, это я понимаю. Крон я меняю на сельдерей, вопрос что с ним в пару брать.

так а как ты с крона на селери перешел?

это как пандасом цсв читать только чтоб прочитать

потому что комбайн в огороде.

В смысле, не нужен тс, оке Я решил, что идея в том что он вообще не нужее

так а как ты с крона на селери перешел?

Планирую, цель именно такая

В смысле, не нужен тс, оке Я решил, что идея в том что он вообще не нужее

в принципе он и вообще не то чтобы нужен.

селери - это не замена крону

это другое вообще

селери - это не замена крону

А что посоветуешь?

а задача какая?

в принципе он и вообще не то чтобы нужен.

то есть в связке с джангой я могу понять, облегчённая интеграция, строить домик из кубиков, не выпиливая предварительно кубики, вот это всё

периодичесике таски?

а задача какая?

периодики, да

периодики, да

я чет упустил, где он это сказал

собственно когда он сказал про крон

а задача какая?

Куча задач с разной периодичностью, нужна возможность ручного запуска и веб-интерфейс для них.

я не знаю, зачем нужен крон, кроме запуска периодических задач :)

я не знаю, зачем нужен крон, кроме запуска периодических задач :)

можно по крону поллить очередь =)))

то есть в связке с джангой я могу понять, облегчённая интеграция, строить домик из кубиков, не выпиливая предварительно кубики, вот это всё

Ну да, задачи - management-коммандв джанги

можно по крону поллить очередь =)))

больной ублюдок

Ну да, задачи - management-коммандв джанги

эээ, что???

если не секрет, а что за management команды, которые надо периодически запускать?

без кондишнов это делать как-то очень геморно, с кондишнами решение очевидно

Только это мьютексы (эксклюзивные семафоры), а не кондишны.

если не секрет, а что за management команды, которые надо периодически запускать?

я постоянно использую их как более простую замену celery например, рассылка какая-то запланирована, проверяется каждую минуту или объекты должны в какое-то время протухнуть обновлять курсы валют какие-нибудь много вариантов

если не секрет, а что за management команды, которые надо периодически запускать?

Достаточно разные, формирование/рассылка выгрузок, работа с файлами, обновление данных (бд и файлы), рассылка писем по результатам

обновление БД по крону? what?

я постоянно использую их как более простую замену celery например, рассылка какая-то запланирована, проверяется каждую минуту или объекты должны в какое-то время протухнуть обновлять курсы валют какие-нибудь много вариантов

Да, вот сильно похоже

рассылку выгрузок - ок, тут celery наверно норм

рассылку выгрузок - ок, тут celery наверно норм

для селери надо один или два доп. процесса запускать а крон — он в любой системе есть

грязнее, но проще

для селери надо один или два доп. процесса запускать а крон — он в любой системе есть

ну и сам селери в проект интегрировать

обновление БД по крону? what?

Хм. Если подробнее - нужно из нескольких Аски файлов, из нескольких бд собрать инфу, агрегировать и записать в бд сервиса. Делается менеджмент-коммандой, она запускается батником по крону

а еще можно наплодить контейнеров с селериворкерами и страдать

Хм. Если подробнее - нужно из нескольких Аски файлов, из нескольких бд собрать инфу, агрегировать и записать в бд сервиса. Делается менеджмент-коммандой, она запускается батником по крону

0_о

я обновление БД прочитал как обновление структуры, а ты про данные

У меня mssql. Сейчас посмотрю что у него есть. Спасибо!

Ничего у MSSQL такого нет...

вообще у селери есть альтернативы, которые вероятно имеют меньше багов, чем селери

Хм. Если подробнее - нужно из нескольких Аски файлов, из нескольких бд собрать инфу, агрегировать и записать в бд сервиса. Делается менеджмент-коммандой, она запускается батником по крону

ну звучит как задача для celery или другого аналога

я обновление БД прочитал как обновление структуры, а ты про данные

Не-не, речь именно про данные, сорри, неправильно выразился

вообще у селери есть альтернативы, которые вероятно имеют меньше багов, чем селери

какие?

https://docs.microsoft.com/en-us/sql/relational-databases/logs/the-transaction-log-sql-server?view=sql-server-2017 есть вроде что-то такое, но непонятно, можно ли туда руками лазить

Нельзя туда руками лазить

какие?

dramatiq к примеру

окей

я всю жизнь рукам писал

Я celery выбрал потому что вроде как классическое решение, гайдов миллион.

вот мое личное мнение, все что угодно лучше селери - но дело-то ваше, выбирайте, гайдов миллион

Чёт сельдереефобы собрались

вот мое личное мнение, все что угодно лучше селери - но дело-то ваше, выбирайте, гайдов миллион

А почему вы так считаете?

потому что селери это забагованный проект с неочевидным и сложным поведением, без чтения манулов и желании инвестировать в это время с ним невозможно мириться долгое время, но для запуска проекта подходит хорошо, в это время как раз можно написать кастомный специлизированный консьюмер в виде сервиса

тыщу раз слышал, но даже у нас его юзают

А почему вы так считаете?

Я подозреваю что вся нелюбовь из-за чрезвычайной сложности инструмента. И его функциональность избыточна в большинстве случаев

и я так и не понял зачем

потому что селери это забагованный проект с неочевидным и сложным поведением, без чтения манулов и желании инвестировать в это время с ним невозможно мириться долгое время, но для запуска проекта подходит хорошо, в это время как раз можно написать кастомный специлизированный консьюмер в виде сервиса

Понял, спасибо

Я подозреваю что вся нелюбовь из-за чрезвычайной сложности инструмента. И его функциональность избыточна в большинстве случаев

Понял

и я так и не понял зачем

потому что тяп-ляп и работает, хреново, но когда начнет быть совсем плохо придут и перепишут на конкретный сервис с конкретным интерфейсом

и я так и не понял зачем

А что выбрать? Cron?

Вообще сам я не юзал, но товарищ-питонист говорил, что бывают крайне неприятные баги. Да и на просторах интернета отзывы тоже не очень.

А что выбрать? Cron?

просто rabbitmq + свой код

как вариант

просто rabbitmq + свой код

Понял, буду думать, спасибо

да вобщем-то кода будет не сильно больше

Вообще сам я не юзал, но товарищ-питонист говорил, что бывают крайне неприятные баги. Да и на просторах интернета отзывы тоже не очень.

Из крайне неприятных я помню только залипающие результаты в редисе в тасках с результатами. Но оно решалось программно

прочитал сообщение, выполнил соответствубщий хэндлер, закоммитил

да даже в issue в репе celery можно много замечательного найти

А почему вы так считаете?

Как раз таки сегодня впервые нужно было написать крон на селери, изи, доки и примеров полно, в итоге вышло на 5 строк кода чет типа того

да даже в issue в репе celery можно много замечательного найти

У нас в проде 4 года без единого факапа

Как раз таки сегодня впервые нужно было написать крон на селери, изи, доки и примеров полно, в итоге вышло на 5 строк кода чет типа того

Вот я примерно так и понимал ситуацию.

У нас в проде 4 года без единого факапа

а мне недавно кафку в проекте запретили юзать потому что она ненадежная

а мне недавно кафку в проекте запретили юзать потому что она ненадежная

А мы решили ни с кем не советоваться ?

Кафка вообще редко нужна

Кафка очень полезна! особенно овсяная)

Кафка очень полезна! особенно овсяная)

бадум тссс

запретили, потому что её нельзя нормально реплицировать между датацентрами

а вы тут редис вместо очереди хотите

запретили, потому что её нельзя нормально реплицировать между датацентрами

А потом окажется что проект никому стал не нужен и его закрывают. Но наперед думаем о масштабировании в географически разнесенных ДЦ ?

А потом окажется что проект никому стал не нужен и его закрывают. Но наперед думаем о масштабировании в географически разнесенных ДЦ ?

ну у нас, кажется, даже на ненужном проекте могут быть тысячи юзеров

ну у нас, кажется, даже на ненужном проекте могут быть тысячи юзеров

С этим согласен

Кстати

Вспомнил нерешенную проблему с редисом и селери. Но это кажется больше особенность редиса

При увеличении числа тасок выше 1k tps начинает расти omem каждого подключения к редису

И отыграть его взад никак нельзя кроме сброса подключения

Понял, буду думать, спасибо

Рабит -- гут!

Рабит -- гут!

А редис чем хуже?

В стоке селери не умеет из пула выкидывать подключения с особыми свойствами

А редис чем хуже?

Не использовал, не знаю.

Не использовал, не знаю.

Ок, понял, спасибо.

А редис чем хуже?

Стоп! Это ж вообще разные вещи, редис -- это СУБД, а Rabbit MQ -- это шина сообщений.

А редис чем хуже?

Почему ты их сравнивать хочешь?

Стоп! Это ж вообще разные вещи, редис -- это СУБД, а Rabbit MQ -- это шина сообщений.

Да. Но есть гайды про celery, в которых оба варианта рассматриваются как брокеры. Всё обсуждение про то что из них выбрать.

Стоп! Это ж вообще разные вещи, редис -- это СУБД, а Rabbit MQ -- это шина сообщений.

Редис может быть брокером. И key-value хранилищем

Да. Но есть гайды про celery, в которых оба варианта рассматриваются как брокеры. Всё обсуждение про то что из них выбрать.

Как брокеры чего?

Как брокеры чего?

Pub-sub брокер очереди