Я уже убивал на кубе, он сразу же рестартит. Хз, юнит там или как он сам стартует

удалить файл с шедулами

он складывет в локальную базу информацию о запуске битов

Угу, шелвит. Но проблем с этим не испытывает как мой

твой его или не находит или открыть не может

но очевидно там проблема с коннектом к кролику

попробуй сделать альтернативную конфигурацию бита в другую очередь (мб можно через коммандную строку его туда натравить) и посмотри создаст ли через целери и пошлет ли туда и достучится ли вообще.

но ведь если бы была проблема с кроликом, отвалилась бы комба под капотом

сейчас попробую другую очередь задеклерить

но ведь если бы была проблема с кроликом, отвалилась бы комба под капотом

в локальной версии у тебя во написано

старт фром сервер куд кудах. что это не знаю - на кубе нет. комба могла и не отвалится если таймаут напримре не сработал

кстати, дернул celery -A inspect ping из контейнера с битом, и воркер из другого ответил понг

в пору в окно глянуть

я тут подумал, у меня уже шаббат - нужны другие эксперты

через селери шелл проапдейтил селери кьюс, впилил туда очередь, но, похоже, конфиги на лету не подтянулись, в inspect active_queues она не появилась, а после рестарта бита и из конфига исчезла

ну, у кого шаббат, а кому похоже что надо уйти в церковь. работать. а то кажется это не мое

вариант что у тебя еще мб стартуют 2 воркера на 1 бит и взаимно блочат друг друга нахер

с воркером всё в порядке, понгает один, сообщения из очереди достает один раз

с воркером в бите

процессом что засыпает и обещает проснуться и не просыпается

ps говорит, что бит всего один

ладно, поеду домой, завтра на третий заход пойду. спасибо большое всем, кто пытался помочь. извините, что засрал тут всё

ничего страшного - переходи на го - там сам целри напишешь

я, наверное, смог бы за эти два дня какое-нибудь убогое подобие селерибита сделать, которое бы дергало одну таску периодически, но вышло бы это говняно. а то го учить

в стековерфлоу чуваки просто в кронтаб скрипт ебанули

такая мысль у меня тоже была. но меня отговорили. сказали, что в кубах не выйдет

ничего страшного - переходи на го - там сам целри напишешь

Приходите в @pygorust Пайгораст, один раз не педераст.

да кстати - здесь будем слать нахуй с джангой и целери - а там будем учить коллег как сможем

(никак ведь мы не можем в джангу)

извините...

в кубах есть периодические процессы же

Оставлю как самое последнее средство, если совсем ничего не найду

кстати, дернул celery -A inspect ping из контейнера с битом, и воркер из другого ответил понг

А пробовал воркер с битом запускать в одном контейнере?

А пробовал воркер с битом запускать в одном контейнере?

Пробовал. То же

Ну, ручками в контейнере с воркером запустил бит

Оригинальный правда я не потушил, но какая должна быть разница, шедулер у каждого свой, в дайрект очередь пихать сообщения никто не запрещает из двух источников

Есть еще редис, можно попробовать его подсунуть как брокер, посмотреть, взлетит ли, в любом случае это локализует проблему

Пробовал. То же

Что-нибудь вроде celery worker --beat -A <app>.celery:app —loglevel=DEBUG?

Что-нибудь вроде celery worker --beat -A <app>.celery:app —loglevel=DEBUG?

Так в продакшн нельзя

Алсо очередь точно одна и та же?

Алсо очередь точно одна и та же?

У них общий конфиг

На ресетнутом кролике при запуске воркера и бита деклерится ровно один иксчейндж и одна очередь

Ну и под пидбокс

Так в продакшн нельзя

Д

Д

Ну, так в доке написано.

Ну, так в доке написано.

Целери в целом веселая вещь Например любой импортэррор при поиске тасок она трактует как "в этой аппе нет тасок" :D

Я тоже нормально говна поел с селери, но гаже этого еще не было

Таска багой еррору дропнула.

На джобе. Во время ворковой таймы.

Трабла голы не финишда.

Сэда бата труа.

Удар сельдерея не производит сообщения для сельдерейного работяги!

https://habr.com/post/433918/ Веб слоооожный

поэтому он никогда не напишет чтото вменяемое https://twitter.com/jacobian/status/1075765739527790592

я не знаю, что не так с этим кубернетисом и битом, но я пришел на работу, а тут всё работает.

Святой кубер всё сделал.

Да пропиздоглазил какую-нибудь мелочь прост.

так я ничего не менял, как уходил. сейчас контейнер в состоянии, в котором я его оставил часов 20 назад

я бы мог подумать, что что-то с кроном на машине, но бит не использует крон.

Ещё лучше. :-D

Ну вот же. Работа ломается и чинится сама. Фулли аутоматизатион.

на ПРОИЗВОДСТВЕННОМ окружении такое поведение неприемлемо! часы простоя смерти (моей) подобны.

на ПРОИЗВОДСТВЕННОМ окружении такое поведение неприемлемо! часы простоя смерти (моей) подобны.

Что же ты такого производишь что можешь завалить прод селери таской?

Что же ты такого производишь что можешь завалить прод селери таской?

Если мой паб перестанет отдавать сабу сообщения, то станет бесполезным

на ПРОИЗВОДСТВЕННОМ окружении такое поведение неприемлемо! часы простоя смерти (моей) подобны.

Зато прикинь, с другой стороны — у тебя упавшее приложение само воскресилось на продакшне

Если оно внезапно воскреснет, после долгой смерти, то может засрать подписчика под нуль, и тот подавится.

ERROR: S client not available

Уверуй сын мой

Я бы правда убедился, будет ли он работать в то же время тудей

В которое не работал вчера.

я бы так и сделал, но я не могу целый день сидеть и смотреть просто на него, не пытаясь починить. потому что сейчас он опять не работает

с редисом в качестве брокера, к слову, тоже не работает.

в общем, для небезразличных: я починил. как починил? не ебу. какая-то из настроек broker_connection_timeout = 10, broker_transport_options (visibility_timeout: 3600), worker_direct = True, unable_utc = True, timezone = "UTC", worker_redirect_stdouts = True, worker_redirect_stdouts_level = DEBUG сделала бит моментально запускаться и делать свои битовые дела. ивенты всё еще задваиваются, и воркер их в дублированном виде достает, но, благо, задача отрабатывает строго один раз. еще раз спасибо всем, кто хотел помочь.

Лол, таймзоны.

может там какие-то проблемы у куба с таймзонами, я не знаю, но указывал я всё по заветам pytz'a. до этого таймзона была Europe/Moscow

А, ну вот, лол.

Сейчас еще попробую назад вернуть, чтобы наверняка знать, что с этим была проблема.

да. всё так. таймзоны виноваты. похоже, что щедулер просто выставляет московские +3 часа от ютс куба + период и сидит ждет. отсюда и внезапные отложенные старты ночью. не самое очевидное поведение.

Таймзоны виноваты?

Я виноват. Я дурак и объебался.

Так ближе к делу.

да. всё так. таймзоны виноваты. похоже, что щедулер просто выставляет московские +3 часа от ютс куба + период и сидит ждет. отсюда и внезапные отложенные старты ночью. не самое очевидное поведение.

ХХХА, было подозрение

У меня тоже, но я не смог придумать объективной причины, почему таймзоны могут быть виноваты. Там ведь не кронтаб выставлен в определенное время запускаться, а щедулер на запуск каждые 10 секунд.

Таймзоны не могут быть виноваты. Виноват однозначно мудак, который на серверах выставляет что-то отличное от UTC.

Это было коллективное решение использовать на проекте конкретную таймзону. Да, это плохо. Да, я мудак. Но я вынес урок.

Остальным урок передай.

Да и девопсов ваших походу можно заменить на еловые поленья. Пользы столько же, но зато будет пахнуть новым годом.

Нет, я не шучу. Обязательно всей банде расскажи как ты лоханулся.

Да и девопсов ваших походу можно заменить на еловые поленья. Пользы столько же, но зато будет пахнуть новым годом.

Отличная идея, кстати, как создать новогодний дух в компании!

Я всегда UTC выставлял, но прогнулся под фронтенда, который не хотел заниматься таймзонами на UI

Щито?

Ещё одна ошибка. И о ней тоже расскажи.

О том, что бекенд и базы данных не прогибаются под лень одного лошка безграмотного.

Я серьёзно: это недопустимо вообще. Личные я хочу не хочу пусть дома оставляет в туалете.

Виновные будут наказаны. И я в первую очередь.

Ничего, главное, что ты понял в чём проблема и дошёл до неё сам, это опыт.

Жаль только, что на это ушло столько времени. Но опыт бесценный

Жаль только, что на это ушло столько времени. Но опыт бесценный

Нормально, со всеми бывает. Свой косяк на того долбоёба делегируй, который лезет в то, что его вообще не касается.