Sergey
Пока запускалось руками через отдельные screen задачи - всё ок было. Проблема появилась как только першёл на юниты.
Tishka17
🤷‍♂️
Tishka17
возомжно раньше ты не замечал просто
Bogdan (SirEdvin)
Подозреваю, у вас просто два селери бита запущено :)
Bogdan (SirEdvin)
Советы выкинуть селери и навернуть говна бочками в этом чате всегда радуют :)
Sergey
возомжно раньше ты не замечал просто
Не, копии всех писем на почте, никаких дублей не было 100%.
Tishka17
как будто с одним не может быть таких поблем
Oleg
Почему "очевидно"? Конфигфайл зависит от проекта, никак не от команды. То, что они в какой-то момент времени похожи - это не повод их сливать в одну кучу
Ну хз, я не понимаю. У нас три плюсовых проекта и вполне очевидно, что у них одинаковый кодстайл, ибо с чего бы на своих проектах должна быть лапша из разных стилей?
Sergey
Подозреваю, у вас просто два селери бита запущено :)
Тоже в первую очередь на бит подумал, но проверил через systemctl - один:(
Bogdan (SirEdvin)
Ну, стандартные селери биты не умеют в кворум, и если их запустить пару штук, то каждый из них будет ставить в очередь задачу. А прямо, что бы один регулярно дублировал задачи, такое не бывает
Tishka17
Селери из коробки вообще не думает о правильном партиционировании тасков
Bogdan (SirEdvin)
Чтооо?
Sergey
О, понеслась)
Tishka17
Чтооо?
я говорю, он может взять и два воркера натравить на два одинаковых таска, не?
Bogdan (SirEdvin)
Если вы поставили две задачи в очередь, то да, почему нет?
Tishka17
потому что блин они одинаковые, они должны быть привязны к одному ID группы и выполняться по очереди в пределах группы
Bogdan (SirEdvin)
Тоже в первую очередь на бит подумал, но проверил через systemctl - один:(
А через список процессов? Может вы к воркеру цепанули beat, там можно такое сделать
Bogdan (SirEdvin)
потому что блин они одинаковые, они должны быть привязны к одному ID группы и выполняться по очереди в пределах группы
Для последовательного выполнения есть celery group вообще-то и размежевание воркеров по очередям
Sergey
А через список процессов? Может вы к воркеру цепанули beat, там можно такое сделать
Да, бит на воркер. Со списком не подумал. Пойду grep'ать, спасибо!
Tishka17
специалисты по celery не осилили кролик?
Bogdan (SirEdvin)
Вы про routing key что ли?
Tishka17
сейчас погуглю как это в кролике делается в отличие от кафки
Tishka17
а. черт, кролику плагин нужен, из коробки не умеет, сорри
Tishka17
тогда вообще все таски должны по очереди делаться
Bogdan (SirEdvin)
В примитивном случае оно так и работает как бы. Просто консьюмеров может быть несколько и каждый берет по head задаче из очереди (на самом деле через prefetch он берет парочку, но это нюансы)
Bogdan (SirEdvin)
Можно еще приоритетами обмазатся и eta
Bogdan (SirEdvin)
Да, бит на воркер. Со списком не подумал. Пойду grep'ать, спасибо!
У вас бит на воркере и вы еще отдельный запускаете?
Tishka17
В примитивном случае таски можно выполнять по очереди и не париться. Если таски параллелишь, надо быть уверенным, что они не конфликтуют
Bogdan (SirEdvin)
Использовать очередь задач и надеется, что такси выполняются последовательно, вы серьезно?)
Sergey
У вас бит на воркере и вы еще отдельный запускаете?
Если быть совсем точным, то в одном сеансе я запускаю - celery worker -A prject_name --loglevel=info, а потом в другом - celery -A project_name beat --loglevel=info
Bogdan (SirEdvin)
Слово "очередь" ни на что не намекает?
А потом такие люди предлагают "выкинуть селери". Слово очередь намекает на то, что задачи начнут выполнятся последовательно. И все
Tishka17
А потом такие люди предлагают "выкинуть селери". Слово очередь намекает на то, что задачи начнут выполнятся последовательно. И все
да, вот только селери их по-умолчанию сразу помечает выполненными до того как реально сделает это
Bogdan (SirEdvin)
Ну давайте начнем срач на тему ack проставлять при получении сообщения или после его обработки. Проблематика сводится к тому, что и тот, и другой вариант работает далеко не всегда удачно
Bogdan (SirEdvin)
В селери такое поведение успешно меняется https://docs.celeryproject.org/en/stable/faq.html#faq-acks-late-vs-retry
Bogdan (SirEdvin)
Проблематика только в том, что с таким нужно уметь работать, а для типичного юз-кейса селери обычно подходит вариант at-most-once
Tishka17
для типичного кейса celery ведёт себя как at most once
Tishka17
взял, упал, насрать
Max
Ну если утилита нужна одному, то она кастомизируется per-project. А если утилита применима для всех, то идет в общий\базовые докерфайл
Ну есть 2 варианта: 1. проекты зависимы друг от друга. Изменение в одном месте означает автоматом, что это изменение должно быть поддержано в другом. В таком случае делается просто отдельный репозиторий common_configs, и оба проекта от него зависят. 2. Проекты не зависят друг от друга. В таком случае, маловероятно, что изменение в одном месте должно приводить к изменениям в другом. И тогда им лучше иметь отдельные конфиги. Которые в какой-то момент своей жизни могут оказаться одинаковыми. Ничего страшного в этом нет, зато поддержка упрощается — не приходится думать о лишних (искусственных) взаимосвязях.
Bogdan (SirEdvin)
для типичного кейса celery ведёт себя как at most once
Опять перепутал название, да :( at most once вполне хватает в большинстве случаев.
Tishka17
имхо at least once более реальный кейс
Tishka17
таска, которая не обязательно выполнится - такое себе
Tishka17
никогда - тоже at most once
Bogdan (SirEdvin)
Такие таски теряются в большинстве случаев только во время хард рестарта воркеров
Max
Ну хз, я не понимаю. У нас три плюсовых проекта и вполне очевидно, что у них одинаковый кодстайл, ибо с чего бы на своих проектах должна быть лапша из разных стилей?
Кодстайл один, но в одном проекте может так получиться, что asdfassd0 — это вполне осмысленное название переменной, которое очевидно каждому, кто работает над этим проектом. А в остальных такое лучше не использовать.
Bogdan (SirEdvin)
Стоит учесть, что at least once в значительном количестве случаев довольно сложно написать, например, если речь идет о взаимодействии с внешними системами
Max
Ну вот в отдельный репозиторий ок - и как дальше это поддерживать? В этом и был вопрос)
можно сабмодулями использовать. Можно внешними утилитами подтягивать
Oleg
можно сабмодулями использовать. Можно внешними утилитами подтягивать
С сабмодулями очевидная проблема, что надо их обновлять время от времени. Хардкодить пути и параметры запуска для тулы (раньше запускал flake8 ., сейчас запускаешь --path-to-long-config=crazy/path/to/config)
Oleg
ну такие вещи один раз задал, да и всё. Что тут поддерживать?
Что завтра вышла новая версия чекера и оно стало форматировать по-другому (clang-format хороший пример) и появилась новая опция в конфиге - надо для всех добавитьб
Vlad🍁
Кто-нибудь сталкивался с таким? Иногда просто рандомно терминал не видит команды, прописанные в PATH, хотя если открыть терминал (не в IDE) и ввести команду, то она будет работать
Anonymous
Привет. Не знаете где можно продать бот для телеге?
Max
Что завтра вышла новая версия чекера и оно стало форматировать по-другому (clang-format хороший пример) и появилась новая опция в конфиге - надо для всех добавитьб
Это исключительная ситуация, и я по-прежнему считаю, что ей лучше быть per-project. Тогда для каждого проекта смена тулинга будет сделана в удобное время удобным способом (если вообще для конкретного проекта это нужно). В противном случае несущественный импрувмент становится блокером (а то иногда и рассадником багов).
Vlad🍁
в IDE другой энвайромент небось
poetry системно установлен
Anonymous
на биржах фриланса попробуй
Подскажи один пожалуйста
Marat
Еще немного тупых вопросов от меня. Если переопределяем метод класса, то мы никак не можем получить доступ к переменным этого метода, верно?
Marat
class A: def b(self): m= 1 class B(A): def b(self): super().b() m = ???
Игорь
если не сохраняешь их где-то
Alex
class A: def b(self): m= 1 class B(A): def b(self): super().b() m = ???
нет. прочитай уже про области видимости.
Игорь
тогда ты сохраняешь их где-то
Alex
Можно же глобализировать их
иногда лучше жевать чем говорить.
Marat
Все, я все понял
Shell
иногда лучше жевать чем говорить.
Лучше бы поправил чем язвить
Alex
Лучше бы поправил чем язвить
НИКОГДА НЕ ИСПОЛЬЗУЙ ГЛОБАЛЬНЫЕ ПЕРЕМЕННЫЕ