Sergey
Пока запускалось руками через отдельные screen задачи - всё ок было. Проблема появилась как только першёл на юниты.
Tishka17
🤷♂️
Tishka17
возомжно раньше ты не замечал просто
Bogdan (SirEdvin)
Подозреваю, у вас просто два селери бита запущено :)
Bogdan (SirEdvin)
Советы выкинуть селери и навернуть говна бочками в этом чате всегда радуют :)
Tishka17
как будто с одним не может быть таких поблем
Bogdan (SirEdvin)
Ну, стандартные селери биты не умеют в кворум, и если их запустить пару штук, то каждый из них будет ставить в очередь задачу. А прямо, что бы один регулярно дублировал задачи, такое не бывает
Sergey
Tishka17
Селери из коробки вообще не думает о правильном партиционировании тасков
Bogdan (SirEdvin)
Чтооо?
Sergey
О, понеслась)
Oleg
Tishka17
Tishka17
Чтооо?
я говорю, он может взять и два воркера натравить на два одинаковых таска, не?
Bogdan (SirEdvin)
Если вы поставили две задачи в очередь, то да, почему нет?
Tishka17
потому что блин они одинаковые, они должны быть привязны к одному ID группы и выполняться по очереди в пределах группы
Bogdan (SirEdvin)
Sergey
Tishka17
Tishka17
специалисты по celery не осилили кролик?
Bogdan (SirEdvin)
Вы про routing key что ли?
Tishka17
сейчас погуглю как это в кролике делается в отличие от кафки
Tishka17
а. черт, кролику плагин нужен, из коробки не умеет, сорри
Tishka17
тогда вообще все таски должны по очереди делаться
Bogdan (SirEdvin)
В примитивном случае оно так и работает как бы. Просто консьюмеров может быть несколько и каждый берет по head задаче из очереди (на самом деле через prefetch он берет парочку, но это нюансы)
Bogdan (SirEdvin)
Можно еще приоритетами обмазатся и eta
Bogdan (SirEdvin)
Tishka17
В примитивном случае таски можно выполнять по очереди и не париться. Если таски параллелишь, надо быть уверенным, что они не конфликтуют
Bogdan (SirEdvin)
Использовать очередь задач и надеется, что такси выполняются последовательно, вы серьезно?)
Tishka17
Tishka17
Bogdan (SirEdvin)
Ну давайте начнем срач на тему ack проставлять при получении сообщения или после его обработки. Проблематика сводится к тому, что и тот, и другой вариант работает далеко не всегда удачно
Bogdan (SirEdvin)
В селери такое поведение успешно меняется https://docs.celeryproject.org/en/stable/faq.html#faq-acks-late-vs-retry
Bogdan (SirEdvin)
Проблематика только в том, что с таким нужно уметь работать, а для типичного юз-кейса селери обычно подходит вариант at-most-once
Tishka17
для типичного кейса celery ведёт себя как at most once
Tishka17
взял, упал, насрать
Max
Ну если утилита нужна одному, то она кастомизируется per-project. А если утилита применима для всех, то идет в общий\базовые докерфайл
Ну есть 2 варианта: 1. проекты зависимы друг от друга. Изменение в одном месте означает автоматом, что это изменение должно быть поддержано в другом. В таком случае делается просто отдельный репозиторий common_configs, и оба проекта от него зависят.
2. Проекты не зависят друг от друга. В таком случае, маловероятно, что изменение в одном месте должно приводить к изменениям в другом. И тогда им лучше иметь отдельные конфиги. Которые в какой-то момент своей жизни могут оказаться одинаковыми. Ничего страшного в этом нет, зато поддержка упрощается — не приходится думать о лишних (искусственных) взаимосвязях.
Tishka17
имхо at least once более реальный кейс
Tishka17
таска, которая не обязательно выполнится - такое себе
Tishka17
никогда - тоже at most once
Bogdan (SirEdvin)
Такие таски теряются в большинстве случаев только во время хард рестарта воркеров
Bogdan (SirEdvin)
Стоит учесть, что at least once в значительном количестве случаев довольно сложно написать, например, если речь идет о взаимодействии с внешними системами
Oleg
Max
Max
Oleg
Bogdan (SirEdvin)
Max
Vlad🍁
Кто-нибудь сталкивался с таким? Иногда просто рандомно терминал не видит команды, прописанные в PATH, хотя если открыть терминал (не в IDE) и ввести команду, то она будет работать
Anonymous
Привет. Не знаете где можно продать бот для телеге?
Andrey
c
Vlad🍁
Anonymous
Marat
Еще немного тупых вопросов от меня. Если переопределяем метод класса, то мы никак не можем получить доступ к переменным этого метода, верно?
Tishka17
Shell
Marat
class A:
def b(self):
m= 1
class B(A):
def b(self):
super().b()
m = ???
Andrey
Игорь
Игорь
если не сохраняешь их где-то
Alex
Shell
Игорь
тогда ты сохраняешь их где-то
Marat
Все, я все понял
Shell
Oleg