не, коробки не надо, надо бесплатное)

Коробка на сервак, не?

Коробка на сервак, не?

О, приветик!

О, приветик!

Проснулся))) я ж давно тут!)

Ну и ники у вас

Слились в экстазе, блэт

я тоже с вами

возьмите меня в свой экстаз

Тройничка решили замутить ?

чем больше народу, тем экстазнее

Народ. У меня в celery есть библиотека которая создает другой поток в таске, а поток обожает ломаться. Можно как-то кетчить? [2017-10-03 19:51:21,554: WARNING/ForkPoolWorker-9] Exception in thread RThread:

Угу.. Нужно не "симптомы" лечить, а проблему. Скоро другой библиотекарь вылечит в свой либе эту траблу, но я хотел бы застраховаться.

Угу.. Нужно не "симптомы" лечить, а проблему. Скоро другой библиотекарь вылечит в свой либе эту траблу, но я хотел бы застраховаться.

А внутри треда обработку ошибок не вариант?

А внутри треда обработку ошибок не вариант?

Неа

Как так то?)

Потому что он на то и remote thread что не кетчится.

Думаю классом что ли описать задачу

Если есть откуда вызывать и ждать результат - так или иначе все кэтчится

там кетчить точно не вариант

Поток тоже селери?

Или настоящий?

Не понял

Сабтаск или тред?

Ебу, не моя библиотека, знаю методы push/get и всё

или ты про целери?

поискать надо тогда

Думаю классом тогда описать задачу что ли

Ты в селери вызываешь некоторый таск, тот что-то делает и генерит саб селери таск, или просто какой то тред?

второе, >какой-то тред

в итоге у меня такая ебень: [2017-10-03 19:51:21,554: WARNING/ForkPoolWorker-9] Exception in thread RThread:

Когда опишу классом, надо будет прилипить что-то по типу on_failure, только on_warning а там уже "Exception in thread" in msg

а там мб как-то швырануть ошибку для celery.. Правда гребу, доки читаю и найти не могу

Ну если состояния при ошибки не меняется) можешь как в прошлый раз ретракт и аск лейт

http://docs.celeryproject.org/en/latest/userguide/tasks.html#Task.acks_late Понять что-то не могу за эти acks_late

Зачем они?)

Ну тут зависит кто бэкенд для селери

redis

Amqp если, то там таск считается выполненным, если сообщение помечено этим ask

Редис из коробки так не умеет, но сам селери возможно это реализует, не тестил

В общем виде это означает - таск считается выполненым Когда проставлен ask. По умолчанию он ставится в момент взятия задания,, а не его выполнения

Ask late, ставит когда выполнено

Повторно же может взять другой воркер, да?

на другом сервере к примеру

Повторно же может взять другой воркер, да?

Да

Пока ретраи не иссякнут или не выполнится

Очень не желательно

Очень не желательно

Единовременно задача 1воркером будет выполнятся в любом случае

их может быть несколько.. Хм. Надо всё же понять как ловить варнинги с какого-то таска

Если он умрет, и таски не выполнена, то возьмёт другой

https://gist.github.com/darklow/c70a8d1147f05be877c3 Тут кажется есть что-то полезное. Варнинг схватит операция on_failure?

Да

Exception

То что нужно тогда. Сейчас перепишу на классе

Это можно обычным трай кетчем сделать с bind true

куда трай-то?

Просто у таска надо self дописать в аргументы

Отедельный поток и там уже ошибка которая не выплывает в главный поток

http://docs.celeryproject.org/en/latest/userguide/tasks.html#task-inheritance

base=MyTask

Тут заинтересовало

@task(bind=True) Def task(self, Arg): Try: Code here Cath Exception as e: Self.retry(e)

Это Упрощенный вариант

Можно класс унаследовать, там да, переопределять функции

@task(bind=True) Def task(self, Arg): Try: Code here Cath Exception as e: Self.retry(e)

не кетчится так

Ещё как)

Серьёзно, нет

В отдельном потоке вылетает

он fork'ается что ли, не понимаю

Если там отдельный тред внутри без join, то оно нормально никак не скетчится

просто операция вызывается и на главный поток не вылазит

просто тут вылезло на наружу такая ошибка, хотя except стоит

Делай в таске join этого треда

И будет кетчится

Делай в таске join этого треда

м?

Мне два метода дают

я их дёргаю

а остальное считай запривачено

погодь, сейчас протестирую c base

Треду поигу как ты его вызвал, он делает что-то , если селери таск его не ждет - он просто будет тупит пока не сможет помереть

И его ошибка останется в треде

Крч надо смотреть че там происходит на самом деле, и нужен ли там селери таск вообще

Селери часто кажется удобней чем есть)

Мне показалось лучше сделать многопоток на целери, чем на питоновских библиотеках ещё, плюс два зайца убиваются с распределёнкой)

там потоки дохнут просто на операциях

а пулом задач не солидно

Крч сделай тест без селери, научись ловить ошибки так

Внутри таска они будут также

А уже потом крути ретраи, или из источника вызывай повторно, смотря как оно у тебя правильней

а пулом задач не солидно

Оч солидно))

задачи ещё дохнут

зависают

))

Вот редис вместо рабита- не солидно

Редис как результ бэкенд - норм

рабит там торчит в качестве брокера. Или ты про что?

Бакэнд у меня редис

Да

+ убиваются несколько других задач

рабит там торчит в качестве брокера. Или ты про что?

Это оно и есть, мы я не особо правильно сказал