Roman
Почему супервизором не может быть сам воркер?
Alex
поэтому в идеале это вообще должны быть два процесса
Roman
2 вокюркера смотрящиз друг за другом
Tishka17
который к тому же может ее прибить по таймауту если она его привысила
ну брокеры имеют логику или по разрыву соединения или по таймауту коммита сообщения
Tishka17
соединение же требует кипэлайвов тоже
Alex
ну брокеры имеют логику или по разрыву соединения или по таймауту коммита сообщения
зависит от брокера, не буду спрорить, мы тут без конкретного тех. стека обсуждаем
Tishka17
@satrum и какой у нас стек?
Tishka17
собственно любой брокер должен как-то понимать, что сообщение нужно повторно отправить.
Roman
Брокер тут действительно не особо важен. Воркеры многопоточные. Использкю artemismq. Один из потоков вокрера начал вычисления. И завис в процессе.
Tishka17
ну если у вас многопоточные воркеры, сами следите за своими потоками
Alex
ну и эм... это уже проблема, потому что "зависший" поток прибить будет проблематично
Alex
лучше бы делать сразу нормально
Tishka17
собственно если у вас поток повис, а основной продолжает с брокером нормально общаться, брокер ничего не узнает
Roman
Мне и не нужно я стейт хочу в бд хранить.
Tishka17
при чем тут стейт?
Roman
Воркеры посылают ack если задание завершилось нормально
Roman
Стейт о том что задание в процессе
Tishka17
если задание было в процессе, а воркер упал, задание надо перезапустить
Roman
Вот и как узнать? В питоне?
Roman
Просто по таймауту и больше нет способов?
Tishka17
как вариант, брокер может определять по разрыву соединения
Roman
Разрыв не говорит что задание повисло. Оно может завершиться. Установить новое соединение. И отдать ответ.
Tishka17
разрыв говорит, что воркер работает некорректно
Tishka17
что взаимодействие с воркером
Roman
Не обязательно. Разрыв мог инициировать сам брокер. По своим таймингам или причинам.
Tishka17
конечно, если посичтал что воркер не ответил вовремя
Tishka17
короче, вопрос какие гарантии тебе нужны
Alex
тут уже надо смотреть спецификацию на свой конкретный брокер
Tishka17
at least once, at most once
Alex
at least once, at most once
у нас засилье ботов.
Tishka17
если at least once, ты должен сам уже разбираться что будет если второй раз пришло сообщение
Alex
если at least once, ты должен сам уже разбираться что будет если второй раз пришло сообщение
ну исходный вопрос немного не в этом. он хочет понять как узнать померло ли его задание или нет.
Tishka17
если at most once - что делатьелси ни разу не дошло
Alex
@Tishka17 похоже шилди не справляется уже.
Tishka17
выглядит смешно
Roman
Гарантии того чтобы задание не запустилось параллельно на двух воркерах. Так как оно ресурсоемко, работает с одной и той же таблицей в бд и т.п.
Tishka17
как будто диалог, а на саомм деле обрывки фраз
Anonymous
UPD: отмена вопроса, он всё равно не умеет прерывать сисколл.
UPD: отмена отмены вопроса, там и нет долгих сисколлов. Вообще, чтобы не задавать A/B question: есть библиотека, в ней есть функция, которая может очень долго выполняться. Нужно как-то поставить ей таймаут. Бибилотека такой функциональности толком не предусматривает.
Anonymous
Слишком сурово. Нужно таймаутить одну функцию, а не весь процесс.
k
Добрый день! Разбираюсь с оф документацией и один кусочек меня поставил в тупик: Написано, что НЕЯВНЫЙ поиск приводит к вызову ____getattribure___ и приведен кусок кода, который делает с точностью да наоборот: Вроде стандарный ход - дергаешь атрибут и он вызывает __getattribute___ Но почему он не дергает в случае использования синтаксического сахарка не очень понятен Источник: https://docs.python.org/3.8/reference/datamodel.html#special-method-look
Roman
а если оно ни разу не зпустится?
если в БД нет записи о том что задание стартовало - оно запуститься. Если второй воркер смотртит в базу и видит что задание стартовано на воркере 1, он может его запустить только ... и вот тут условие, которое должно гарантировать что на двух воркерах не будет запущено.
Tishka17
Слишком сурово. Нужно таймаутить одну функцию, а не весь процесс.
в последний раз когда я такое делал у меня процесс сегфолтился потом
Anonymous
в общем случае это невозможно
Гарантируется, что функция не совершает длинных сисколлов и проводит большую часть времени на стороне питона.
Tishka17
Гарантируется, что функция не совершает длинных сисколлов и проводит большую часть времени на стороне питона.
ну и что, неправильная отмена может привести к тому, что данные в памяти окажутся неконсистентными
Anonymous
Ну, например «бросить в тред эксепшн» даст ему время всё за собой почистить
Anonymous
Собственно, kthread это и делает
Anonymous
Ну, все finally-блоки и __exit__ контекстных менеджеров выполнится Все деструкторы тоже
Roman
https://doc.qt.io/qtforpython/PySide2/QtCore/QThread.html#more - вот это?
Alex
если задание стартовало - то предполагается что оно запущено, пока не произойдет слеующее
Anonymous
https://doc.qt.io/qtforpython/PySide2/QtCore/QThread.html#more - вот это?
https://pypi.org/project/kthread/ Вот это, если ты мне
Anonymous
Ну, все finally-блоки и __exit__ контекстных менеджеров выполнится Все деструкторы тоже
Добиться неконсистентного состояния памяти броском эксепшна в питоне непросто
Alex
какой-либо компонент системы не отменит это задание и пометит его как завершившееся с ошибкой \ таймаутом
Roman
Т.е. лучше всего просто прибивать зависший надолго воркер и не париться?
Anonymous
Если бросать какой-нибудь KeyboardInterrupt, то программа в любом случае должна это ожидать в любой момент
Це пиздос
Це пиздос
Подскажите пожалуйста, как убрать сервер из хеадера?
Це пиздос
На уровне nginx? В его конфиге?
Можно и на уровне торнадо
Nikita
Можно и на уровне торнадо
Ну вы меня поняли :)
Це пиздос
зачем?
Хочу скрыть сервер
Alex
Можно и на уровне торнадо
http://www.tornadoweb.org/en/stable/web.html#tornado.web.RequestHandler.set_default_headers
Це пиздос
Ну вы меня поняли :)
Я вроде как менял у nginx, но на деле не изменилось ничего(
Arthur
Поделитесь мнением, кто в курсе, как долго перейти с java на python для веб-разработки и стоит ли?
Roman
Поделитесь мнением, кто в курсе, как долго перейти с java на python для веб-разработки и стоит ли?
я вот постоянно работаю в окружении програмистов на java , по сути для начала заботай какой-нибудь просто фреймворк типа flask или из асинхронных asyncio , тебе как любителю языка со статической типизацией понравиться возможно fastapi
Roman
для тестирования посмотри aiohttp, requests
Roman
а если хочеться что-то с батарейками - смотри django, django-rest-framework, django-channels
Arthur
а если хочеться что-то с батарейками - смотри django, django-rest-framework, django-channels
Я смотрю в сторону питона из-за соблазна зайти в ML