Se
А при чём здесь threading?
ну в одном потоке выполнять команды и если он умер с эксепшеном, то брать результат из второго
Egor
ну в одном потоке выполнять команды и если он умер с эксепшеном, то брать результат из второго
Если поток умер с исключением, значит что-то пошло не так и это исключение не спроста? Раз. Как это вообще взять результат из второго? Результат, которого нет? :)
Ultralord
Я тут писал, но никто не ответил чот, ещё раз спрошу, есть вот такая функция-процесс: from multiprocessing import Event, Process, Queue q = Queue(maxsize=100) continue_running = Event() def save_product(evnt, queue): def save_offers(product): ... with ThreadPoolExecutor(max_workers=10) as pool: while evnt.is_set(): product = queue.get() pool.submit(save_offers, product) write: Process = Process( target=save_product, daemon=True, name='consumer', args=(continue_running, q), ) continue_running.set() continue_running.wait() wite.start() Есть второй процесс который синхронно складывает product в очередь, save_offers сохраняет их в базу, есть проблемы: 1) Докер контейнер в котором упаковано это добро, создаёт просто кучу --multiprocessing-fork в ос, может несколько десятков, хотя есть всего 5 процессов, основной, который запускается через ювикорн (фастапи, на 4 воркера), и 4 демона, в одном из которых запускается пул (выше написал его), ювикорн с 4 воркерами единожды запускает все процессы, очередь используют только 2 процесса 2) В базе как то появляются дубли, очень рандомно и очень редко, хотя в коде save_offers стоит проверка (возможно кликхаус виноват и буферная модель). 3) контейнер ограничен 8гб ОЗУ и все они забиты, хотя 100 штук в очереди вообще никак не могут такое потребление вызвать и очередь почти всегда нулевая (мб тредпул резервирует)
Se
Исключения можно заменить возвратом
что за возврат? return? try: xx_inv = np.linalg.inv(xx) except np.linalg.LinAlgError: return [np.nan], [[np.nan, np.nan]]
Alex
что за возврат? return? try: xx_inv = np.linalg.inv(xx) except np.linalg.LinAlgError: return [np.nan], [[np.nan, np.nan]]
из функции вызываемой в отдельном потоке возвращать что-либо слегка бессмысленно.
Se
пока что я вынес в надфункцию и она вызывает numba функцию, но есть узкие места и выше. поэтому это только временный вариант
Vladimir
VS Code вообще умеет парсить докстринги?
Конечно. Я же привёл пример видео и кода.
Vladimir
в видео вообще-то JS
Ну извинитя) Но в коде - Python
Alex
Ну извинитя) Но в коде - Python
так еще раз, счего ты взял что VS Code вообще умеет парсить питонячьи докстринги в каком-либо формате?
Nekot
А есть чат по grub, модулям ядра, efi и т.п.?
Egor
А есть чат по grub, модулям ядра, efi и т.п.?
Ну может чаты типа @kali_linux_ru или @ru_ubuntu.
Alex
ну я парсинга докстринга нигде не увидел
Alex
VS Code отображает докстринг для питона как есть независимо от формата Google или Sphinx, максимум это он рендерит reStructuredText.
Alex
https://www.reddit.com/r/vscode/comments/fgljnw/what_is_the_working_python_docstring_style_for_vs/
Vladimir
Vladimir
Nikolay
чей докстринг?
Nikolay
У меня так генерит
Ultralord
Может ты просто нормальный typing будешь использовать?
Vladimir
чей докстринг?
https://marketplace.visualstudio.com/items?itemName=njpwerner.autodocstring
Nikolay
А, гугловский
Vladimir
Может ты просто нормальный typing будешь использовать?
Да использую я typing. Подсказочку хочу итерируемую)
undeground
У меня так генерит
Че за терминал
undeground
Как называется
Vladimir
А, гугловский
Нет. Этот - sphinx
Alex
ну и где грамотное описание как ты утверждал?
Nikolay
Нет. Этот - sphinx
ну если ты поменял
Alex
ты того же можешь добиться при помощи аннотаций
Ultralord
Да использую я typing. Подсказочку хочу итерируемую)
Нафига, тайпинг и нормальные названия итак всю инфу дают о переменных, докстринги, так, аддон, если совсем непонятно
Alex
ну если ты поменял
так это блин генератор
Vladimir
ну и где грамотное описание как ты утверждал?
Кажется на момент предыдущей итерации, помимо типа выводилось еще и описание. Или я глюкнул и принял за него summary
Vladimir
ну и где грамотное описание как ты утверждал?
Всё же не будешь спорить с тем, что VS Code умеет в парсинг docstring?
Девятилов
Подскажите что делать, не устанавливается модуль
Alex
хочешь нормальный интеллисенс бери покупай PyCharm.
Nikolay
lsp уже везде должно быть, тем более в поделии от мс
Alex
Подскажите что делать, не устанавливается модуль
научиться формулировать вопросы внятно и показывать полные сообщения об ошибках.
Tishka17
последнее время меня pycharm сильно расстраивает
Tishka17
очень много ругается на валидные конструкции
Nikolay
последнее время меня pycharm сильно расстраивает
люди начинают о чем-то *догадываться*
Alex
Вопрос. Работаю в паре с верстальщиком и разумеется он с питоном не знаком да и ему это нафиг не надо. Как ему развернуть проект чтобы оно у него просто работало?
Denis
docker-compose up
Vladimir
Не надо так
Alex
отвратительно.
Alex
ок, пасиб.
Девятилов
отвратительно.
Отвратительно это твой ответ на мой вопрос.
Alex
Отвратительно это твой ответ на мой вопрос.
сходи что ли правила прочитай
Nekot
люди начинают о чем-то *догадываться*
да там у них в отрытую в репе это всё лежит
Девятилов
сходи что ли правила прочитай
Правила прочитал, и твой ответ все равно отвратительный.
undeground
Обязательно надо будет знать инглишь айтишнику
undeground
Прям конкретно или так
Ultralord
Я тут писал, но никто не ответил чот, ещё раз спрошу, есть вот такая функция-процесс: from multiprocessing import Event, Process, Queue q = Queue(maxsize=100) continue_running = Event() def save_product(evnt, queue): def save_offers(product): ... with ThreadPoolExecutor(max_workers=10) as pool: while evnt.is_set(): product = queue.get() pool.submit(save_offers, product) write: Process = Process( target=save_product, daemon=True, name='consumer', args=(continue_running, q), ) continue_running.set() continue_running.wait() wite.start() Есть второй процесс который синхронно складывает product в очередь, save_offers сохраняет их в базу, есть проблемы: 1) Докер контейнер в котором упаковано это добро, создаёт просто кучу --multiprocessing-fork в ос, может несколько десятков, хотя есть всего 5 процессов, основной, который запускается через ювикорн (фастапи, на 4 воркера), и 4 демона, в одном из которых запускается пул (выше написал его), ювикорн с 4 воркерами единожды запускает все процессы, очередь используют только 2 процесса 2) В базе как то появляются дубли, очень рандомно и очень редко, хотя в коде save_offers стоит проверка (возможно кликхаус виноват и буферная модель). 3) контейнер ограничен 8гб ОЗУ и все они забиты, хотя 100 штук в очереди вообще никак не могут такое потребление вызвать и очередь почти всегда нулевая (мб тредпул резервирует)
Крч что то с queue происходит при добавлении в очередь, уже думаю кролика поднимать
Alex
Обязательно надо будет знать инглишь айтишнику
разве что айтишник будет разработчиком 1C.
Ultralord
так никто и не хелпанул(
Nikolay Markov
Крч что то с queue происходит при добавлении в очередь, уже думаю кролика поднимать
у тебя там какая-то лихая смесь тредов с процессами, это так и надо?
Ultralord
у тебя там какая-то лихая смесь тредов с процессами, это так и надо?
Да, процессы-демоны, а треды в одном, для блокирующих операций
Nikolay Markov
Да, процессы-демоны, а треды в одном, для блокирующих операций
multiprocessing.Queue и queue.Queue сильно по-разному устроены. Я не уверен, что их можно так легко мешать. И почему не asyncio?
Nikolay Markov
ты там где то queue.Queue увидел?
так о том и речь. Ты в тредах пытаешься работать с мультипроцессинговой очередью
Nikolay Markov
в теории оно должно работать, согласен, на практике же там могут быть подводные камни
Ultralord
так о том и речь. Ты в тредах пытаешься работать с мультипроцессинговой очередью
Нет, посмотри внимательнее, айтем берётся из очереди, в процессе, кидается в тред сабмитом и цикл идёт дальше
Ultralord
т.е. очередь вообще в тред никак не попадает
Nikolay Markov
а не думал вместо этого использовать, скажем, celery и редис? чтобы не писать велосипед
Nikolay Markov
еще есть ipyparallel, как альтернатива
Alex
Нет, посмотри внимательнее, айтем берётся из очереди, в процессе, кидается в тред сабмитом и цикл идёт дальше
вообще было бы полезно посмотреть на более полный код, а именно как ты создаешь эти процессы и как их завераешь.
Alex
+ опции запуска uvicorn