А он не поможет

почему?

А он может сигнал кинуть не одному процессу, а 10 сразу?

Ну есть просто задачи, которые должны исполняться в отдельных контейнерах, но при этом ансамблироваться должно сервером на aiohttp. Вот и интересуюсь. Просто докер внутри докера даже звучит по костыльному, матрешка получается

Я такую "матрёшку" использую для сборки проектов. Проекты однотипные, добавляют только кастомизации к основному ядру. А вот процедура сборки не банальная и иногда меняется. Что-бы скрипт для сборки не копи-пастить в репазиторий каждого проекта, я просто запилил докер-образ, внутри которого зашиты все скрипты сборки, которые в результате создают докер-образы для проекта и заливают их в приватный докер-хаб. Без "матрёшки" такое не сделать конечно - я, как тут писали выше, просто монтирую в сборочный контейнер сокет от хостового докера.

Вообще, с ним там суметь ещё надо скрестить. Не помню кейса, но там вроде на 100% все равно не решало

А он может сигнал кинуть не одному процессу, а 10 сразу?

да, может. я согласен, что logrotate имеет особености и лучше уже systemd использовать.

@linkolnpark будет жить. Поприветствуем!

Ну есть просто задачи, которые должны исполняться в отдельных контейнерах, но при этом ансамблироваться должно сервером на aiohttp. Вот и интересуюсь. Просто докер внутри докера даже звучит по костыльному, матрешка получается

матрешка вполне имеет право на жизнь. на модель CI вообще отлично ложится.

Можно ли с одним ядром ускорить процесс парсинга, запараллелив процессы?

Можно ли с одним ядром ускорить процесс парсинга, запараллелив процессы?

нет

нет

а другим способом?

многопоточность?

или тоже нет?

ты ведь понимашь разницу между вытесняющей многозадачностью и параллелизмом

видимо нет

и в логику тоже не умеешь

вытесняющая многозадачность поясни пожалуйста

погугли пожалуйста

это асинхронность?

Можно ли с одним ядром ускорить процесс парсинга, запараллелив процессы?

Смотря что у тебя тупит - сам парсинг или скачивание страниц

это асинхронность?

Просто погугли

Виталий ты с одним ядром ничего не распараллелишь, вот совсем. Параллелизм физически невозможен когда у тебя одно ядро.

у меня бот тупит, в общем когда один юзер запросил инфу - ему 3-4 секунды собирается инфа, а в это время другие команды стоят

Ну так это же не совсем "парсинг", ты согласен?

Так вопрос не про ускорение, а чтобы другим не мешать?

И вопрос не про ускорение ага

да, ну сори за нубскую формулировку

нужно как-то локализовать его процесс

Делай бота асинхронным, выноси парсинг в очередь и обрабатывай отдельным потоком.

вот, про потоки я и спрашивал

одного ядра для многопоточности достаточно?

вот, про потоки я и спрашивал

в твоем случае это никакого отношения к параллелизму не имеет, уловил?

да, я понял

Да. Но работать будут по очереди. Возвращаемся к Гуглу и вытесняющей многозадачности

Делай бота асинхронным, выноси парсинг в очередь и обрабатывай отдельным потоком.

он и так async, но у меня видимо неправильно скрипт построен

сейчас будут разбираться

Ну если у тебя реально cpu-bound задача и ты там в корутине много делаешь, то asyncio тебе не поможет

Ну если у тебя реально cpu-bound задача и ты там в корутине много делаешь, то asyncio тебе не поможет

ну дык для этого и нужно вынести в отдельный поток \ процесс. он просто ставит задачу в очередь и ждет ее завершения в корутине, пока бот обрабатывает другие сообщения.

Угу

Спасибо, пойду копать

Ну если у тебя реально cpu-bound задача и ты там в корутине много делаешь, то asyncio тебе не поможет

в asyncio кстати есть уже из коробки loop.run_in_executor(), ничего изобретать не нужно

в asyncio кстати есть уже из коробки loop.run_in_executor(), ничего изобретать не нужно

Ну это полумера. Это скорее решение для кейсов когда надо вызвать блокирующий (но не cpu bound) код

Господа, в питоновском модуле redis надо закрывать коннект при выходе из функции? То есть ветка finally (портирую код с прототипа на руби) должна как то так выглядеть или можно забить? Сам питон встроен в сишное приложение, поэтому лучше перебдеть def redis_store_duri(key, duri, lifetime = 3600): try: r = redis.Redis(host='localhost', port=6379, db=3) if not r.exists(key): r.setex(key, lifetime, duri) else: self.xwarn("Key " + key + " exists. Skip saving DURI:" + duri) except Exception: self.xerr("Cant store call connection in redis") return -255 finally: r.disconnect! if r.connected?

в asyncio кстати есть уже из коробки loop.run_in_executor(), ничего изобретать не нужно

а эта функция yield’ит текущее выполнение корутины, позволяя перешедулиться на другие?

Где юзают python в вебе?

а эта функция yield’ит текущее выполнение корутины, позволяя перешедулиться на другие?

да, эта ф-ция возвращает Future

Где юзают python в вебе?

На бэке в основном

Ну это полумера. Это скорее решение для кейсов когда надо вызвать блокирующий (но не cpu bound) код

почему-это вдруг? никто тебе не мешает запустить cpu-bound задачу в кастомном executor'е например в ProcessPoolExecutor

На бэке в основном

Заменит php?

Заменит php?

Да

Заменит php?

нет

php ничего не заменит, лучше пишите на php

почему-это вдруг? никто тебе не мешает запустить cpu-bound задачу в кастомном executor'е например в ProcessPoolExecutor

loop.set_default_executor(executor)¶ Set executor as the default executor used by run_in_executor(). executor should be an instance of ThreadPoolExecutor. Deprecated since version 3.7: Using an executor that is not an instance of ThreadPoolExecutor is deprecated and will trigger an error in Python 3.9. executor must be an instance of concurrent.futures.ThreadPoolExecutor. Я вот правда не уверен распространяется ли это на аргумент в run_in_executor. Если нет, то согласен с тобой

Ну это полумера. Это скорее решение для кейсов когда надо вызвать блокирующий (но не cpu bound) код

Да ладно. Для cpu-bound поможет, если задач не слишком много. Если много - нужно ядра добавлять все равно. И делать вычисления в процессах тогда уж

loop.set_default_executor(executor)¶ Set executor as the default executor used by run_in_executor(). executor should be an instance of ThreadPoolExecutor. Deprecated since version 3.7: Using an executor that is not an instance of ThreadPoolExecutor is deprecated and will trigger an error in Python 3.9. executor must be an instance of concurrent.futures.ThreadPoolExecutor. Я вот правда не уверен распространяется ли это на аргумент в run_in_executor. Если нет, то согласен с тобой

ну с учетом того что в документации к run_in_executor() ничего об этом не сказано и приведены примеры с исползованием процесс пула, я полагаю что не, не распространяется.

видимо запретили заменять дефолтный executor не ThreadPool чтобы не сломать другой код, который так же его использует.

да, эта ф-ция возвращает Future

спс за пояснение ?

Да ладно. Для cpu-bound поможет, если задач не слишком много. Если много - нужно ядра добавлять все равно. И делать вычисления в процессах тогда уж

если использовать ThreadPoolExecutor, то будет лочиться луп в момент захвата gil воркерами в executor'е

если использовать ThreadPoolExecutor, то будет лочиться луп в момент захвата gil воркерами в executor'е

ну с учетом контекста, что у ТС одно ядро, то ему как-то все равно.

а так-то да

ну с учетом того что в документации к run_in_executor() ничего об этом не сказано и приведены примеры с исползованием процесс пула, я полагаю что не, не распространяется.

Да, ты прав. Беру свои слова обратно

если использовать ThreadPoolExecutor, то будет лочиться луп в момент захвата gil воркерами в executor'е

Одно ядро же было в задаче

Одно ядро же было в задаче

ну конкретно в этом кейсе, да, существенной разницы быть не должно

подскажите пожалайсту. переход с win на linux. все поставил скопировал программу запускаю а мне пишет нет модуля (from app.app import armo) на это строку ругается

подскажите пожалайсту. переход с win на linux. все поставил скопировал программу запускаю а мне пишет нет модуля (from app.app import armo) на это строку ругается

значит ты что-то сделал не так.

я так понимаю обращение не через точку?

/app/app.py

подскажите пожалайсту. переход с win на linux. все поставил скопировал программу запускаю а мне пишет нет модуля (from app.app import armo) на это строку ругается

@ru_python_begginers

я так понимаю обращение не через точку?

интересно что же заставило тебя так думать?

я сползаю под кресло...

?

ну первое что в голову всбрело. в винде норм же

для линукса это известная проблема в питоне

мг

ну первое что в голову всбрело. в винде норм же

наша высококвалифицированная команда экстрасенсов уже выехала по вашему адресу, ожидайте.

и форматируется диск

ты ведь должен знать что это уже давно не работает, правда?

черт

не прокатило

--no-preserve-root забыл.

для линукса это известная проблема в питоне

Это неуместно.

я чуть не поперхнулся. На винде что-то делать с кодом проще, чем на линухе??

В данном случае да. В манжаре предустоновлена своя версия питона, которую невозможно снести и поставить свою, т.к. на ней написана часть софта. А на эту версию нихрена нет и нужно ебаться с окружениями и прочим говном, что мне не нужно

зануды

Господа, что думаете по поводу микросервисов?