http://pca.st/sysk

Можно ли в asyncio добавлять задачи на ходу? Если скажем они постепенно поступают...

Можно ли в asyncio добавлять задачи на ходу? Если скажем они постепенно поступают...

да

да

А как?

А как?

asyncio.ensure_future

Для "на ходу" и "поступают" лучше использовать очередь

Для "на ходу" и "поступают" лучше использовать очередь

если один процесс зачем очередь?

если один процесс зачем очередь?

Тебе и celery в 2017 не нужен уже

Для "на ходу" и "поступают" лучше использовать очередь

Хм, а можно же сделать очередь на добавление.

Очередь куда проще контролировать

Хм, а можно же сделать очередь на добавление.

у тебя задача какая?

https://docs.python.org/3/library/asyncio-queue.html

у тебя задача какая?

Да пока никакая, просто я думал что asyncio.ensure_future нельзя на ходу. Оказалось что можно. Мой вопрос решен, спасибо вам.

Да пока никакая, просто я думал что asyncio.ensure_future нельзя на ходу. Оказалось что можно. Мой вопрос решен, спасибо вам.

Главное - чтобы не переполнилось

https://docs.python.org/3/library/asyncio-queue.html

О, там можно делать await queue.get(). Интересно...

О, там можно делать await queue.get(). Интересно...

Есть ещё такая штука, как janus

Позволяет одну очередь использовать и для потоков, и для корутин

Позволяет одну очередь использовать и для потоков, и для корутин

Это если executor очень захочется использовать?

Это если executor очень захочется использовать?

https://aiojobs.readthedocs.io/en/stable/

Это если executor очень захочется использовать?

Это вообще если у тебя потоки и корутины в одном приложении

Это вообще если у тебя потоки и корутины в одном приложении

Ну это понятно.

Хм, а вот если взять несколько процессов(multiprocessing) и в одном сделать асинхронное принятие запросов, в другом их асинхронную обработку, в третьем асинхронные запросы к базе данных, то это можно это считать чем-то нормальным?

Хм, а вот если взять несколько процессов(multiprocessing) и в одном сделать асинхронное принятие запросов, в другом их асинхронную обработку, в третьем асинхронные запросы к базе данных, то это можно это считать чем-то нормальным?

Ты изобретешь эрланг

Да, так можно, но все от задачи зависит

Далеко не всегда нужно

Хм, а вот если взять несколько процессов(multiprocessing) и в одном сделать асинхронное принятие запросов, в другом их асинхронную обработку, в третьем асинхронные запросы к базе данных, то это можно это считать чем-то нормальным?

если не смущает оверхед и синхронизация между ними то можно

Ты изобретешь эрланг

в эрланге используется модель акторов, в одном процессе и одном потоке, это ничего общего с мультипроцессингом не имеет

если не смущает оверхед и синхронизация между ними то можно

Да нету там особого оверхеда. Синхронизация да, не очень тривиальная

Просто таким образом задачи внутри одного процесса примерно равны между собой. По идее это же хорошо?

в эрланге используется модель акторов, в одном процессе и одном потоке, это ничего общего с мультипроцессингом не имеет

Там модель акторов, да, но про один процесс и поток неправда

Просто таким образом задачи внутри одного процесса примерно равны между собой. По идее это же хорошо?

Что значит "примерно равны"?

Просто таким образом задачи внутри одного процесса примерно равны между собой. По идее это же хорошо?

ну ты разносишь задачи по процессам, зачем? ведь можно же делать все в одном

ну ты разносишь задачи по процессам, зачем? ведь можно же делать все в одном

Затем, что для некоторых задач мешает gil

Затем, что для некоторых задач мешает gil

это у тебя мешает, человек пишет про задачи которым не мешает

Можно ли на питоне писать под мед оборудование ?

это у тебя мешает, человек пишет про задачи которым не мешает

Человек ни слова не написал про задачи, расслабься

Можно ли на питоне писать под мед оборудование ?

А кто тебе запретит?

Человек ни слова не написал про задачи, расслабься

Хм, а вот если взять несколько процессов(multiprocessing) и в одном сделать асинхронное принятие запросов, в другом их асинхронную обработку, в третьем асинхронные запросы к базе данных, то это можно это считать чем-то нормальным? да, ни слова

А зачем?

Слово "обработка" может означать что угодно :)

Хм, а вот если взять несколько процессов(multiprocessing) и в одном сделать асинхронное принятие запросов, в другом их асинхронную обработку, в третьем асинхронные запросы к базе данных, то это можно это считать чем-то нормальным? да, ни слова

Да, ни слова. Если обработка делается, например, на питоне - все будет тормозить. Так что перестань троллить

Там модель акторов, да, но про один процесс и поток неправда

конечно, неправда. модель акторов - это lock-free механизм, а треды они ровно наоборот

конечно, неправда. модель акторов - это lock-free механизм, а треды они ровно наоборот

Ты сейчас написал "помидор - это помидор, а трактор ровно наоборот"

Ты сейчас написал "помидор - это помидор, а трактор ровно наоборот"

да-да

Локфри как раз сделан для того, чтобы треды проще писать было

А кто тебе запретит?

Есть заказ от фирмы, написать *модуль* для приборов жизне обеспечения, чтобы при определенной последовательности нажатия кнопок система реагировала соответствующим образом. Так же есть опция для экстренной остановки. Вот я и думаю, нахера закладывать такой код???

Есть заказ от фирмы, написать *модуль* для приборов жизне обеспечения, чтобы при определенной последовательности нажатия кнопок система реагировала соответствующим образом. Так же есть опция для экстренной остановки. Вот я и думаю, нахера закладывать такой код???

Ну, если ты уверен, что на сях напишешь код, который никогда не упадёт, и покроешь его тестами - то пиши на сях

конечно, неправда. модель акторов - это lock-free механизм, а треды они ровно наоборот

ну вообще действительно неясно, что ты имел в виду.

В противном случае высокоуровневый язык спасает от многих выстрелов в ногу

Есть заказ от фирмы, написать *модуль* для приборов жизне обеспечения, чтобы при определенной последовательности нажатия кнопок система реагировала соответствующим образом. Так же есть опция для экстренной остановки. Вот я и думаю, нахера закладывать такой код???

забавные опции.. и приборы интересные)

ну вообще действительно неясно, что ты имел в виду.

то что они работают в одном треде и позволяют создавать легковесные процессы быстрые (как раз за счет отказа от блокировок) которые могут решать и конкурентные задачи и параллельные, это уже берет на себя виртуальная машина. у тебя при этом один тред и тебе не нужно "писать треды"

Ну, если ты уверен, что на сях напишешь код, который никогда не упадёт, и покроешь его тестами - то пиши на сях

Суть в том, что это как то палевно все... хз... может новая версия эфтаназии... только вот что произойдет если кто то удаленно получит доступ к системе.

ERROR: S client not available

то что они работают в одном треде и позволяют создавать легковесные процессы быстрые (как раз за счет отказа от блокировок) которые могут решать и конкурентные задачи и параллельные, это уже берет на себя виртуальная машина. у тебя при этом один тред и тебе не нужно "писать треды"

Писать треды не нужно - это верно. Один тред - неверно.

то что они работают в одном треде и позволяют создавать легковесные процессы быстрые (как раз за счет отказа от блокировок) которые могут решать и конкурентные задачи и параллельные, это уже берет на себя виртуальная машина. у тебя при этом один тред и тебе не нужно "писать треды"

отказ от блокировок как раз нужен для упрощения параллелизма - разбиения по тредам в том числе

Суть в том, что это как то палевно все... хз... может новая версия эфтаназии... только вот что произойдет если кто то удаленно получит доступ к системе.

Мне кажется, тебе стоит зааутсорсить задачу эту более опытному разработчику, если тебя терзают такие сомнения

отказ от блокировок как раз нужен для упрощения параллелизма - разбиения по тредам в том числе

++

если ты имеешь в виду, что ты не управляешь вручную, что в каком треде запускать - то да

отказ от блокировок как раз нужен для упрощения параллелизма - разбиения по тредам в том числе

но это доступа к этому механизму у тебя как у разработчика как правило нет, равно как и в го. в этом и магия и прелесть языка. твой код работает в одном треде, а задачи шедулятся без тебя

просто "все работает в одном треде" это совсем неправильная фраза)

но это доступа к этому механизму у тебя как у разработчика как правило нет, равно как и в го. в этом и магия и прелесть языка. твой код работает в одном треде, а задачи шедулятся без тебя

Не работает код в одном треде

Добрый вечер, господа знатоки. Возникла дилемма у меня, подрывающая всю уверенность в себе — как лучше создавать коннект к бд в веб-приложухе: отдельно на каждый запрос или единожды при старте приложения?

Добрый вечер, господа знатоки. Возникла дилемма у меня, подрывающая всю уверенность в себе — как лучше создавать коннект к бд в веб-приложухе: отдельно на каждый запрос или единожды при старте приложения?

Какая бд?

постгрес

Какая бд?

бд вообще взята для примера, вопрос затрагивает сетевые подключения в общем

Господа, можно ли украсть чуточку вашего внимания, может кто поделится опытом? У меня есть жутчайшее наследие тестовой инфраструктуры на питоне, с дичашим переплетением файлов и кучей импортов. Разобраться, даже с ручкйо и карандашом весьма и весьм сложно (многие объекты, модели, фикстуры, кочуют из файла в файл). Может кто знает, существуют ли анализаторы кода, визуальные отладчики, которые бы наглядно рисовали блок схемы того, что происходит в данный момент в тесте. Откуда берутся переменные, откуда файлы настроек, как это все видоизменяется. Я гуглил, но кроме примитивных инструментов ничего не нашел. Спасибо!

Вопрос - можно ли как то красиво заменить строку в файле ? Зная её номер. И без чтения всего файла в память.

бд вообще взята для примера, вопрос затрагивает сетевые подключения в общем

В алхимии это все от тебя спрятано, например. Там есть объект сессии в тредлокале, который сам решает, когда создавать новый коннекшен

Господа, можно ли украсть чуточку вашего внимания, может кто поделится опытом? У меня есть жутчайшее наследие тестовой инфраструктуры на питоне, с дичашим переплетением файлов и кучей импортов. Разобраться, даже с ручкйо и карандашом весьма и весьм сложно (многие объекты, модели, фикстуры, кочуют из файла в файл). Может кто знает, существуют ли анализаторы кода, визуальные отладчики, которые бы наглядно рисовали блок схемы того, что происходит в данный момент в тесте. Откуда берутся переменные, откуда файлы настроек, как это все видоизменяется. Я гуглил, но кроме примитивных инструментов ничего не нашел. Спасибо!

Objgraph, cprofile+runsnakerun

Вопрос - можно ли как то красиво заменить строку в файле ? Зная её номер. И без чтения всего файла в память.

Знаю что звучит как фигня, но stakoverflow предлагает ту еще дичь в основном

Objgraph, cprofile+runsnakerun

побежал гуглить)

Знаю что звучит как фигня, но stakoverflow предлагает ту еще дичь в основном

В баше sed'ом

В баше sed'ом

Вот блин, а нормального python way нет?

В алхимии это все от тебя спрятано, например. Там есть объект сессии в тредлокале, который сам решает, когда создавать новый коннекшен

ну про алхимию понял и знал, но меня именно интресует, как это стоит делать, если сам пишешь взаимодействие с бд.

Вот блин, а нормального python way нет?

Без временного файла или чтения в память не очень тривиально

ну про алхимию понял и знал, но меня именно интресует, как это стоит делать, если сам пишешь взаимодействие с бд.

Я бы сказал, если база не умеет в пайплайнинг - то коннектить заново каждый раз. А вообще лучше всего посмотреть, как сделано в asyncpg

Без временного файла или чтения в память не очень тривиально

Да, но как то не красиво читать в память файлы если они с 500 метров например

Да, но как то не красиво читать в память файлы если они с 500 метров например

500 метров - это мелочь вообще