даю подсказку - одна из лучших вещей, которая появилась в asyncio - это subprocess_exec()

https://media.tenor.com/images/6674b304cddec3b58a02b870692c68ba/tenor.gif

во, рабочий гиф нашелся

кто знает где у него кнопка?

кто знает где у него кнопка?

Расскажи о своём подходе и чем он принципиально лучше подхода с очередями и процессами

Так, что он - 2017, а очереди оставляет в 2008.

Так, что он - 2017, а очереди оставляет в 2008.

очереди нужны, тогда когда они обоснованы. мне например очередь не нужна, зато нужны синхронные либы

а предлагать выносить блокирующий код в отдельный процесс и общаться с ним через очередь медленную это и есть 2008 год

То есть, основная претензия предъявляется к производительности очереди?

Первое твоё сообщение ты бы у Николая забраковал как неинформативное

То есть, основная претензия предъявляется к производительности очереди?

к тому что нет никаких оснований для накладных расходов на процесс и задержки на коммуникацию с ним

к тому что нет никаких оснований для накладных расходов на процесс и задержки на коммуникацию с ним

> писать на питоне > беспокоиться о накладных расходах

Интересно посмотреть на какие-нибудь бенчмарки

я люблю пиклить генераторы и корутины

Как сильно процесс и очередь влияют на производительность и затрачиваемые ресурсы по сравнению с предлагаемым подходом

Если влияние в пределах погрешности, то я боюсь, это вкусовщина :(

Интересно посмотреть на какие-нибудь бенчмарки

ну тут выбор - вынос в поток в одном процессе, вынос процесса и коммуникация с ним через сеть. разница там минимум порядок

ну тут выбор - вынос в поток в одном процессе, вынос процесса и коммуникация с ним через сеть. разница там минимум порядок

допустим, но если эти расходы - 0.1% (и 1%) от общих затрат, то не все ли равно?

допустим, но если эти расходы - 0.1% (и 1%) от общих затрат, то не все ли равно?

не все равно, два лишних слоя сложности вводится совсем необосновано

допустим, но если эти расходы - 0.1% (и 1%) от общих затрат, то не все ли равно?

представь что ты сервер, тебе надо прочитать файл во время обработки запроса и не заблокировать остальных, нормально ли отдавать это задачей в очередь и ждать пока для тебя его прочитает вокрер и отдаст тебе по сети?

представь что ты сервер, тебе надо прочитать файл во время обработки запроса и не заблокировать остальных, нормально ли отдавать это задачей в очередь и ждать пока для тебя его прочитает вокрер и отдаст тебе по сети?

Чтение файла с диска может быть асинхронным, как мы знаем, пример невалидный

представь что ты сервер, тебе надо прочитать файл во время обработки запроса и не заблокировать остальных, нормально ли отдавать это задачей в очередь и ждать пока для тебя его прочитает вокрер и отдаст тебе по сети?

не вижу проблем даже реально по сети отправить запрос на соседний сервис

ну тут выбор - вынос в поток в одном процессе, вынос процесса и коммуникация с ним через сеть. разница там минимум порядок

Да, потому что поток не ускорит твой код, а процесс ускорит

Добро пожаловать в питон

Чтение файла с диска может быть асинхронным, как мы знаем, пример невалидный

очень ограниченно и зависит от платформы

очень ограниченно и зависит от платформы

Не юли

Не юли

Не нагнетай

Добро пожаловать в питон

Коль, я с тобой попрощался, извини

Nginx, по-твоему, как работает?

Не нагнетай

И то верно

Nginx, по-твоему, как работает?

через celery

Коль, я с тобой попрощался, извини

Офигенно так встал и вышел посреди обсуждения :)

через celery

Двойной фейспалм

Саш, ну ты ж явно неправ, зачем продолжаешь спорить с очевидным?

не вижу проблем даже реально по сети отправить запрос на соседний сервис

ну это же катастрофический оверхед

О том, что в питоне multiprocessing ускоряет код лучше потоков, знают даже джуниоры

ну это же катастрофический оверхед

с таким подходом лучше на плюсах писать - в питоне на каждом шагу по оверхеду сидит

ну это же катастрофический оверхед

Не особо, это, опять же, асинхронная io операция

с таким подходом лучше на плюсах писать - в питоне на каждом шагу по оверхеду сидит

И то верно

с таким подходом лучше на плюсах писать - в питоне на каждом шагу по оверхеду сидит

ну нет, такую схему можно на любом языке предложить в схожей ситуации

ну нет, такую схему можно на любом языке предложить в схожей ситуации

В схожей ситуации, когда у нас в языке есть GIL?)

В схожей ситуации, когда у нас в языке есть GIL?)

Не, он прав в случае жёстко io bound операций

Проблема в том, что чистых io, если это не диск и не сеть, в бизнес-логике почти не бывает

В схожей ситуации, когда у нас в языке есть GIL?)

когда вызов блокирующий, системный вызов, например

гил это обстоятельство всего лишь

Как мило, он меня теперь игнорирует. Это победа, браво!

гил это обстоятельство всего лишь

Это обстоятельство, которое превращает твой питонокод в тыкву зачастую, если ты полагаешься на потоки

А в го - не превращает, потому что там его нету

Не, он прав в случае жёстко io bound операций

Я говорил о том, что ситуация не будет схожей с точки зрения подхода к организации кода.

Python will tear us apart

Я говорил о том, что ситуация не будет схожей с точки зрения подхода к организации кода.

Разумеется

Я потому и говорил о том, что процессы, а иногда и очередь - лучше

В подавляющем большинстве случаев

Если мы говорим про питон

Я говорил о том, что ситуация не будет схожей с точки зрения подхода к организации кода.

но дело в том что в свежем питоне есть возможности чтобы не рыдать, я их использую, у них один минус - плохая абстракция

но дело в том что в свежем питоне есть возможности чтобы не рыдать, я их использую, у них один минус - плохая абстракция

В свежем питоне гил никуда не делся

А хороший там апи или плохой - вопрос вкуса

отключите Колю от меня, пацаны!

отключите Колю от меня, пацаны!

Не осиливаешь сказать про теме - наедь на оппонента!

Я говорил о том, что ситуация не будет схожей с точки зрения подхода к организации кода.

http://lucumr.pocoo.org/2016/10/30/i-dont-understand-asyncio/ вопрос именно про организацию, возможности есть все, пользоваться ими очень непросто

Я читал этот крик души армина, ага

Не осиливаешь сказать про теме - наедь на оппонента!

с тобой как с голубем в шахматы играть, я тебе проиграл, ок, сдаю все партии наперед

http://lucumr.pocoo.org/2016/10/30/i-dont-understand-asyncio/ вопрос именно про организацию, возможности есть все, пользоваться ими очень непросто

Возможности запустить питонокод, отпустив гил, иначе, кроме как в другом процессе, так и не появилось

с тобой как с голубем в шахматы играть, я тебе проиграл, ок, сдаю все партии наперед

Да ну? Только я вот пишу аргументы, а ты только "нет, это все херня, я думаю не так"

Я читал этот крик души армина, ага

вот я о том же, поварившись полгода в этом я написал свою абстракцию с control flow внятным, и планировщиком простым, полагаю что эту боль придется решать ибо гвидо порешил что этого в стандартноц либе не будет. его устраивает низкий уровень апи asyncio

вот я о том же, поварившись полгода в этом я написал свою абстракцию с control flow внятным, и планировщиком простым, полагаю что эту боль придется решать ибо гвидо порешил что этого в стандартноц либе не будет. его устраивает низкий уровень апи asyncio

Есть ещё curio, например, но там гил тоже есть, вот напасть

ERROR: S client not available

Есть ещё curio, например, но там гил тоже есть, вот напасть

ты автора курио выше назвал несущим чушь на слайдах

Опенсорсь же, если народу понравится внятное апи, все будут счастливы

ты автора курио выше назвал несущим чушь на слайдах

Где? Пруф или пиздобол, пардон за французский

GIL (запрещенная в России организация)

GIL (запрещенная в России организация)

Isis

Опенсорсь же, если народу понравится внятное апи, все будут счастливы

так вот хотелось узнать нсть ли у кого опыт потому что мой я пока хорошим не назову

Isis

Вот чего нет, того нет в питоне

Isis

спасибо, капитан

Я написал только, что на слайде у него написано, что потоки реализуют с помощью гила кооперативную многозадачность. Это не совсем корректное утверждение.

но тут пришел Коля и включил мне GIL, теперь я не могу отключить Колю

Вот чего нет, того нет в питоне

Что если бы isis вырезал прогеров на php?

но тут пришел Коля и включил мне GIL, теперь я не могу отключить Колю

Я не включал, он всегда там был

так вот хотелось узнать нсть ли у кого опыт потому что мой я пока хорошим не назову

Я с асинкио только игрался, в рабочем коде по старинке, вряд ли смогу поделиться опытом)

Что если бы isis вырезал прогеров на php?

В ASP NET есть IIS, поразмысли над этим.

А я пойду спать, у меня полпятого и завтра почему-то вторник.

Короче, Александр. Давай конкретные примеры задач, а уже из них можно исходить, подходят там треды или нет

Коля, сладких снов!

В общем случае, напомню, чаще всего - нет

Коля, сладких снов!

Его зовут Артём

В общем, если нет примеров - то и пруфов нету, посему считаем, что ты неправ и беседа зашла в тупик

А апи у asyncio так себе, конечно, если между нами

Но куда лучше, чем было без него

это воистину прекрасный человек) давно я такого не встречал

это воистину прекрасный человек) давно я такого не встречал

Ты аргументировать вообще собираешься?

это воистину прекрасный человек) давно я такого не встречал

Буду всегда так отвечать, когда у меня просят пруфы

Ты аргументировать вообще собираешься?

можно часа три назад отмотать и почитать

можно часа три назад отмотать и почитать

3 часа назад Николай тебя в плане аргументации поимел

Буду всегда так отвечать, когда у меня просят пруфы

какие тебе пруфы?

можно часа три назад отмотать и почитать

Там ты рассказывал, что потоки кооперативную многозадачность реализуют, а гил на run_in_executor не влияет

Так что лучше не мотать

какие тебе пруфы?

Примеры кода и кейсов, когда run_in_executor спасает. Впрочем, ты же уверен, что всегда?