ну да, архитектура что надо, тред - не нужно, а отдельный процесс и очередь сообщений - это легко просто и быстро!

именно

добро пожаловать в мир питона

run_in_executor с тредами никак тебе в этом не поможет, ибо GIL и одно ядро никуда не делись

потоки в питоне конкурентны, но не параллельны

который пока что не умеет то, что умеет go

но, надеемся, когда-нибудь научится

добро пожаловать в мир питона

вот и ты познакомься с тем о чем говоришь

concurrency is not parallelism

потоки в питоне конкурентны, но не параллельны

потоки в треде параллельны, разумеется, просто глобальный мьютекс мешает им параллельно выполнять именно питоновый код

паралелизма у потоков нет из-за GIL, но новый GIL делает потоки конкурентными

concurrency is not parallelism

кэп?

паралелизма у потоков нет из-за GIL, но новый GIL делает потоки конкурентными

единственное отличие нового гила от старого - вместо переключения по инструкциям он делает переключение по таймауту

никакого "делает конкурентными" там нет и в помине

единственное отличие нового гила от старого - вместо переключения по инструкциям он делает переключение по таймауту

GIL не блокирует I/O, поэтому потоки конкурентны

никакого "делает конкурентными" там нет и в помине

ты видно понимаешь о чем речь)

GIL не блокирует I/O, поэтому потоки конкурентны

GIL не блокирует сишный код, а конкурентность тут вообще ни при чем

race conditions возможны в питоне на отличненько даже при GIL

GIL не блокирует сишный код, а конкурентность тут вообще ни при чем

причем тут сишный код? у тебя есть блокирующий пакет socket, ты процесс будешь поднимать для него отедльный?

да, так апач делал, версии 1.*, отличный вариант же

причем тут сишный код? у тебя есть блокирующий пакет socket, ты процесс будешь поднимать для него отедльный?

ты намешал все в кучу

сишный код притом, что на него не действует GIL - это раз

ты намешал все в кучу

ничего я не намешал

асинхронная работа с сокетом связана с потоками чуть более, чем никак - два

ничего я не намешал

намешал, намешал. Зачем-то привел сокеты в обсуждении многопоточности

намешал, намешал. Зачем-то привел сокеты в обсуждении многопоточности

ты не понимаешь разницы между конкурентностью и параллельностью, поэтому у тебя я все намешал

ты не понимаешь разницы между конкурентностью и параллельностью, поэтому у тебя я все намешал

это ты не понимаешь, видимо :)

эти понятия вообще между собой практически не связаны

coroutine AbstractEventLoop.run_in_executor, посмотри для чего это сделано

coroutine AbstractEventLoop.run_in_executor, посмотри для чего это сделано

я об этом статью писал и доклад читал, расскажи мне, для чего оно сделано

я об этом статью писал и доклад читал, расскажи мне, для чего оно сделано

это весомейший аргумент)

еще раз - потоки нужны в asyncio чтобы конкурентно исполнять код старых библиотек использующих блокирующий i/o

еще раз - 1) между асинхронностью и параллельностью нет никакой связи 2) run_in_executor() в большинстве случаев бесполезен при использовании ThreadExecutor 3) потоки в питоне, разумеется, параллельны 4) корутины в питоне, разумеется, реализуют кооперативную многозадачность, и в общем случае выполняются в одном потоке

> run_in_executor() в большинстве случаев бесполезен при использовании ThreadExecutor по причине?

что не вечер, а Никаля против всех ))))

> run_in_executor() в большинстве случаев бесполезен при использовании ThreadExecutor по причине?

по причине GIL

> 3) потоки в питоне, разумеется, параллельны разумеется нет

виной тому GIL

> 3) потоки в питоне, разумеется, параллельны разумеется нет

разумеется, да, это обычные POSIX-треды

виной тому GIL

GIL - это просто мьютекс, он не делает потоки не параллельными

корутина - это вообще функция с состоянием, она может быть как блокирующей так и неблокирующей, например greenlet без вашего вольшебного gevent блокирующие

GIL - это просто мьютекс, он не делает потоки не параллельными

хаха)

корутина - это вообще функция с состоянием, она может быть как блокирующей так и неблокирующей, например greenlet без вашего вольшебного gevent блокирующие

корутина - это функция, которая сама решает, когда явно отдать управление. В случае async/await это сделано гораздо более явно, чем в gevent, но код получается чуть более громоздкий

хаха)

что, это для тебя открытие?

еще раз, потоки под управлением интерпретатора - не параллельны, потоки сисетмные без его управления - параллельны, что с успехом используется при вычислениях, например

еще раз, потоки под управлением интерпретатора - не параллельны, потоки сисетмные без его управления - параллельны, что с успехом используется при вычислениях, например

вооот, теперь ты более-менее правильно написал

ошибка только в том, что все потоки - системные, а GIL не распространяется на системные вызовы, например, и при этом неважно, под управлением интерпретатора поток или нет

ошибка только в том, что все потоки - системные, а GIL не распространяется на системные вызовы, например, и при этом неважно, под управлением интерпретатора поток или нет

то есть потоки под управлением интерпретатора я могу на считать параллельно простые числа?

то есть потоки под управлением интерпретатора я могу на считать параллельно простые числа?

если ты используешь cython или вызовы в сишную либу математическую - разумеется

от этого потоки из-под управления интерпретатора не пропадут, просто GIL на них влиять не будет

речь изначально о коде который работает в интерпретаторе

от этого потоки из-под управления интерпретатора не пропадут, просто GIL на них влиять не будет

https://habrahabr.ru/post/167733/

речь изначально о коде который работает в интерпретаторе

в интерпретаторе работает питоновый байткод. На него GIL распространяется

на внешние вызовы - нет

в интерпретаторе работает питоновый байткод. На него GIL распространяется

GIL берется для работы с Python C API

https://habrahabr.ru/post/167733/

я бы больше рекомендовал https://www.youtube.com/watch?v=AWX4JnAnjBE

я бы больше рекомендовал https://www.youtube.com/watch?v=AWX4JnAnjBE

ну там такой же умник прибежал с рассказом как обойти GIL, Андрей внятно и кратко все пояснил

это про статью на хабре

ну там такой же умник прибежал с рассказом как обойти GIL, Андрей внятно и кратко все пояснил

ну, на видео все четко разжевано. А умник прибежал действительно с ерундой. А ты плохо читаешь, что я пишу

между "работой с Python C API" и "вызовом во внешнюю сишную либу" есть большая разница

вкратце - сишная либа может сама спокойно наплодить своих потоков, и им будет наплевать на GIL

равно как и при залипании на системном вызове GIL не играет роли и потоки могут параллельно выполняться

именно поэтому aiofiles и работает, как ты правильно заметил выше

да-да я понял, потоки в питоне параллельны, но при этом толку от них и нет run_in_executor, если нужно сделать блокирующий вызов то либо пиши отдельный сервис либо ставь колом eventloop, а у asyncio api вообще что надо, бизнесовой абстракции почти

давайте про ноду

между "работой с Python C API" и "вызовом во внешнюю сишную либу" есть большая разница

какая внешняя либа? стандартная библиотека это не внешняя либа

да-да я понял, потоки в питоне параллельны, но при этом толку от них и нет run_in_executor, если нужно сделать блокирующий вызов то либо пиши отдельный сервис либо ставь колом eventloop, а у asyncio api вообще что надо, бизнесовой абстракции почти

примерно так, да

ERROR: S client not available

какая внешняя либа? стандартная библиотека это не внешняя либа

фейспалм

давай ты не будешь передергивать так уж явно

давайте про ноду

кто может нормально поднять абстракции asyncio для уровня ноды хотя бы?

разумеется, вызовы в стандартную библиотеку будут под GILом

кто может нормально поднять абстракции asyncio для уровня ноды хотя бы?

абстракции в ноде настолько абстрактные, что она в сишном коде под собой неявно стартует треды, и этот процесс нельзя контролировать из джаваскрипта

а в питоне можно

давай ты не будешь передергивать так уж явно

я ничего не говорил про работу с отпущенным гилом, я говорил про работу со стандартной блокирующей библиотекой (потому что C API), и как ее помирить с asyncio нормально, не лапшкодом а нормально

а в питоне можно

раунд

я ничего не говорил про работу с отпущенным гилом, я говорил про работу со стандартной блокирующей библиотекой (потому что C API), и как ее помирить с asyncio нормально, не лапшкодом а нормально

работа со стандартной блокирующей библиотекой будет блокирующей и run_in_executor() в ней тебе никак не поможет

работа со стандартной блокирующей библиотекой будет блокирующей и run_in_executor() в ней тебе никак не поможет

нет, конечно, нет

потому что потоки интерпретатора конкурентны

поэтому остается либо ждать, пока какие-то вещи перенесут в asyncio, либо запускать их через ProcessPoolExecutor

ну либо использовать что-то типа celery, да

потому что потоки интерпретатора конкурентны

забудь уже эту фразу, она неверна

поэтому остается либо ждать, пока какие-то вещи перенесут в asyncio, либо запускать их через ProcessPoolExecutor

или просто разобраться в том о чем рассуждаешь и использовать то уже сделано и работает

потоки интерпретатора параллельны. точка. GIL там или не GIL - это уже вопрос контекста

или просто разобраться в том о чем рассуждаешь и использовать то уже сделано и работает

я знаю, о чем я рассуждаю, даже исходники cpython ковырял на эту тему

забудь уже эту фразу, она неверна

слушай, я устал от тебя, ты не разбираешься в том о чем мы говорим

слушай, я устал от тебя, ты не разбираешься в том о чем мы говорим

это ты не разбираешься, у тебя из-за GIL потоки внезапно стали конкуретными :)

я знаю, о чем я рассуждаю, даже исходники cpython ковырял на эту тему

я поздравляю тебя, конкурентность потоков от этого никуда не исчезает, они вообще не интерсуются твоим мнением

я поздравляю тебя, конкурентность потоков от этого никуда не исчезает, они вообще не интерсуются твоим мнением

ага, потому что ее тупо нет, есть параллельность и есть операции, которые блокируют потоки и которые не блокируют

вне интерпретатора или внутри него

раунд

я недооценил твой коммент выше, надо было стопануть) я словил синдром новичка)

ну у меня просто ощущение, что ты начитался пары статей, решил толковать термины по-своему и начал спорить :)

лучше бы почитал больше материалов по теме

ага, потому что ее тупо нет, есть параллельность и есть операции, которые блокируют потоки и которые не блокируют

Коль, надеюсь ты сделаешь на эту тему мастер-класс на пайконе, ведь ты даже в исходники глядел!

Коль, надеюсь ты сделаешь на эту тему мастер-класс на пайконе, ведь ты даже в исходники глядел!

на пайконе я про другое рассказывать буду, а на эту тему я уже писал статьи и даже неоднократно лекции в этом самом чате читал :)

я просто знаю, как оно работает, и объясняю тебе, что ты неправильно трактуешь термины

без обид

на пайконе я про другое рассказывать буду, а на эту тему я уже писал статьи и даже неоднократно лекции в этом самом чате читал :)

давай, читай) разреши я все же буду выносить в треды код чтобы не блокировать eventloop?

давай, читай) разреши я все же буду выносить в треды код чтобы не блокировать eventloop?

да делай, как тебе удобно :) только между "не блокировать эвентлуп" и "код работает быстрее" есть большая разница

а все потому что питон - не го