Так я ведь и колупаюсь во всем этом потому что у меня ответы будут долгие

Возможно я не совсем понимаю, но как много можно думать о gil? Треды вам скорее всего просто не нужны, если вы можете использовать asyncio и на этом все. Или есть какие-то тонкости?)

Asyncio не поможет делать два дела параллельно, если нет io

Asyncio чет в голове не укладывается

А треды позволят, хотя и будет не быстрее чем по очереди

Не думайте о gil - звучит как не очень совет)

Почему асинхронный код, котором мешает GIL работает намного быстрее синхронного на определенных задачах?

Я не могу написать им того что скидывал выше

Asyncio не поможет делать два дела параллельно, если нет io

Треды тоже, только у вас переключение контекстов не контроллируется

Почему асинхронный код, котором мешает GIL работает намного быстрее синхронного на определенных задачах?

Гил не трогает асинкио

?

ограничения GIL есть и в асинхронном коде. Дело ведь не в этом. Треды полезны, когда у тебя есть какой то процесс, отнимающий ресурсы и ты не хочешь, чтобы из-за него у тебя основной поток замирал (особенно это касается GUI - графического интерфейса). Начни все же с тредов и не думай пока о GIL, проблема часто не в нем, а в ожидании ответа на запросы.

А разве в асинхронном коде есть thread’ы? Какой там GIL?

Треды тоже, только у вас переключение контекстов не контроллируется

Так в asyncio тебе придется руками втыкать переключение, а в тредах оно по любому будет

Так в asyncio тебе придется руками втыкать переключение, а в тредах оно по любому будет

Вы видели, как оно работает в тредах, это переключение? Уж лучше руками

Почему асинхронный код, котором мешает GIL работает намного быстрее синхронного на определенных задачах?

А может наоборот?

Вы видели, как оно работает в тредах, это переключение? Уж лучше руками

Смотря что вам надо

Привет! Имею датафрейм такого вида: Расстояние, км Предприятие Водитель Документ Соль Иванов 1 900.352618 2 166.207261 Сидоров 3 680.800217 4 500.707984 Щебень Петров 10 753.589522 20 312.992229 30 712.442144 Иванов 40 940.743123 Петров 501 868.721067 Песок Попов 15 86.458835 800 288.436953 Как мне получить срез датафрейма, содержащий только данные о перевозках, совершенных одним и тем же водителем для разных предприятий? В данном случае такой df хочу получить: Расстояние, км Предприятие Водитель Документ Соль Иванов 1 900.352618 2 166.207261 Щебень Иванов 40 940.743123 #pandas #multiindex

Всем добрый вечер Мне тут захотелось сделать такую вещь, как blueprint в UE Или ноды в blender В общем визуальное программирование, скорее пародия на него Использовать буду PyQt5 но дело не в нем К сути: Мне нужно что бы человек с помощью встроеных - мной написанных функций(циклов, условий), соединением блоков сделал алгоритм, и потом без проблем вызывал его в программе Я много думал над globals() exec() И вот последнее, до писать ко всей системе генератор кода, потом его компилировать в .pyc И без проблем вызывать в любом месте

Смотря что вам надо

Ну, мне кажется, что юзкейсов у тредов ограниченное количество и в основном все они связаны так или иначе с теми штуками, которые снимают gil

GIL не дает 2 потокам выполняться в один момент времени. Вы хотите сказать, что несколько корутин выполняется в один момент времени? Треды и корутины - это немного разных подход и часто для разных задач.

Потому что в противном случае в третьем питоне оверхед жуткий

Вы видели, как оно работает в тредах, это переключение? Уж лучше руками

В этом видео python core developer говорит, что если много I/O, то треды могут ускорить код не смотря на GIL, но если треды сильно требовательные к процу, то скорость уменьшится, будет тратиться много времени на переключение между потоками

https://www.youtube.com/watch?v=Bv25Dwe84g0

Ну, мне кажется, что юзкейсов у тредов ограниченное количество и в основном все они связаны так или иначе с теми штуками, которые снимают gil

Эм. Ну если тебе надо делать что-то параллельно и пофиг на производительность, почему бы не треды?

В этом видео python core developer говорит, что если много I/O, то треды могут ускорить код не смотря на GIL, но если треды сильно требовательные к процу, то скорость уменьшится, будет тратиться много времени на переключение между потоками

У вас для io завели инструмент лучше

Эм. Ну если тебе надо делать что-то параллельно и пофиг на производительность, почему бы не треды?

Ну .... ладно)

У вас для io завели инструмент лучше

спору нет, но речь о тредах

Ну, зачем сейчас нужны треды в питоне тогда?

Ну и опять же, на тредах писать проще

Ну, зачем сейчас нужны треды в питоне тогда?

Вы писали что то для GUI на питоне?

Ну, зачем сейчас нужны треды в питоне тогда?

Задействовать все ядра при большом количество I/O, например, asyncio будет на одном ядре работать

Задействовать все ядра при большом количество I/O, например, asyncio будет на одном ядре работать

Приехали. У вас треды задействуют все ядра? У вас i/o зайдействует ядра?

Опять же gil не говорит, что работает только один поток. Он об одном потоке, выполняющем именно питоновский код

Приехали. У вас треды задействуют все ядра? У вас i/o зайдействует ядра?

Треды конечно задействуют все ядра

мой код задействует все ядра?

Откуда у вас возьмется нагрузка на больше чем одно ядро, если вы только не снимаете gil?

Опять же gil не говорит, что работает только один поток. Он об одном потоке, выполняющем именно питоновский код

Ну, если мы говорим про черную магию с снятием gil, то там конечно можно обмазатся потоками и оно классно будет работать :)

подскажите кусок кода, который будет хорошо грузить проц

подскажите кусок кода, который будет хорошо грузить проц

os.fork() в вайл тру

Ну, если мы говорим про черную магию с снятием gil, то там конечно можно обмазатся потоками и оно классно будет работать :)

Не. Я про вызовы нативного кода. Банально шифрование или ещё что

подскажите кусок кода, который будет хорошо грузить проц

учи go, там это проще, язык изначально задумывался как "загружатель" всех ядер ?

os.fork() в вайл тру

Не, он не сможет загрузить. Довольно быстро на лимит процессов натолкнешься

Не. Я про вызовы нативного кода. Банально шифрование или ещё что

Вызовы нативного кода должны снимать gil, иначе он остается даже при входе в нативный код. Ну и далеко не весь нативный код позволяет себе это делать, так как не весь он thread-safe

корутины используются в основном для псевдопараллельного выполнения одинаковых задач, требующих некоторого ожидания. Треды позволяют делать параллельно абсолютно разные задачи, часто не связные между собой.

Не, он не сможет загрузить. Довольно быстро на лимит процессов натолкнешься

Хм. А рекурсия?

Вызовы нативного кода должны снимать gil, иначе он остается даже при входе в нативный код. Ну и далеко не весь нативный код позволяет себе это делать, так как не весь он thread-safe

Ну да. Просто не надо упрощать

Хм. А рекурсия?

Лимит рекурсии тысяча что ли

корутины используются в основном для псевдопараллельного выполнения одинаковых задач, требующих некоторого ожидания. Треды позволяют делать параллельно абсолютно разные задачи, часто не связные между собой.

Как вы выполняете задачи паралельно, если у вас GIL?

Как вы выполняете задачи паралельно, если у вас GIL?

Псевдопараллельно

Ну тогда между корутинами и тредами в простой ситуации не так много разницы.

Ну тогда между корутинами и тредами в простой ситуации не так много разницы.

+

как в процессоре выполняются параллельно разные процессы? Методом сохранения/загрузки контекста для каждого процесса.

Лимит рекурсии тысяча что ли

Убрать разве нельзя?

Убрать разве нельзя?

Увеличить

Убрать разве нельзя?

А ты попробуй

Стек не резиновый

А ты попробуй

Лень

как в процессоре выполняются параллельно разные процессы? Методом сохранения/загрузки контекста для каждого процесса.

Ну так вы говорите про процессы или про треды?

Треды в питоне в простом случае не могут выполнятся паралельно.

Всем добрый вечер Мне тут захотелось сделать такую вещь, как blueprint в UE Или ноды в blender В общем визуальное программирование, скорее пародия на него Использовать буду PyQt5 но дело не в нем К сути: Мне нужно что бы человек с помощью встроеных - мной написанных функций(циклов, условий), соединением блоков сделал алгоритм, и потом без проблем вызывал его в программе Я много думал над globals() exec() И вот последнее, до писать ко всей системе генератор кода, потом его компилировать в .pyc И без проблем вызывать в любом месте

Отвлекли, забыл дописать что хотел: Может кто знает простой способ создавать динамически функции, каждый раз разные И потом использовать их без проблем в программе

Ну так вы говорите про процессы или про треды?

Нативные треды от процессов не сильно отличаются. Если мы не про питон

там тоже псевдопараллельность (количество процессов ведь много больше количества ядер). Я говорю про то, что параллельным выполнением часто называют не совсем такое

Нативные треды от процессов не сильно отличаются. Если мы не про питон

Как минимум тем, что у них значительно меньше оверхед на память, по идее. ну и общение между ними проще устроить

Как минимум тем, что у них значительно меньше оверхед на память, по идее. ну и общение между ними проще устроить

Эм. Нет

У них просто общая памятт

И всё

Оверхед одинаковый, это одна сущность в ядре

Если мы про линукс

Ну тогда между корутинами и тредами в простой ситуации не так много разницы.

Это не так. Накладные на расходы на потоки и переключение между ними выше. Плюс гил начинает мешать если криво с ними обращаться.

Оверхед одинаковый, это одна сущность в ядре

Одинаковый оверхед у тредов и процессов?

Оверхед одинаковый, это одна сущность в ядре

Нет, не одинаковый

Нет, не одинаковый

Ну и за счёт чего же?

Ну и за счёт чего же?

Ты сейчас говоришь про линукс и прям чуть ли не его основам противоречишь)

Ты сейчас говоришь про линукс и прям чуть ли не его основам противоречишь)

Да?

https://stackoverflow.com/questions/807506/threads-vs-processes-in-linux Linux uses a 1-1 threading model, with (to the kernel) no distinction between processes and threads — everything is simply a runnable task. *

первое что нагуглил

Да?

как минимум больше системных вызовов при мультипроцессинге, если не говорить про бОльшее потребление оперативки

как минимум больше системных вызовов при мультипроцессинге, если не говорить про бОльшее потребление оперативки

с чего бы?

там есть особенности, но отличия не такие большие

как минимум больше системных вызовов при мультипроцессинге, если не говорить про бОльшее потребление оперативки

ну и за счет чего больше оперативки?

ну и за счет чего больше оперативки?

засчет того, что создается отдельная сущность, а треды делят память одного процесса

Ну и за счёт чего же?

За счет того, что переключение контекста между процессами тяжелее, чем между потоками. К по токов общие ресурсы как никак

засчет того, что создается отдельная сущность, а треды делят память одного процесса

какая сущность создается?

какая сущность создается?

процесс

Вы в своем споре забыли о его причине. То, что с появлением корутин треды стали не нужны. Но ведь это не так, это слишком узкий взгляд на треды

процесс

а сущность "тред"?

вон выше ссылка

нет таких сущностей

Вы в своем споре забыли о его причине. То, что с появлением корутин треды стали не нужны. Но ведь это не так, это слишком узкий взгляд на треды

Да конечно. Это разные инструменты

есть сущность "runnable task"

засчет того, что создается отдельная сущность, а треды делят память одного процесса

и какие у них общие ресурсы?

Вы в своем споре забыли о его причине. То, что с появлением корутин треды стали не нужны. Но ведь это не так, это слишком узкий взгляд на треды

Конкретно в питоне практически не нужны, если вы не используете что-то, что снимает gil

и какие у них общие ресурсы?

http://www.cs.miami.edu/home/wuchtys/CSC322-18F/Content/UNIXProgramming/UNIXThreads.shtml

а сущность "тред"?

При мультипроцессинге, создается копия оригинального процесса, соответственно копируется вся память, что использовалась в одном процессе в другой, понятно, что ядро это оптимизирует, но тем не менее, при трединге, тред юзает ту же область памяти. Второй процесс просто так не может залезть в память первого и наоборот.

Конкретно в питоне практически не нужны, если вы не используете что-то, что снимает gil

Повторюсь, создайте гуи-программу, и попробуйте через корутины считать или сохранить какой то файл.

Конкретно в питоне практически не нужны, если вы не используете что-то, что снимает gil

Gui

При мультипроцессинге, создается копия оригинального процесса, соответственно копируется вся память, что использовалась в одном процессе в другой, понятно, что ядро это оптимизирует, но тем не менее, при трединге, тред юзает ту же область памяти. Второй процесс просто так не может залезть в память первого и наоборот.

итого, если вы не юзаете общую кучу, они будут одинаковы

Народ подскажите пожалуйста - сижу тут ради практики пилю сервак на санике rpc на реббите, микросервисы все дела. Вопрос возник - а есть какое-то архитектурное решение, которое позволило бы шарить коннект к бд\реббиту между воркерами? С учётом того что воркеры по сути никак друг друга не зависят