Alex
Мультипроцессинг на мой взгляд нужен когда есть сишные операции упирающиеся в GIL
эээ вот про сишные операции это ты зря. можно было остановиться на CPU bound
Alex
а так, поздравляю, ты несешь чушь.
Oleg
Эээээ ты уж определись ты хочешь очередь или шаред стейт.
Очередь не хочу, мне нужна общая память. Очередь у меня уже есть и она работает)
Alex
Очередь не хочу, мне нужна общая память. Очередь у меня уже есть и она работает)
уверен что нужна? если тебе нужно хранилище для результатов - пихай их в очередь и разруливай на другой стороне в сет.
Иван
а так, поздравляю, ты несешь чушь.
Ну не согласен ну да ладно не критично
Alex
Ну не согласен ну да ладно не критично
с чем именно ты не согласен?
Alex
корректно реализованный сишный код, выполняющий вычисления, отпускает GIL
Alex
сишный код, который GIL не отпускает, ничем не выделяется на фоне не сишного кода.
Иван
с чем именно ты не согласен?
Ну почему же чушь. Гил таки на операции блокирующие интерпретатор распространяется. Можно и потоки но если тяжёлый именно сошный вызов имеет смысл в процесс убирать? Я реальне не прав могу быть
Иван
корректно реализованный сишный код, выполняющий вычисления, отпускает GIL
Тоже имеет место быть да. Но тяжелые вычисления обычно нет
Иван
Почему по Си, потомучто потоки таки из-за переключения контекста таки примерно параллельны
Иван
А сишный код не атомарен нифига
Alex
А сишный код не атомарен нифига
При чем тут атомарность сишного кода? GIL используется ровно там где нужна синхронизация доступа к стейту интепретатора.
Alex
блоки сишного кода, не использующие структуры интерпретатора не обязаны держать GIL.
Иван
Ладно. Либо мы не понимаем друг друга. Либо я напутал что то
c
А что-то типа multiprocessing.Queue, но для set ничё нет?
раздавай таски из главного процесса
Иван
ты хуйню несешь.
Ок. Я завтра накатаю пруф и перепроверю
Иван
Я реально мог позабыть
Иван
ты хуйню несешь.
Ок. Тогда просвети плиз. Есть тяжелая операция. Сишная. Ну и как же с ней произойдёт переключение на другой питоновский поток ?
Alex
за переключение контекста, выполнение потоков на ядрах CPU отвечает планировщик ОС.
Alex
И тут такой момент, в Python есть GIL, который усложняет параллельное выполнение CPU bound с использованием потоков. Поэтому мультипроцессинг.
Иван
Дак блин но там же есть переключение на уровне интерпретатора
Alex
Дак блин но там же есть переключение на уровне интерпретатора
нет, ты путаешь переключение контекста с синхронизацией \ блокировкой.
Alex
так вот с сишными вызовами и потоками все чуть интересней и прямо противоположно той херне что ты написал.
Alex
сишный код использующий API CPython точно так же требудет GIL как и любой остальной
Alex
но вот например ты запустил ф-цию которая не требует доступа к структурам интепретатора, в этом месте GIL можно и нужно отпустить.
Alex
таким образом эти потоки уходящие в сишный код будут выполняться параллельно \ независимо от GIL.
Alex
Ну а если ты написал сишный код, который уходит в вычисления и не озаботился освобождением на время вычислений \ периодическим освобождением GIL - да у тебя проблемы.
Slam!
Интересные вещи рассказываешь
Роман [🌪] [👁] [☀] [🥃]
Есть чаты по хтмл в телеге какие-нибудь? Можно ссылку?)
Anton
Есть вопрос по treading https://pastebin.com/ubUXbbMs Я правильно понимаю, что в такой конструкции, когда я создаю треды в оном цикле for и тут же в следующем для каждого вызываю join(), то как только вызывается первый тред, остальные замирают, и в итоге я опять получаю последовательное выполнение?
Станислав
Есть чаты по хтмл в телеге какие-нибудь? Можно ссылку?)
А что такого сложного в хтмл, что для общения по нему нужен отдельный чат? Я понимаю ещё — вёрстка, css, — но в самом html что сложного?
Роман [🌪] [👁] [☀] [🥃]
А что такого сложного в хтмл, что для общения по нему нужен отдельный чат? Я понимаю ещё — вёрстка, css, — но в самом html что сложного?
В хтмл - ничего В том, что оффтоп обычно не любят - много всего Я выше спросил потом, мне подсказали
Alex
О каких структурах интерпретатора идёт речь?
В принципе любой вызов C-API Python.
Vadzim
Всем привет)Есть задача которую можно решить с помощью нейронки и с помощью opencv.Что будет оказывать большую нагрузку на компик?
Vadim
Нейронка
Anton
я просто столкнулся с тем, что программа просто вставала колом на каком-то этапе
Anton
минут на 15, пока не скинешь ctrl z
Anton
и я так понимаю, что пр ctrl z потоки не удаляются, а просто не контролируются, потому что если сильно много раз так отменить, в какой-то момент вообще выбрасывает ошибку в духе "много подключений", пока не перезагрузишь пичарм
Tishka17
А что в потоках?
Anton
парсинг разных страниц и сохранение в БД (по каждой категории отдельно)
Tishka17
Ctrl-z разве что-то отменяет? У нас в Линуксе он ставит программу на паузу
Anton
у нас в линуксе пишет stopped
Tishka17
Ну вот
Anton
ну stopped же
Anton
разве не сбрасывает треды?\
Tishka17
Ну. Программа запущена и приостановлена
Tishka17
Все треды есть, все ресурсы заняты, но им просто процессорное время не выделяется
Anton
хорошо, но сам факт нужен: я верно понимаю, что во избежание таких зависаний достаточно добавить таймаут в join()? Я не был уверен в таком решении, потому что если создаются в одно время, а делаются по очереди, то последние не успеют в таймаут
Anton
в общем, вся причина в том, что я плохо понимаю значение метода join()
Tishka17
Эм. Зависания явно не от джойна
Tishka17
Джойн блокирует текущий поток пока не завершится тот, на который ты джойнишься
Anton
то есть остальные треды в это время неактивны?
Tishka17
То есть если ты запустил 10 потоков, а потом сделал джойн на каждый, ты просто ждёшь пока они закончат работать
Tishka17
то есть остальные треды в это время неактивны?
Остальные треды в это время работают. Блокируется тот поток, который вызвал джойн
Anton
блокируется - это в смысле именно он не работает?
Aragaer
чот йолка прям доставляет
Aragaer
ну вобщем там опять тот же ассемблер и я рад, что я после решения позавчерашней задачки потратил много времени, чтобы причесать свой код - сегодня заюзал его вот прям как есть
Andrey
ну вобщем там опять тот же ассемблер и я рад, что я после решения позавчерашней задачки потратил много времени, чтобы причесать свой код - сегодня заюзал его вот прям как есть
Вот да, похоже во второй части многих сильно затормозила невозможность приостановить исполнение кода, записать очередной символ во входной поток, и запустить дальше
Aragaer
у меня было реализовано выполнение по одной инструкции, которое я просто заворачивал в цикл "пока не халт"
Aragaer
собственно в самой же первой версии так было
Aragaer
ну и кстати я не "запускаю дальше" - как только что-то записал в выходной поток, то сразу передаю управление следующему
 Sunny 
Кто-то имеет опыт настройки окружения для кодинга на python на мобильный телефон?
Denis
apt install emacs