Pavel
Примерно столько же, сколько новый процесс
Там предалагают добавить функциональность, существующую с 1997 года в C-API
Tishka17
multiprocessing вообще никак не решает блокировку потока
Конечно. Поток как блокировался так и блокируется. Но внезапно их становится несколько и без общего на них гила
Tishka17
Почему? Все пайпы все равно в памяти находятся
А. Ты про пайпы. Я думал ты про шаред мемори. Ну это как минимум отправка в ядро
Anonymous
так этим 554 и хорош, что потоки хоть будет имеет смысл использовать
Tishka17
И да, Гил на сетевых запросах отпускается, если что.
Tishka17
Он не влияет на обычные питоновские потоки
Anonymous
числодробилка
Anonymous
сейчас потоки для этого бесполезны
Tishka17
Anonymous
не все нампаем можно
Tishka17
сейчас потоки для этого бесполезны
А ты готов числодробилку писать с использованием нескольких интерпретаторов?
Stanislav
Там обычно на каждое соединение поток создается. Потоки создаются, а ими управляет ось, с асинхроннстью тасками управляет наш менеджер.
Допустим клиент базы читает через неблокирующий сокет. Там вроде можно без потока обойтись и без пула потоков.
Tishka17
Если готов, почему не юзаешь несколько процессов?
Pavel
числодробилка
Если тебе лень PyPy устанавливать, то возьми Numba и добавь один декоратор
Stanislav
Но про утилизацию похоже неправ.
Tishka17
Правда, асинкио может позволить лучше утилизировать ресурсы. За счёт более редкого переключения тасков
Anonymous
А ты готов числодробилку писать с использованием нескольких интерпретаторов?
смотря как реализуют, если шустро создаваться будут, почему бы и нет
Tishka17
И сэкономить при наличии очень большого числа одновремнных подключений
Tishka17
смотря как реализуют, если шустро создаваться будут, почему бы и нет
Создаваться? Нет, речь о том, что ты не можешь просто шарить объекты между интерпретаторами
Tishka17
Создать заранее не проблема
Tishka17
Числодробилки на asyncio?
Это про другой тред. Про сеть
Tishka17
Но кстати на асинкио тоже возможно будет быстрее
Anonymous
привет
Tishka17
Шаред момори сто лет была
Anonymous
объекты шарить не получится, но данные без проблем
Tishka17
Речь о том, что объект управляемый одним интерпретатором нельзя просто так передать в другой. Там же счётчики ссылок и прочее
Anonymous
всмысле?
Anonymous
а какой питон лучше ставить?
👑OGURCHIK🖤
свежий
Anonymous
Речь о том, что объект управляемый одним интерпретатором нельзя просто так передать в другой. Там же счётчики ссылок и прочее
Ну так это и не реализовали Реализовали только запуск нескольких gil, и между ними никак не получится общими данными пользоваться
Anonymous
ну каналы то и shm даже рядом не лежат
Anonymous
в 3.8 pickle уже напрямую через shm обмениваться может
Anonymous
Там есть каналы же
Сокеты что ли ? Так все равно будет проблема как разным потокам общие данные использовать
Tishka17
Ну блин, я не очень внимательно читал пеп, но там было такое слово
Anonymous
Каналы
Ну хз ничего кроме стандартных входов выходов не получится использовать , так как это не нативная параллельность
Tishka17
Чо
Tishka17
При чем тут параллельность и стандартных входы выходы
Anonymous
При чем тут параллельность и стандартных входы выходы
Я про то что надо физически иметь общую память для данных , а это как в операционке нельзя использовать, нативная параллельность предполагает использование общей физической памяти чтоб обменяться данными
Tishka17
Чо
Tishka17
Нативная параллельность вообще не предполагает общей физической памяти. Её наличие только доставляет проблем
Anonymous
и как же в нативной параллельности общие данные лопатить?
Denis
В нативной параллельности нет общих данных
Tishka17
и как же в нативной параллельности общие данные лопатить?
Там у процессора сложная схема блокировок и предсказаний, чтобы с общей памятью работать. Если мы про систему с общей памятью
Tishka17
Ну или пересылать, если без нее
Tishka17
Отсюда и некоторые задачи хорошо параллелится, а некоторые плохо
Denis
Мьютексы медленные, ими не все можно решить
Anonymous
оО
Tishka17
она из покон веков через мьютексы/критические секции решалась
Эм. Тут заговорили про физическую память и нативную параллельность.
Anonymous
да, в 3.8 разговор про shm уже идет (общая память)
Anonymous
я может просто туплю, но в 3.9 лично так вижу ||, создали пул интерпретаторов, выделили ломоть память, где нужно мьютексами захватываем, где не нужно - четко по кускам работать. И дальше интерпрератор-на-поток быстро запускать. Или что-то подобное можно на текуй момент сделать?
Tishka17
В питоне ты не работаешь с памятью. Ты работаешь с объектами. А их нельзя шарить между интерпретаторами
Anonymous
Чо
https://docs.python.org/3/library/multiprocessing.shared_memory.html
Anonymous
То же самое можно мультипроцессингом сделать
нельзя, хотя бы по причине, что у него потоки блокируются
Tishka17
https://docs.python.org/3/library/multiprocessing.shared_memory.html
Это вообще обёртка над системной shared_memory
Anonymous
При чем тут потоки? Там процессы
А процессы будут стандартные потоки io иметь или сокеты и все приехали
Tishka17
А потоков и так общая память
Anonymous
у "текущих" поток общая память впринципе бесполезна
Anonymous
они блокирующие
Anonymous
дергать новый процесс по каждому чиху - тоже не решение
Denis
дергать новый процесс по каждому чиху - тоже не решение
Чем это отличается от дерганья интерпретатора?
Anonymous
пул интерпретаторов можно один раз создать
Tishka17
пул интерпретаторов можно один раз создать
Пул процессов можно один раз создать
Anonymous
запуск процесса ...
Anonymous
пул интерпретаторов можно один раз создать
Так обменяться ни объектам ни данными между ними без операционки нельзя .