вмсысле? там же гил мешает ему

ну можно тогда про asyncio почитать

вот поэтому мультипроцессинг модуль якобы лучше стандартного threading

мне надо в параллель пустить несколько процессов

которые будут раздербанивать файлы по заданным правилам

а то у меня 150к файлов и это писец в один поток решать

вот поэтому мультипроцессинг модуль якобы лучше стандартного threading

мне нужны пруфы, что там настоящие потоки

там процессы прям настоящие

я тебе могу только покидать статьи с хабра

вот поэтому мультипроцессинг модуль якобы лучше стандартного threading

поток != процесс

знаю

ну если двое говорят, то я вынужден поверить)

мне надо в параллель пустить несколько процессов

pool посмотри

мне надо в параллель пустить несколько процессов

а процессы между собой общаются?

в мультипроцессинге

не путай меня)

у меня вопрос по конкретной задаче

а процессы между собой общаются?

нет

им пофиг

тупо срать результатами в один файл

а нафига тогда ты с процессами мучаешься?

а как?

тупо срать результатами в один файл

это немного меняет дело

а порядок важен?

нет

ну дык напиши однопоточный, чтобы каждый в свой файл срал

а потом слей в один

и заупсти скока тебе надо процессов

сильно ли это дело ускорит?

ну я так и хочу

но я хочу в параллель пустить эти процессы

по 100 файлов за раз

сильно ли это дело ускорит?

ну у тебя все в диски упрется

твою ж мать

твою ж мать

че не так-то?!

тут либа мультипроцессинга нафиг невсралась, если человеку с ней тяжело работать

4 строчки кода

и все

мы дольше обсуждаем

import os import subprocess from multiprocessing.dummy import Pool as ThreadPool def parse(fn): subprocess.call("php byone.php " + fn, shell=True) subprocess.call("php unpack.php") for file in files: if (os.path.isfile(os.path.join(dir, file))): if file not in expl: clicks.append(file) pool = ThreadPool(100) results = map(parse, clicks)

да полюбасу больше будет

такое?

херня все

не вижу разделение обрабатываемых файлов по потокам

там php скрипт срет результаты в файл

acyncio?

мне название функции надо, вот если asyncio юзал то это было бы жестоко)

ERROR: S client not available

acyncio?

вот это реально сложная штука

там php скрипт срет результаты в файл

а ну если уже все написано, то базара нет)

вот это реально сложная штука

да ладно, там все довольно просто, я за полдня все понял, но спустя день правда забыл апи все этого говна

всего*

там php скрипт срет результаты в файл

твой скрипт файлы удаляет? как шедулятся пулы файлов?

не удаляет там php скрипту передается параметром имя файла, который надо обработать

угу… уже дрочу документацию

спасибо за код )

не удаляет там php скрипту передается параметром имя файла, который надо обработать

а где гарантия что он не будет читать по 5 раз одно и тоже?

а где гарантия что он не будет читать по 5 раз одно и тоже?

массив - имена файлов

с чего он будет читать одно и то же?

вроде оно должно как раз перебрать

вроде оно должно как раз перебрать

ну тогда да, все гуд

ща потестю

ток кто-то тут писал, что пачками файлы хочет читать

ну не знаю, если скрипт для каждого файла запускается, то проще проитерироваться с шагом равным кол-ву потоков

хотя это можно и в каждом процессе делать)

не переживай, там почти никто почти ничего не понимает

мне в инсте про это рассказывают)

ибо сложно запредельно

всякие распределенные системы, параллельное программирование

?

хорошо что node.js не начал