Alex
Кто сидить на linux? Где ума набирались?
ты таки не поверишь. книжки умные читать надо.
Anonymous
И большим количеством закирпиченых систем
brestows
Кто сидить на linux? Где ума набирались?
Ставишь на свой комп основной машиной и через 2-3 месяца боли и страданий наберёшься ума. Это самый действенный метод, все остальное поомеры
Anonymous
Опыт приходит с практикой
Alex
Книжки это пиздец скучно
тогда дуй на склад паллеты разгружать
Anonymous
Ой блять книжный палладин нашелся
Konstantin
эм... а нафига concurrent.futures для пачки subprocess?
тут не вопрос нафига, они уже есть. там создаётся ThreadPoolExecutor, и в него набиваются задачи на выполнение тестов
brestows
Ну я хочу настраивать сервера і.т.д
Не важно чего ты хочешь. Пофиг сервер или нет, разница только в том есть графика или нет. Все остальное тоже самое
Sergiy
У меня тоже так
Aragaer
Кто сидить на linux? Где ума набирались?
мне надоело мучаться с виндовой консолью и ставить туда нормальные консольные утилиты. поэтому просто переехал на линукс
Konstantin
эм... в смысле? ты же тесты через subprocess запускаешь нет?
сначала я создаю ThreadPoolExecutor, делаю ему submit(), в функции которая выполняется в треде я уже вызываю subprocess.check_output
Konstantin
задача - добиться параллельного выполнения тестов
Alex
тебе нужно всего лишь в цикле запустить N нужных тебе процессов
Konstantin
p.join()??
join() дождётся выполнения, мне нужно запомнить пид пока процесс ещё работает.
Alex
и вычитать их stdout и корректно прибить
Anonymous
мне надоело мучаться с виндовой консолью и ставить туда нормальные консольные утилиты. поэтому просто переехал на линукс
Винда: ой, что это у тебя, ютф-8 в пути? Ой ну не я этого не понимаю, прости, я тебе нихуя не установлю
brestows
Ну я сам не придумаю как настроить сервер.Нужна книга или норм сайт
Гугл, в книгах все очень примитивно в большинстве своем.
Konstantin
нахер тебе pid если у тебя есть объект Popen?
это не приципиально, Popen.kill тоже ок
Alex
это не приципиально, Popen.kill тоже ок
subproces.Popen запускает дочерний процесс и не блокирует родительский
Aragaer
Винда: ой, что это у тебя, ютф-8 в пути? Ой ну не я этого не понимаю, прости, я тебе нихуя не установлю
ну у меня скорее было "блин, я не разбираюсь в этом visual studio, хочу gcc, во есть mingw"
Проксимов
Гугл, в книгах все очень примитивно в большинстве своем.
Не всегда, просто обычно устаревшие данные
Alex
тебе concurrent.futures в общем-то нафиг не сдался.
Alex
всего лишь осталось корректно обработать stdout от твоих дочерних процессов
Alex
и подождать завершения \ прибить по сигналу
Anonymous
ну у меня скорее было "блин, я не разбираюсь в этом visual studio, хочу gcc, во есть mingw"
Прикол, cv2 питона на винде не открывает картинки, если в пути есть ютф-8
Konstantin
subproces.Popen запускает дочерний процесс и не блокирует родительский
этого недостаточно, мне нужно ещё как-то в родительском асинхронно узнать о завершении дочернего, без ожидания в join/wait
Konstantin
т.к. у меня много процессов.
Konstantin
поэтому нужны либо фьючеры либо гринлеты
Alex
как максимум можно взять asyncio.
Konstantin
ну как минимум select не?
какой select? вот у меня есть 2 десятка popen объектов
Konstantin
о каком select идёт речь?
Aragaer
засунуть их в селект
Aragaer
ну или в полл
Alex
https://docs.python.org/3/library/select.html
Alex
для двух десятков - select более чем достаточно
Konstantin
меня не интересует io completion
Konstantin
меня интересует что процесс завершился.
Aragaer
а, ну это тоже просто
Aragaer
тебе надо обрабатывать сигнал sigchld
Aragaer
его тебе пошлют на любое завершение любого дочернего процесса
brestows
Не всегда, просто обычно устаревшие данные
Ну вряд-ли в книгах для новичков буду рассказывать о кластервх, балансировиках и о сложных архитектурных решениях
Aragaer
впрочем, если ты будешь делать селект/полл на дескрипторах работающего процесса, то тоже увидишь, что "при записи будет ошибка" - значит завершился
Alex
а, ну это тоже просто
ну достаточно subprocess.wait() с таймаутом
Alex
только не забыть данные из стримов вычитывать
Aragaer
а там есть ожидание не конкретного?
Konstantin
ну достаточно subprocess.wait() с таймаутом
нет, это криво. я не буду делать wait() с таймайтуом в цикле.
Konstantin
concurrent.futures создаст по треду на каждого потомка и он будет нормально асинхронно с ним работать.
Alex
concurrent.futures создаст по треду на каждого потомка и он будет нормально асинхронно с ним работать.
нахер тебе потоки чтобы работать с уже неблокирующими операциями?
Aragaer
https://docs.python.org/3.5/library/os.html?highlight=os%20waitpid#os.waitpid - вот так можно
Aragaer
If pid is greater than 0, waitpid() requests status information for that specific process. If pid is 0, the request is for the status of any child in the process group of the current process. If pid is -1, the request pertains to any child of the current process. If pid is less than -1, status is requested for any process in the process group -pid (the absolute value of pid).
Alex
Aragaer
os.WNOHANG The option for waitpid() to return immediately if no child process status is available immediately. The function returns (0, 0) in this case.
Aragaer
но только вопрос, что ты будешь делать, если оказалось, что никто не завершился
Konstantin
ок, ещё раз объясняю задачу. есть 200 тестов. каждый тест жрёт 100% cpu и работает 1-5 секунд. есть 32 ядра.
Konstantin
надо: запустить конвейер выполнения тестов. параллельно, в 32 ядра, загонять по тесту, как только предыдущий тест закончил работу.
Aragaer
ну
Aragaer
тогда waitpid