Tishka17
на самом деле, я чет засомневался, а можно ли вообще из дочерних процессов юзать ProcessPoolExecutor
Tishka17
ой, ты ещё его передаешь как параметр в функцию?
Tishka17
не думаю, что можно пиклить ProcessPoolExecutor
Danylo
да, я понимаю что это причина ошибки. Даже если он в глобал скоупе будет, трабла останется. Видимо это надо как-то по-другому делать
Tishka17
а в глобале тоже не работает?
Danylo
виснет в бесконечном цикле
Tishka17
а то, пул не бесконечный
Danylo
на втором вызове сразу
Tishka17
ты когда в пул отправляешь таски, ждешь пока дл них место будет. а ты и так в пуле
Tishka17
В общем, у тебя задача в текущем виде плохо параллелится
Tishka17
К сожалению не знаю что именно у тебя тормозит и как вообще работает, поэтому не могу подсказать как переделать
Tishka17
я бы посоветовал избавиться от рекурсии и повторить
Tishka17
по крайней мере избавиться в том месте, где параллелишь
Anonymous
Нард вопрос немного не по теме. Но может у кого есть Лутц 5 издание второй том, а то я чет 1 том нашел чтоб скачать а второй нет)
Anonymous
а зачем?)
Anonymous
Anonymous
О норм)
Anonymous
Мне подходит)
Tishka17
Andrew
Мне подходит)
Флажок вставляй, пиши рядом - для https://t.me/ru_python
Anonymous
а какая лицензия книжки?
ну тип первый том же есть спокойно в общем доступе.
Прост не вижу смысла покупать если можно найти бесплатно)
Tishka17
Danylo
а тормозит что?
на моменте парсинга первого инклюда начнется парсинг второго файла. Я думал мб можно их отдельно все спарсить, а потом по этим инклюдам склеить
Tishka17
Anonymous
Ой все тут прям такие правильные) Все везде и всегда покупают?
Danylo
Anonymous
Tishka17
Anonymous
Anonymous
Tishka17
ты не ответил на вопрос)
ответил: так как просишь бесплатно тебе её дать, значит ты знаешь что это можно. А значит узнал откуда-то
Tishka17
вопрос: под какой именно лицензией она раздается и откуда ты это узнал
c
а какая книжка-то
Co(n)stantine👨🔬
Kirill
бабки вперед)
это тебе не сборник стихов ( хотя за стихи тоже нужно платить ) а учебное пособие.
Anonymous
Tishka17
Tishka17
в общем, RO на недельку выдал
Tishka17
если расскажешь, что там лицензия допускающая свободное распространение - верну как было и извинюсь
Tishka17
а правда, что там ещё делается кроме load?
Danylo
а правда, что там ещё делается кроме load?
Дык лоад сам по себе много чего делает. Больше всего там чет в стиле _feed и next_token дергается, что по идее означает то что это именно парсится файл. Запускал под сипрофайлером
Tishka17
ну не, если делаешь только load, то проблема. Если своя ещё обработка какая-то - можно посмотреть
Danylo
Tishka17
я собственно чего спрашиваю, если там какой-нибудь marshmallow поверх, он не быстр
Danylo
Нене, там просто минорные проверочки-запоминалочки
Danylo
Tishka17
а сколько там файлов?
Danylo
ну 50-100 дет. Если точнее, то уже считать надо. Я все еще склонен думать, что надо просто расплести рекурсию и отдельно отловить все инклюды, распараллелить, а потом в одном процессе уже обратно сшить.
Danylo
Энивей за ответы спасибо огромное
Tishka17
меня смущает тут fork_exec
Danylo
меня смущает тут fork_exec
Это вызов repo forall -c git rev-parse --showtoplevel. Ямлы просто раскиданы по нескольким репкам, которые собраны вместе в одной директории с помощью repo
Tishka17
Tishka17
у тебя явно не парсинг тормозит, а слив этого говна из гита
Danylo
репки собраны и все ветки выставлены до того, как парсинг начинается. Эта штука просто собирает абсолютные пути ко всем директориям
Tishka17
пугает меня git rev-parse
Danylo
пугает меня git rev-parse
я тебя наобманывал немного. Этот конкретный fork_exec вызывает в каждой новой репке git rev-parse
Danylo
Но все равно это только 10% жежж
Pavel
Это 4 мб читается 13 секунд?
Danylo
Pavel
Danylo
Pavel
Видимо
Ты откуда читаешь?
Danylo
С хдд
Danylo
а не, я мог наобманывать сек
Danylo
Это видать чтение стд-аута git rev-parse --show-toplevel
Pavel
Pavel
Danylo
на нее есть отдельный обработчик, который и хочет знать путь к директории репки