Tishka17
на самом деле, я чет засомневался, а можно ли вообще из дочерних процессов юзать ProcessPoolExecutor
Tishka17
ой, ты ещё его передаешь как параметр в функцию?
Tishka17
не думаю, что можно пиклить ProcessPoolExecutor
Danylo
да, я понимаю что это причина ошибки. Даже если он в глобал скоупе будет, трабла останется. Видимо это надо как-то по-другому делать
Tishka17
а в глобале тоже не работает?
Danylo
виснет в бесконечном цикле
Tishka17
а то, пул не бесконечный
Danylo
на втором вызове сразу
Tishka17
ты когда в пул отправляешь таски, ждешь пока дл них место будет. а ты и так в пуле
Tishka17
В общем, у тебя задача в текущем виде плохо параллелится
Tishka17
К сожалению не знаю что именно у тебя тормозит и как вообще работает, поэтому не могу подсказать как переделать
Tishka17
я бы посоветовал избавиться от рекурсии и повторить
Tishka17
по крайней мере избавиться в том месте, где параллелишь
Anonymous
Нард вопрос немного не по теме. Но может у кого есть Лутц 5 издание второй том, а то я чет 1 том нашел чтоб скачать а второй нет)
Danylo
по крайней мере избавиться в том месте, где параллелишь
Мб просто надо сначала все эти инклюды отловить, распараллелить, потом собрать результаты и склеить назад. Ну да, собственно то, что ты и сказал
Anonymous
а зачем?)
Tishka17
Нард вопрос немного не по теме. Но может у кого есть Лутц 5 издание второй том, а то я чет 1 том нашел чтоб скачать а второй нет)
https://www.ozon.ru/context/detail/id/165524776/?utm_source=google&utm_medium=cpc&utm_campaign=RF_Product_Shopping_Smart_Books&gclid=CjwKCAiA-vLyBRBWEiwAzOkGVMI9TxOCjvsPIZha2ROH37h_iwrrAeEBh27vwdrEbtoB43vq9zRG-RoCtTsQAvD_BwE
Tishka17
а зачем?)
а какая лицензия книжки?
Anonymous
О норм)
Anonymous
Мне подходит)
Danylo
по крайней мере избавиться в том месте, где параллелишь
# f1.yml foo: !include bar.yml # f2.yml c: - 'd' - 'e' Отакая структура ямлов
Andrew
Мне подходит)
Флажок вставляй, пиши рядом - для https://t.me/ru_python
Anonymous
а какая лицензия книжки?
ну тип первый том же есть спокойно в общем доступе. Прост не вижу смысла покупать если можно найти бесплатно)
Danylo
а тормозит что?
на моменте парсинга первого инклюда начнется парсинг второго файла. Я думал мб можно их отдельно все спарсить, а потом по этим инклюдам склеить
Anonymous
Ой все тут прям такие правильные) Все везде и всегда покупают?
Danylo
а тормозит что?
Парсинг ямлов
Tishka17
Парсинг ямлов
у тебя сколько мегабайт файлов?
Anonymous
то есть ответ я не дождусь?
Мне откуда знать какая у нее лицензия?
Tishka17
Мне откуда знать какая у нее лицензия?
ну ты с чего-то решил, что его можно бесплатно раздавать
Tishka17
ты не ответил на вопрос)
ответил: так как просишь бесплатно тебе её дать, значит ты знаешь что это можно. А значит узнал откуда-то
Tishka17
вопрос: под какой именно лицензией она раздается и откуда ты это узнал
c
а какая книжка-то
Kirill
бабки вперед)
это тебе не сборник стихов ( хотя за стихи тоже нужно платить ) а учебное пособие.
Anonymous
ответил: так как просишь бесплатно тебе её дать, значит ты знаешь что это можно. А значит узнал откуда-то
что-то я ответа на вопрос все ли покупаешь не увидел) Ладно нефиг разводить демогогию.
Tishka17
в общем, RO на недельку выдал
Tishka17
если расскажешь, что там лицензия допускающая свободное распространение - верну как было и извинюсь
Tishka17
Парсинг ямлов
парсинг - yaml.load() фактически?
Danylo
парсинг - yaml.load() фактически?
Да. Посчитал общий размер ямлов, получилось 4мб, что не впечатляюще... Мб рили трабла в другом месте где-то
Tishka17
а правда, что там ещё делается кроме load?
Danylo
а правда, что там ещё делается кроме load?
Дык лоад сам по себе много чего делает. Больше всего там чет в стиле _feed и next_token дергается, что по идее означает то что это именно парсится файл. Запускал под сипрофайлером
Tishka17
ну не, если делаешь только load, то проблема. Если своя ещё обработка какая-то - можно посмотреть
Tishka17
я собственно чего спрашиваю, если там какой-нибудь marshmallow поверх, он не быстр
Danylo
Нене, там просто минорные проверочки-запоминалочки
Tishka17
а сколько там файлов?
Danylo
ну 50-100 дет. Если точнее, то уже считать надо. Я все еще склонен думать, что надо просто расплести рекурсию и отдельно отловить все инклюды, распараллелить, а потом в одном процессе уже обратно сшить.
Danylo
Энивей за ответы спасибо огромное
Tishka17
меня смущает тут fork_exec
Danylo
меня смущает тут fork_exec
Это вызов repo forall -c git rev-parse --showtoplevel. Ямлы просто раскиданы по нескольким репкам, которые собраны вместе в одной директории с помощью repo
Tishka17
у тебя явно не парсинг тормозит, а слив этого говна из гита
Danylo
репки собраны и все ветки выставлены до того, как парсинг начинается. Эта штука просто собирает абсолютные пути ко всем директориям
Tishka17
пугает меня git rev-parse
Danylo
пугает меня git rev-parse
я тебя наобманывал немного. Этот конкретный fork_exec вызывает в каждой новой репке git rev-parse
Danylo
Но все равно это только 10% жежж
Pavel
Это 4 мб читается 13 секунд?
Pavel
35
Я про io непосредственно
Pavel
Видимо
Ты откуда читаешь?
Danylo
Ты откуда читаешь?
С локальной директории, если я правильно понял вопрос
Danylo
С хдд
Pavel
С локальной директории, если я правильно понял вопрос
Это что-то ненормальное, когда вот так вот 4 мб на 100 файлов читается 13 с
Danylo
а не, я мог наобманывать сек
Danylo
Это видать чтение стд-аута git rev-parse --show-toplevel
Pavel
Это видать чтение стд-аута git rev-parse --show-toplevel
Так значит все же гит тормозит
Danylo
Так зачем тут гит вообще?
!import/puml <path-rel-to-repo-dir> такая директива есть в ямлах
Danylo
на нее есть отдельный обработчик, который и хочет знать путь к директории репки