Anonymous
Насколько хорошей практикой является использование Pool из multiprocessing.dummy для выполнения параллельных задач?
Темы асинхронности, многопоточности и параллелизма всегда вызывали неприятные ощущения, в виду того, что многое непонятно и чувствовалось собственное сопротивление этим важным темам.
До этого момента для выполнения каких-то параллельных задач (обращение к API, пересчёты, etc.) я использовал вполне понятную снаружи (по крайней мере по написанию), и не совсем понятную внутри, возможность Pool'a из multiprocessing.dummy. Создавал нужные методы для вызова, списки, элементы которых будут в эти методы поступать при обработке, и, собственно, всё. Всё работало, естественно, быстрее, чем в однопоточном синхронном режиме. Но даже тогда сталкивался с тем, что не знаю, как следует манипулировать в тех или иных ситуациях, когда случаются затупы в работе программы. Например, в определенный момент времени (почти всегда это конец выполнения параллельных задач).
pool = ThreadPool(60) # from multiprocessing.dummy import Pool as ThreadPool
for _ in tqdm(pool.imap_unordered(do_something, user_list), total=len(user_list)):
pass
Метод do_something(user) обращается к API, для получения информации о user. Не буду акцентировать внимание на то, что в этом методе использую requests, знаю, что это медленно, но хотелось бы разобраться со всей этой темой в совокупности, чтобы пропали все вопросы.
user_list - список пользователей (['user_1', 'user_2', ..., 'user_2000']). Видно, что пользователей 2,000 и для каждого из них нужно получить информацию. Как писал ранее, при приближении прогресса к 100%, весь процесс как будто зависает. Сейчас отображено следующее: 100%|█████████▉| 1995/2000 [1:06:12<33:41, 404.22s/it]. Считаем, что API всегда доступно и лимиты не будут превышены. Конкретно тут в чём может быть проблема? Почему оно "зависает"? В кавычках, поскольку процесс не завис, а просто выполняется намного больше, чем при старте. Условно, когда была 1990 итерация, 1991-ая итерация началась через 15-20 секунд, от 1991 до 1992 — около 3-5 минут, а переход от 1994 до 1995 занял около 40 минут.
Если задать бóльшее число в ThreadPool(<number>), и/или уменьшить количество элементов в user_list, то никаких тормозов не остаётся, и программа выполняется успешно.
Romeo
Дано файл содержащий сведения об игрушках, указывается название игрушки (например кукла, конструктор и т.д.), ее стоимость в рублях и возрастные границы для детей, которым игрушка назначается (например, для детей от 2 до 5 лет). Составить подпрограмму поиска названий игрушек предназначенных детям и 4, и 10 лет.
Jonny
Я js'ник. Проблема такая Python3, я обращаюсь в скрипте к другому скрипту через subprocess.Popen... В этом скрипте есть input(). Как можно перенаеравлять входные и выходные данные?
Точнее, мне нужно заменить инпуты во втором скрипте, что бы он отправил сообщение в первый скрипт и ждал ответа...
Заранее спасибо.