там все апдейты, оказывается

Ну как что - очевидно код на питоне с кучей зависимостей из PyPi ?

да даже мой проект с 12 зависимостями и более 1к после сборки (!!!) в .ехе весит 7.2 мб

Ну и кстати, справедливости ради, надо хотя бы раз в полгода делать "чистую установку" (при установке Nvidia-дров есть такая галочка в инсталяторе). Она как раз удаляет все старые версии дров.

там все апдейты, оказывается

ну и не забывайте, что там драйвера наверное на не одну уже сотню "карточек"

ну и не забывайте, что там драйвера наверное на не одну уже сотню "карточек"

ахуеть

полтора гига

и нахуя

Ну и фронтенд там мишурой обвешали уже по небалуйся

ну и не забывайте, что там драйвера наверное на не одну уже сотню "карточек"

они старые перемещают в легаси версии драйверов. так что поддерживают только последние штук 20

хорошо за 200. скажем так

200к рублей? Регион МО

200к рублей? Регион МО

?

Сюда тоже скину

я с вопросом про кастомное шифрование в Питоне2. На уровне OpenSSL мы сделали поддержку гостовых шифров, но, судя по всему, Питон не хочет их использовать(не знает про них). В конфигурации перед сборкой python3.7 есть такой параметр: "-with-ssl-default-suites=[python | openssl | STRING]" Override default cipher suites string, python: use Python's preferred selection (default), openssl: leave OpenSSL's defaults untouched, STRING: use a custom string, PROTOCOL_SSLv2 ignores the setting У python2.7 такого параметра нет, но подозрение на то, что используются только "предпочитаемые питоном" шифры - есть. Сталкивались с этим?

Есть цикл, который перебирает последовательно элементы множества и делает с ними 2 действия: копирование и разорхивацию. Не получается распараллелить, чтоб параллельно копировалось 2-3 архива, по окончанию копирования архива чтоб начиналась разорхивация, и тем временем качался бы еще архив. Вот как последовательно реализовала: https://pastebin.com/FKwWaEb8 Вот попытка реализовать параллельно это же, но тут архивы параллельно не копируются: https://pastebin.com/Kk25xfH7

Орхив благословленный.

Многопоточность тогда уж скорее

Многопоточность тогда уж скорее

используй субпроцессы

используй субпроцессы

а если конкретно к моей задаче?

а если конкретно к моей задаче?

конкретно к твоей задаче. распаковка архива забивает весь проц. поэтому скачивание ожидает. если использовать субпроцессы то они будут выполнятся на разных ядрах независимо. правда останется вопрос с дисковой подсистемой.

Ну... вот мне надо параллельно запустить несколько процессов(ну либо субпроцессов, как угодно), а аргументы у меня во множестве, по которому я иду

если использовать библиотеку multiprocessing вместо threading то переключатся между процессами и потоками проще будет

Ну... вот мне надо параллельно запустить несколько процессов(ну либо субпроцессов, как угодно), а аргументы у меня во множестве, по которому я иду

У потоков и процессов интерфейс одинаковый.

конкретно к твоей задаче. распаковка архива забивает весь проц. поэтому скачивание ожидает. если использовать субпроцессы то они будут выполнятся на разных ядрах независимо. правда останется вопрос с дисковой подсистемой.

с чего взял, что распаковка забивает весь проц и скачивание ожидается? когда я запускаю скрипт с параллельным выполнением он отрабатывает быстрее, чем когда я запускаю скрипт с последовательным выполнением тех же операций. Я скинула два варианта работающего цикла, просто в последнем мне не хватает того, чтоб файлы качались параллельно, а так-то там все норм

с чего взял, что распаковка забивает весь проц и скачивание ожидается? когда я запускаю скрипт с параллельным выполнением он отрабатывает быстрее, чем когда я запускаю скрипт с последовательным выполнением тех же операций. Я скинула два варианта работающего цикла, просто в последнем мне не хватает того, чтоб файлы качались параллельно, а так-то там все норм

С того что распаковка жрец проц. это факт. скачивание и запись на диск жрет проц. это факт. потоки выполняются в одном ядре из за GIL это факт. 2+2 вроде сложить не проблема

с чего взял, что распаковка забивает весь проц и скачивание ожидается? когда я запускаю скрипт с параллельным выполнением он отрабатывает быстрее, чем когда я запускаю скрипт с последовательным выполнением тех же операций. Я скинула два варианта работающего цикла, просто в последнем мне не хватает того, чтоб файлы качались параллельно, а так-то там все норм

Ясен пень что будет быстре. потому что во время скачивания проц не занят совсем. но это не оптимальное решение использовать потоки.

С того что распаковка жрец проц. это факт. скачивание и запись на диск жрет проц. это факт. потоки выполняются в одном ядре из за GIL это факт. 2+2 вроде сложить не проблема

Запись на диск не жрёт проц

Запись на диск не жрёт проц

то есть из сетевой карты все сразу пишется на диск?

И потоки на одном ядре не из-за Gil выполняются, а из-за CPU affinity

то есть из сетевой карты все сразу пишется на диск?

Нет, но в I/o операциях проц задействован по-минимуму

И потоки на одном ядре не из-за Gil выполняются, а из-за CPU affinity

то есть если код собрать на С++ с использованием mp то внезапно CPU affinity пропадает?

то есть если код собрать на С++ с использованием mp то внезапно CPU affinity пропадает?

Нет, тот же numpy его явно отрубает, насколько я помню

Нет, но в I/o операциях проц задействован по-минимуму

когда один поток забивает ядро на 100%. как думаешь начнет тупить тот поток который забивает ядро на 10%

когда один поток забивает ядро на 100%. как думаешь начнет тупить тот поток который забивает ядро на 10%

Проц или ядро? И какой код выполняет поток?

Нет, тот же numpy его явно отрубает, насколько я помню

потому что numpy написан поверх библиотек на фортране и си. и там кусками многопоточность есть

Проц или ядро? И какой код выполняет поток?

ядро

потому что numpy написан поверх библиотек на фортране и си. и там кусками многопоточность есть

спасибо, кэп

ядро

так в чем вопрос-то?

с чего взял, что распаковка забивает весь проц и скачивание ожидается? когда я запускаю скрипт с параллельным выполнением он отрабатывает быстрее, чем когда я запускаю скрипт с последовательным выполнением тех же операций. Я скинула два варианта работающего цикла, просто в последнем мне не хватает того, чтоб файлы качались параллельно, а так-то там все норм

можешь посмотреть на multiprocessing.Pool() и т.д., там есть параллельный map()

У меня вопрос)))

Есть цикл, который перебирает последовательно элементы множества и делает с ними 2 действия: копирование и разорхивацию. Не получается распараллелить, чтоб параллельно копировалось 2-3 архива, по окончанию копирования архива чтоб начиналась разорхивация, и тем временем качался бы еще архив. Вот как последовательно реализовала: https://pastebin.com/FKwWaEb8 Вот попытка реализовать параллельно это же, но тут архивы параллельно не копируются: https://pastebin.com/Kk25xfH7

так в чем вопрос-то?

)))

Я пока не поняла, что мне делать, как реализовать то, что хочу

Есть цикл, который перебирает последовательно элементы множества и делает с ними 2 действия: копирование и разорхивацию. Не получается распараллелить, чтоб параллельно копировалось 2-3 архива, по окончанию копирования архива чтоб начиналась разорхивация, и тем временем качался бы еще архив. Вот как последовательно реализовала: https://pastebin.com/FKwWaEb8 Вот попытка реализовать параллельно это же, но тут архивы параллельно не копируются: https://pastebin.com/Kk25xfH7

зачем тебе для этого питон вообще?

бери xargs -P или GNU Parallel

и будет на порядок быстрее

зачем тебе для этого питон вообще?

Надо так

Надо так

кто сказал?

надо задачу решить или надо микроскопом гвозди забивать?

ну и да, если без питона никак - попробуй multiprocessing.Pool

ну и да, если без питона никак - попробуй multiprocessing.Pool

как это применить к конкретной задаче-то? Я прост идею не ловлю, у меня есть множество, по которому я в цикле прохожу, как мне сделать, чтоб параллельно запустить 3 процесса(ну... раз мультипроцессинг юзать) с аргументами из цикла?

ну и да, если без питона никак - попробуй multiprocessing.Pool

Я там в первом сообщении свой цикл кидала

как это применить к конкретной задаче-то? Я прост идею не ловлю, у меня есть множество, по которому я в цикле прохожу, как мне сделать, чтоб параллельно запустить 3 процесса(ну... раз мультипроцессинг юзать) с аргументами из цикла?

ну, у тебя есть контейнер, к которому ты хочешь применить одну и ту же операцию, но параллельно, так?

тогда тебе вместо цикла нужна параллельная реализация map(), которую я тебе и предложил :)

сейчас поищу пример

ну хотя в доке уже он есть https://docs.python.org/3/library/multiprocessing.html

ну хотя в доке уже он есть https://docs.python.org/3/library/multiprocessing.html

Эх, видела я это) Я не понимаю, как начать)

ну хотя в доке уже он есть https://docs.python.org/3/library/multiprocessing.html

for archive in archives:

for archive in archives:

не нужно

а как?

pool.map(your_function, archives)

ERROR: S client not available

как в примере и написано

И разве так не запустятся сразу ВСЕ архивы на скачивание?

где your_function - это функция, которую ты применяешь к архиву

И разве так не запустятся сразу ВСЕ архивы на скачивание?

ты при создании пула указываешь, сколько процессов тебе надо

можешь написать 3 - тогда будет не больше трех

ааааааа

стопэ, я поняла

ща

5 сек

где your_function - это функция, которую ты применяешь к архиву

Оно кароч медленнее работает, чем когда я последовательно запускаю

Оно кароч медленнее работает, чем когда я последовательно запускаю

добро пожаловать в питон

на xargs было бы быстрее в разы

ну... когда использовала потоки, а не процессы, у меня выигрыш был в 4 раза

оно быстрее работает на большем количестве архивов/процессов

но оно не копировало архивы

ага

а я ведь могу проверить

))

ща

через час другой приду, есть у меня тут архивов на пару терабайт

оно быстрее работает на большем количестве архивов/процессов

Хм, слушай, вот если пул = 4, то когда 1 процесс из пула освобождается, он приступает к новой работе или ждет, пока все 4 процесса закончат, а потом они все четвером снова приступают к работе?

Хм, слушай, вот если пул = 4, то когда 1 процесс из пула освобождается, он приступает к новой работе или ждет, пока все 4 процесса закончат, а потом они все четвером снова приступают к работе?

приступает сразу, в том и смысл

ооо

даа

то, что надо

ща затещу

Как удалить python 3.7, и установить python 3.6, то есть какие части файлов мне удалять, не хочу расставаться со скачаннами пакетами

разве нельзя поставить 3.6 ипотом переключаться между ними?

как в случае 2 и 3 версии python и python3

Как удалить python 3.7, и установить python 3.6, то есть какие части файлов мне удалять, не хочу расставаться со скачаннами пакетами

1) пакеты все должны быть в венв 2) pyenv