жесть какая-то на самом деле

Есть такое, я думал руками эксельку по 100к разбить, было бы 11 штук, но потом прикинул, что 100к не потяне бд, макс наверно 50, а это уже дофига разбивать хотя можно срипт накидать, он мне файл и разобьет и пройтись по файлам и не париться - это простой вариант, но мы же не ищем легких путей :)

ну дя такого конечно проще взять то, что я накидал, либо со списком

1м в память влезет без проблем

да, сейчас сижу адаптирую, потом протестю на 101к Конечно влезет, лаганет чуть сабл, но пройдет

чуть добавил шаг, чтобы было удобнее тестить mlist = [1,2,3,4,5,6,7,8,9,0,19] step = 5 count = len(mlist)//step + 1 if len(mlist)%step else 0 for i in [ mlist[i*step:i*step+step] for i in range(count) ]: print(i) Интересно, что с этим кодоп по производителности

да не, возьми исходный и скобки на круглые замени в comprehension

да не, возьми исходный и скобки на круглые замени в comprehension

чтоб генератор получить?

ну да

нафиг тебе список списков

нафиг тебе список списков

привычнее штоле :) но согласен, смысла нет, просто с ними мне спокойнее :) точно знаю что и как

Я извиняюсь, где чат для нубов?)

Я извиняюсь, где чат для нубов?)

@ru_python_beginners

Благодарю

привычнее штоле :) но согласен, смысла нет, просто с ними мне спокойнее :) точно знаю что и как

тут один уже был, который знал что как в регулярках

оказалось многое не знает =)

слышал про такого :) кажется даже знаком

привет. ребята, есть где-то чат по поиску работы на Python?

привет. ребята, есть где-то чат по поиску работы на Python?

t.me/python_jobs

спасибо!

ребят приветствую. В чем отличие multiprocessing lock от threading lock. Я к тому что например в потоках будет multiprocessing lock работать. Или если внутри процессов идет деление на потоки то внутри надо уже использовать threading lock

Может кто-то объяснить, или мануал кинуть, особенности работы оператора % - почему 15%2 получается 1, а не 5? Python 3.7.2, винда

Может кто-то объяснить, или мануал кинуть, особенности работы оператора % - почему 15%2 получается 1, а не 5? Python 3.7.2, винда

https://youtu.be/BDBecSNEP_c

% - остаток от деления

Хз как ты 5 получил

15/2 будет 7,5

ребят приветствую. В чем отличие multiprocessing lock от threading lock. Я к тому что например в потоках будет multiprocessing lock работать. Или если внутри процессов идет деление на потоки то внутри надо уже использовать threading lock

Один для тредов, другой для процессов. Ваш кэп

15/2 будет 7,5

Ага. А 15//2 будет 7

А блин

все сам натупил

Утро

А то я уже скоро полный набор видео для 3-5 классов соберу

Утро, ага

Мне дробная часть нужна была просто

Добро пожаловать, Надир! Не забудь ознакомиться с правилами чата. Ссылка в описании группы.

Один для тредов, другой для процессов. Ваш кэп

Я к тому что например в потоках будет multiprocessing lock работать? Или если внутри процессов идет деление на потоки то внутри надо уже использовать threading lock

Мне дробная часть нужна была просто

Ничего, если она вдруг окажется 0.9999999985 вместо 0? ;-)

Нет)

Нет)

Тогда посмотри что там у Decimal

Я к тому что например в потоках будет multiprocessing lock работать? Или если внутри процессов идет деление на потоки то внутри надо уже использовать threading lock

По идее должен работать в потоках.

Только зачем тебе и процессы и треды и везде локи

с большой вероятностью лок вообще не нужен

Только зачем тебе и процессы и треды и везде локи

у меня скрипт есть которому надо ка то ускорение придать, я его на процессы разбиваю а внутри еще по три потока , по логике должно быстрее работать

у меня скрипт есть которому надо ка то ускорение придать, я его на процессы разбиваю а внутри еще по три потока , по логике должно быстрее работать

1. зачем потоки? 2. зачем локи?

потомучто если часто брать из очереди без локов то очередь тупит

0_о

вот те крест

очередь уже с локами внутри

да

хммм

а почему тогда тупит

хмммм

может тупит не она? =))

я вобще заметил если типо после очереди не добавить секунды две задержки то потоки стопоряться

эээ

нет скрипт обкатан , я конешно не гуру программирования. может что то и пишу не правильно но добавиви задержку в 2 сккуднды скрипт перестал тупить

давай с потоками сначала. Ты уверен что 3 по 3 быстрее чем 9 процеессов?

у тебя там работа с сетью или что?

ну я рассуждал так , количество процессов по хорошему должно быть не больше чем процессов на сервере, у меня их 32 , я сделал 30 процессов , и они типо параллельно работают, а потом решил попробывать внутри добавить потоки , ради эксперемента

да с сетью

и посмотреть

плюс у меня один п процесс 31 следит за данными и обновляет их

ну процессы от потоков отличаются только доступом к обещй памяти. А потоки в птионе ещё и с GIL

ну вот я так и рассужда

короче, хз что у тебя там с очередью

типо в процессах gil нету, они будут максимально параллельно работать ну кроме места где они очередь там синхронизаци , и внутрь запустить еще пару потоков и посмотрть что будет

Добро пожаловать, @ssnowwman! Не забудь ознакомиться с правилами чата. Ссылка в описании группы.

типо в процессах gil нету, они будут максимально параллельно работать ну кроме места где они очередь там синхронизаци , и внутрь запустить еще пару потоков и посмотрть что будет

гил есть в процессах, просто они между собой не конкурируют за объекты и влияние GIL минимально. А когда потоки, то GIL дает работу с объектами питона только одну потому в еденицу времени, потоки дадут выигрышь где нет операций с объектами питона

типо в процессах gil нету, они будут максимально параллельно работать ну кроме места где они очередь там синхронизаци , и внутрь запустить еще пару потоков и посмотрть что будет

запили на asyncio и iohttp

гил есть в процессах, просто они между собой не конкурируют за объекты и влияние GIL минимально. А когда потоки, то GIL дает работу с объектами питона только одну потому в еденицу времени, потоки дадут выигрышь где нет операций с объектами питона

what? у каждого процесса своц GIL

what? у каждого процесса своц GIL

да

запили на asyncio и iohttp

так при асинхроном программирование тот же gil просто код асинхронно выполняется разницы я шибко не вижу

как я понимаю операции будут выполнятся попорядку и какая первая выполнится она освободит ресурсы для следующей

я ды на гоу написал но нельзя из за стека

так при асинхроном программирование тот же gil просто код асинхронно выполняется разницы я шибко не вижу

если у тебя с сетью и много io операций то асинхронность даст выиграшь на том что не надо будет ждать по порядку, а будут освобождаться по мере выполнения

если у тебя с сетью и много io операций то асинхронность даст выиграшь на том что не надо будет ждать по порядку, а будут освобождаться по мере выполнения

ну тут я согласен но там чутка не получится с этим, яобдумывал этот вариант но у мен яселениум вкупе так что нет ))

но спасибо за идею))

корошо

ну тут я согласен но там чутка не получится с этим, яобдумывал этот вариант но у мен яселениум вкупе так что нет ))

тесты гоняешь паралельно?

ну несовсем тесты , сайт граблю

я бы на самом деле попробовал и так и так, если есть время ?

ну тоже мысль согласен )))

ну несовсем тесты , сайт граблю

о, еще про асинцио, оно дает меньше оверхеда по памяти чем мультипроцессинг или мультитрединг

о, еще про асинцио, оно дает меньше оверхеда по памяти чем мультипроцессинг или мультитрединг

незнал))

я если честно асинхронщину еще не писал , так чтоб плотно , только поверхностно но наслышан что библеотека очень хорошая))

там нисложно. только нужно будет все в асинхронщину оборачивать, иначе толку не будет

на пол-федора не получится

я если честно асинхронщину еще не писал , так чтоб плотно , только поверхностно но наслышан что библеотека очень хорошая))

https://code.kiwi.com/memory-efficiency-of-parallel-io-operations-in-python-6e7d6c51905d

спасибо))

привет всем такой вопрос: я конверчу xml в датафрейм панды для последующего анализа, для этого беру элемент артикл, собираю с него данные в словарь и кидаю во фрейм, заметил что в начале тысяча итераций работают секунд по двадцать, потом замедляются, на двадцатой тыще тысяча проходит уже за минуту и жрёт шесть гигов, при xml файле размером в 170 метров for article in file.getroot().xpath("//ARTICLE"): ean_with_prices = dict() channel = '' for element in article.iter(): if element.tag == "A_NR": ean_with_prices['A_NR'] = element.text if element.tag == "A_PRICE": channel = element.get("channel") if element.tag == "A_VK": ean_with_prices[channel] = element.text dataframe = dataframe.append(ean_with_prices, ignore_index=True) в чём может быть проблема?

xml парсю с lxml

xml парсю с lxml

есть вроде либа которая читает xml как поток

есть вроде либа которая читает xml как поток

lxml.etree.iterparse?