и получаешь значение аттрибута title

Страницу я паpсю beautiful soup, но мне надо получить все значение из всех title

ну или xquery

поиск элементов можно сделать при помощи ф-ций DOM или XPath

если он там поддерживаться

IIRC поддерживается

не, я в смысле до завершения работы кода. всеравно выводить 0

я не понимаю что ты говоришь. А какой он должен быть до завершения работы? Он у тебя всегда будет один и тот же, это процессы

но даже если бы ты передавал его обратно - все равно нужно сделать join

короче сохранений нет

join()

join()

join() вроде ждет завершения всех процессов

join() вроде ждет завершения всех процессов

Того, на котором ты его вызвал. У тебя процессы не отрабатывают

но даже если бы ты передавал его обратно - все равно нужно сделать join

я не передаю обратно. хотел из метода сохранить

я не передаю обратно. хотел из метода сохранить

прочти, плз, внимательно то что я написал

Того, на котором ты его вызвал. У тебя процессы не отрабатывают

а как лучше вернуть значение отдельных процессов?

а как лучше вернуть значение отдельных процессов?

В этом случае лучше их вообще не использовать

пробовал Pool, но он вернул работу всех процессов

@ruslan001 в общем мои опасения подтвердились. pywin32 говна кусок, который вместо прямого консистентного враппера поверх win32 api добавляет свою логику сверху, иногда не всегда корректную https://sourceforge.net/p/pywin32/bugs/584/

В этом случае лучше их вообще не использовать

ладно. если я вызову join для каждого, у меня будет сохраняться значения?

Да

Да

спс. ща проверю))

Да

ты уверен, что данные из других процессов передадутся в родительский? :D

ты уверен, что данные из других процессов передадутся в родительский? :D

Он мутируемый объект как аргумент передает

Он мутируемый объект как аргумент передает

и?

ты уверен, что данные из других процессов передадутся в родительский? :D

мне всего лишь нужно сохранить в классе

как, например, все эти процессы будут += между собой шарить

он что - будет синкать на каждый += память между всеми дочерними процессами?

Он мутируемый объект как аргумент передает

чо? какого типа объект?

я так понимаю шарятся только ограниченное кличество типов данных, специально для этого предназначенных

.

если это обычный список, то нет изменение списка в субпроцессе никак не влияет на родительский процесс

мне всего лишь нужно сохранить в классе

да нихрена ты не сохранишь. Это процессы, а не потоки. У каждого их них своя память

ты знаешь как вообще эти типы в субпроцессы передаются?

ты знаешь как вообще эти типы в субпроцессы передаются?

pickle, ессно

я так понимаю шарятся только ограниченное кличество типов данных, специально для этого предназначенных

+1

pickle, ессно

ну я не у тебя спрашивал =)

под линуксом можно было бы воспользоваться cow для памяти но, кажется, он так не делает

под линуксом можно было бы воспользоваться cow для памяти но, кажется, он так не делает

нет для простых аргументов не делает.

там в общем-то pickle + pipe

Страницу я паpсю beautiful soup, но мне надо получить все значение из всех title

Soup.findAll не?

Soup.findAll не?

Уже всё

и никак иначе если это не Value, Array, sharedctypes или SharedMemory (с 3.8)

Уже всё

ты продолжаешь парсить html регулярками?

ты продолжаешь парсить html регулярками?

Я их и не парсил

я вообще решительно не понимаю нахрена извращаться с мультипроцессингом \ локами на файлах если можно взять пару очередей или какой-нибудь scrapy специально для этого предназначенный.

да нихрена ты не сохранишь. Это процессы, а не потоки. У каждого их них своя память

так мне нужно вернуть значение из процесса?

@cutwater Благодарю, очень помогли!)

я вообще решительно не понимаю нахрена извращаться с мультипроцессингом \ локами на файлах если можно взять пару очередей или какой-нибудь scrapy специально для этого предназначенный.

ты про итерацию?

так мне нужно вернуть значение из процесса?

мне лень читать это все, я бы посоветовал взять multiprocessing.Pool, возвращать результаты в родительский процесс и обрабатывать уже в родительском процессе.

/ban /report

/report

мне лень читать это все, я бы посоветовал взять multiprocessing.Pool, возвращать результаты в родительский процесс и обрабатывать уже в родительском процессе.

так делал, но он возвращаеть работу всех процессов

arr_of_links не массив

так делал, но он возвращаеть работу всех процессов

а что нужно напомни?

так мне нужно вернуть значение из процесса?

multiprocessing.Queue

arr_of_links не массив

Массив я создал arr_of_links = []

посылаешь из дочерних единицы, в основном складываешь

arr_of_links не массив

Len работает

ERROR: S client not available

а что нужно напомни?

просто хочет посчитать сколько завершилось

multiprocessing.Queue

каждый завершенный процесс вернет значение отдельно?

просто хочет посчитать сколько завершилось

ну да))

сколько раз ты q.put(1) вызовешь, столько и q.get сможешь раз сделать в родительском

уже сутки мучаюсь над этим

правда я хз зачем это тебе

правда я хз зачем это тебе

хотел процесс работы в терминале показать))

ты и так знаешь сколько завершилось - ты же их создал и можно просто спросить сколько уже того у объекта-процесса

ты и так знаешь сколько завершилось - ты же их создал и можно просто спросить сколько уже того у объекта-процесса

как?

не очень оптимально, но просто. Идешь по циклу и смотришь сколько завершилось. Спишь 100ms, повторяешь

Len работает

ну кажется там получается arr_of_links.remove(None) вот и ошибка

просто хочет посчитать сколько завершилось

imap_unordered

p = Process(....).start() p.is_alive()

imap_unordered

+, да, так даже сильно лучше

правда там совсем все сериализовать прийдется, кажется

ну прост не нужно делать по процессу на таск, достаточно держать пул процессов нужного размера.

спс всем))

ну кажется там получается arr_of_links.remove(None) вот и ошибка

Ага, он на 'что-то' in None ругался

Как стартонуть функцию один раз по дате и времени schedule ?

Как стартонуть функцию один раз по дате и времени schedule ?

https://toster.ru/q/437551

я обычно писал код в сублайм текст и всё было нормально, но когда я перешёл в pycharm (сам файл .py тоже в другой папке), он начал жаловаться на некоторые библиотеки (например, requests). В чем может быть проблема?

я обычно писал код в сублайм текст и всё было нормально, но когда я перешёл в pycharm (сам файл .py тоже в другой папке), он начал жаловаться на некоторые библиотеки (например, requests). В чем может быть проблема?

В том, что венв он не нашел

Или наоборот нашел, а ты его не юзал

Почему не прерывается? https://pastebin.com/vr6w4fay

в папке проекта папка venv есть

в папке проекта папка venv есть

А в настройках проекта какой интерпритетор?

Почему не прерывается? https://pastebin.com/vr6w4fay

А что должно прерываться?

А что должно прерываться?

Ну вообще вся программа завершиться