Alex
вот вроде оно https://www.npmjs.com/package/workerpool
Bogdan
вот вроде оно https://www.npmjs.com/package/workerpool
ну во первых все пулы говно редкостное на ноде
Bogdan
во вторых пул это и есть кластер
Bogdan
ты хочешь пул на пул накрутить
Bogdan
зачем тогда тебе puppeteer_cluster?
Bogdan
тебе backpressure нужен и только
Bogdan
вот этот метод
const queue_length = cluster.jobQueue.list.length;
даст тебе понять когда очередь освободится
Bogdan
и тогда ты фетчишь с redis следующиее сообщение
Bogdan
вот вроде оно https://www.npmjs.com/package/workerpool
если ты будешь делать это через worker pool тебе все равно понадобится backpressure
Bogdan
worker пул это просто лимитация для конкуренции
Bogdan
но опять puppeteer_cluster это и есть worker pool хз почему они его кластером назвали
Alex
Главное в такой схеме чтобы зомби процессы не висели. Я на питоне с playwright делал так, но некий % висело в зомби, они отработали таску но результат в очередь не вернули.
Bogdan
Главное в такой схеме чтобы зомби процессы не висели. Я на питоне с playwright делал так, но некий % висело в зомби, они отработали таску но результат в очередь не вернули.
не будут висеть, cluster закроет по таймауту если что процесс
Bogdan
Bogdan
не правильно обрабываешь значит или где-то не в том месте
Bogdan
у меня очень долго и много работает все в такой схеме и даже пыль вытирать не приходится.
Bogdan
память не течет, конкуренция работает коректно.
Bogdan
хотя за питон я не знаю…
Bogdan
puppeter_cluster закроет браузеры по таймауту если они долго висят такой гарбаж колектор типо
Eugene
Привет! ребят, кто-то юзал puppeeter ля залива видео на youtube?
🦋noteee
Привет! ребят, кто-то юзал puppeeter ля залива видео на youtube?
Фродит. Используй паппитер для управления браузера dolphin anty
Eugene
Да. Я по-любому с антидетектом в связке. Вопрос скорее выпаливает ли что-то гугл в самой автоматизации
🦋noteee
Да. Я по-любому с антидетектом в связке. Вопрос скорее выпаливает ли что-то гугл в самой автоматизации
В антидетекте вроде нет. В хромиуме хз
1
Bogdan
1
А прокси тот же?
По-разному пробовал и без прокси и с прокси и мобильный прокси и тот же прокси пробовал и разные, как повезёт, может появиться, а может нет, но в 95% появляется.
𝑰𝒍𝒉𝒐𝒎
forless
Error: Failed to launch the browser process! spawn /data/node_modules/puppeteer/.local-chromium/linux-1011831/chrome-linux/chrome ENOENT
Ребят кто знает как пофиксить эту ошибку?
Nodejs 14.18.2
Запускаю в докер контейнере
Alhimik
forless
Не может найти исполняемый файл. Либо прав нету.
Та путь вроде корректный. И хромиум установился норм. Права проверю. Спасибо.
DD
Pavel
Отпишись потом, та же трабла в докере
Как вариант можно в отдельном контейнере запускать браузер, и через ws подключаться
DD
Как вариант можно в отдельном контейнере запускать браузер, и через ws подключаться
тоже читал, что как вариант можно, но нужно ли ?
Alhimik
Используйте офицальный пример запуска в докере из гитхаба puppeteer. Там никаких проблем нет.
Alhimik
https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md#running-on-alpine
DD
👍Спасибо, находил, но руки так и не дошли, пробывал по хабу докера, завтра опробую
lifef1
Отпишись потом, та же трабла в докере
поставил отдельно хромимум через apk add chromium
и в launch прописал путь "executablePath": "/usr/bin/chromium-browser"
Pavel
Pavel
другой вопрос, как настроить puppeteer чтобы использовал открытый google-chrome на компе?
Pavel
Назар
другой вопрос, как настроить puppeteer чтобы использовал открытый google-chrome на компе?
нужно открыть хром в режиме дебага
Назар
на маке примерно вот так /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222&
Назар
потом зайти на локалхост 9222 и взять путь для папитира. Но нельзя открыть хром в режиме дебага, если уже есть открытый хром. Окрыть можно только 1 хром и только в режиме дебага
Назар
Вопрос, можно ли как то управлять headfull браузером на маке, если от на другом рабочем столе? У меня папитир делает что то только если я смотрю на браузер, а хотелось бы чтоб это в фоне было
Anonymous
can talking english here?
Roman
Bogdan
Вопрос, можно ли как то управлять headfull браузером на маке, если от на другом рабочем столе? У меня папитир делает что то только если я смотрю на браузер, а хотелось бы чтоб это в фоне было
Вот тут второй ответ посмотри
https://apple.stackexchange.com/questions/269622/macos-windows-requiring-an-explicit-click-to-make-active-before-ui-elements-ins
Bogdan
Не уверен что это именно то.
42
всем привет
42
может кто-то сможет помочь
создал и все подробно объяснил на qna habr
https://qna.habr.com/q/1176768
Назар
может кто-то сможет помочь
создал и все подробно объяснил на qna habr
https://qna.habr.com/q/1176768
есть база прокси у них наверное
Назар
чорный список короче
42
42
42
а через chromium, который открывает puppeteer не работает (
Назар
попробуй стелс плагин
Назар
или ads power
42
а для чего он нужен?
Назар
чтоб не поняли что ты бот
42
понял, сейчас попробую
42
то есть puppeteer-extra это улучшенная версия обычного puppeteer, да?
Назар
то есть puppeteer-extra это улучшенная версия обычного puppeteer, да?
нет, это код, который маскирует папитир, чтоб сайты не знали что это бот, а не реальный юзер
42
нет, это код, который маскирует папитир, чтоб сайты не знали что это бот, а не реальный юзер
понял, спасибо вам еще раз!
Андрей
Привет, ребят! Кто-нибудь парсил классификаторы с auto.ru?
Столкнулся с проблемой - при попытке простмотреть элемент выпадающего списка и при любом клике этот самый список исчезает из разметки.
https://auto.ru/voronezh/cars/vaz/all/on-credit/
Pavel
42
всем привет
42
подскажите, можно ли использовать puppetter на фронте (react) ?
42
у меня есть задача: на фронте в input вводят ссылку и нажимают на кнопку
мне нужно взять данную ссылку и с помощью puppeteer перейти на нее и забрать данные со страницы (наименование и цену) и записать все в бд (наименованию, цену и ссылку)
как можно это реализовать?
42
на бэкенде у меня express, на фронте у меня react, база дынных mysql и общаются через graphql
ISergey
Полчаса чтения доки по puppeteer думаю решит проблему.
Slava
не 15 гугления stackoverflow
Slava
minutes
Slava
документация уныла