Alex
вот вроде оно https://www.npmjs.com/package/workerpool
Bogdan
Bogdan
во вторых пул это и есть кластер
Bogdan
ты хочешь пул на пул накрутить
Bogdan
зачем тогда тебе puppeteer_cluster?
Bogdan
тебе backpressure нужен и только
Bogdan
вот этот метод
const queue_length = cluster.jobQueue.list.length;
даст тебе понять когда очередь освободится
Bogdan
и тогда ты фетчишь с redis следующиее сообщение
Bogdan
worker пул это просто лимитация для конкуренции
Bogdan
но опять puppeteer_cluster это и есть worker pool хз почему они его кластером назвали
Alex
Главное в такой схеме чтобы зомби процессы не висели. Я на питоне с playwright делал так, но некий % висело в зомби, они отработали таску но результат в очередь не вернули.
Bogdan
Bogdan
Bogdan
не правильно обрабываешь значит или где-то не в том месте
Bogdan
у меня очень долго и много работает все в такой схеме и даже пыль вытирать не приходится.
Bogdan
память не течет, конкуренция работает коректно.
Bogdan
хотя за питон я не знаю…
Bogdan
puppeter_cluster закроет браузеры по таймауту если они долго висят такой гарбаж колектор типо
Eugene
Привет! ребят, кто-то юзал puppeeter ля залива видео на youtube?
Eugene
Да. Я по-любому с антидетектом в связке. Вопрос скорее выпаливает ли что-то гугл в самой автоматизации
🦋noteee
1
Как обойти cloudflare при открытии страницы, вылезает только когда заходишь через puppeteer. Используется:
puppeteer-extra
puppeteer-extra-plugin-stealth
random-useragent
Bogdan
1
А прокси тот же?
По-разному пробовал и без прокси и с прокси и мобильный прокси и тот же прокси пробовал и разные, как повезёт, может появиться, а может нет, но в 95% появляется.
𝑰𝒍𝒉𝒐𝒎
1
forless
Error: Failed to launch the browser process! spawn /data/node_modules/puppeteer/.local-chromium/linux-1011831/chrome-linux/chrome ENOENT
Ребят кто знает как пофиксить эту ошибку?
Nodejs 14.18.2
Запускаю в докер контейнере
Alhimik
DD
DD
Pavel
Alhimik
Используйте офицальный пример запуска в докере из гитхаба puppeteer. Там никаких проблем нет.
Alhimik
https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md#running-on-alpine
DD
👍Спасибо, находил, но руки так и не дошли, пробывал по хабу докера, завтра опробую
Pavel
кто-нибудь знает как обойти бан дискорда?
Pavel
другой вопрос, как настроить puppeteer чтобы использовал открытый google-chrome на компе?
Pavel
было у кого такое, что mac не предлагает запустить puppeteer anyway?
Назар
Назар
на маке примерно вот так /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222&
Назар
потом зайти на локалхост 9222 и взять путь для папитира. Но нельзя открыть хром в режиме дебага, если уже есть открытый хром. Окрыть можно только 1 хром и только в режиме дебага
Pavel
Назар
Вопрос, можно ли как то управлять headfull браузером на маке, если от на другом рабочем столе? У меня папитир делает что то только если я смотрю на браузер, а хотелось бы чтоб это в фоне было
Anonymous
can talking english here?
Roman
Bogdan
Bogdan
Не уверен что это именно то.
42
всем привет
42
может кто-то сможет помочь
создал и все подробно объяснил на qna habr
https://qna.habr.com/q/1176768
Назар
Назар
чорный список короче
42
42
у меня в браузере chrome открывает, если указать прокси вот здесь
42
а через chromium, который открывает puppeteer не работает (
Назар
попробуй стелс плагин
Назар
или ads power
42
Назар
это что?
https://www.npmjs.com/package/puppeteer-extra-plugin-stealth
42
а для чего он нужен?
Назар
чтоб не поняли что ты бот
42
понял, сейчас попробую
42
42
то есть puppeteer-extra это улучшенная версия обычного puppeteer, да?
42
Андрей
Привет, ребят! Кто-нибудь парсил классификаторы с auto.ru?
Столкнулся с проблемой - при попытке простмотреть элемент выпадающего списка и при любом клике этот самый список исчезает из разметки.
https://auto.ru/voronezh/cars/vaz/all/on-credit/
Pavel
42
всем привет
42
подскажите, можно ли использовать puppetter на фронте (react) ?
42
у меня есть задача: на фронте в input вводят ссылку и нажимают на кнопку
мне нужно взять данную ссылку и с помощью puppeteer перейти на нее и забрать данные со страницы (наименование и цену) и записать все в бд (наименованию, цену и ссылку)
как можно это реализовать?
42
на бэкенде у меня express, на фронте у меня react, база дынных mysql и общаются через graphql
ISergey
Полчаса чтения доки по puppeteer думаю решит проблему.
Slava
не 15 гугления stackoverflow
Slava
minutes
Slava
документация уныла