ISergey
Отдельно, иногда пилю кастомный браузер (готов делится для тестов ) кому интересно покаместь в личку .
SH
Привет всем, может кто-то подсказать, Есть такая проблема: на сайте по клику с фронта генерируется pdf и скачивается (то есть через network я не могу его отловить) Я указываю и отлавливаю загрузку файла через Browser.setDownloadBehavior Browser.downloadProgress Проблема в том что иногда pdf скачивается сломанным, его размер становится вместо 50 кб 300 кб, но если я не закрою браузер и вручную потом прокликаю еще N кол-во раз, все остальные pdf файлы будут корректными Под сломанным PDF файлом я имею ввиду его вид: С чем это может быть связано? UPD: решил проблему, необходимо было дожидаться загрузки страницы с параметром networkidle0
Лешка
что интересно это хороший канал по сео
Лешка
только я незнаю к чему он тут
Pankaj
Error executing Puppeteer script: TypeError: page.$x is not a function
Sergey
Всем привет У кого нибудь был опыт работы с обходом капчи arkose labs (funCaptcha)? Типа как у твиттера с сопоставлением картинки на орбиту Пробовал кастомно через либу 2captcha — всегда после долгой загрузки возвращает ERROR_CAPTCHA_UNSOLVABLE Также пробовал ставить расширения чтобы оно само решало при подгрузке — результат тот же capSolver либу хотел попробовать, находил инфу что у кого то получалось, но на офиц доке не нашел поддержки fanCaptcha nopecha еще попробовал, она даже решать что то начала, но 0/10 решила))) как будто просто наугад натыкала Есть у кого-нибудь опыт с этим типом капч или пример работоспособного кода??
Albert
привет всем. кто небудть сталкнулся с этим еррором. при добавлении userDataDir ? Error: Failed to launch the browser process! TROUBLESHOOTING: https://pptr.dev/troubleshooting at ChildProcess.onClose (D:\MFM\RemoteControl\node_modules\@puppeteer\browsers\lib\cjs\launch.js:310:24) at ChildProcess.emit (node:events:531:35) at ChildProcess._handle.onexit (node:internal/child_process:294:12) error const browser = await puppeteer.launch({ headless: false, userDataDir: "C:\\Users\\Asus\\AppData\\Local\\Google\\Chrome\\User Data", args: [ "--start-maximized", "--profile-directory=Profile 2", "--no-sandbox", "--disable-setuid-sandbox", ], });
Null
привет всем. кто небудть сталкнулся с этим еррором. при добавлении userDataDir ? Error: Failed to launch the browser process! TROUBLESHOOTING: https://pptr.dev/troubleshooting at ChildProcess.onClose (D:\MFM\RemoteControl\node_modules\@puppeteer\browsers\lib\cjs\launch.js:310:24) at ChildProcess.emit (node:events:531:35) at ChildProcess._handle.onexit (node:internal/child_process:294:12) error const browser = await puppeteer.launch({ headless: false, userDataDir: "C:\\Users\\Asus\\AppData\\Local\\Google\\Chrome\\User Data", args: [ "--start-maximized", "--profile-directory=Profile 2", "--no-sandbox", "--disable-setuid-sandbox", ], });
Возможно ты не закрыл другой экземпляр и пытаешься запустить ещё один с тем же каталогом. Сначала укажи новый пустой каталог и убедись что проблема только с этим userDataDir. Если нужно запустить с этим же каталогом, закрой все окна браузера и проверь через диспетчер задач, что нет процессов в фоне.
Eqf
у кого были похожие ситуации ?
Eqf
посоветуйте провайдеров которые не будут банить хер пойми за что
>>@$$H**t ⁶⁶⁶ <\666,666*&
Eqf
да
Eqf
спасибо
>>@$$H**t ⁶⁶⁶ <\666,666*&
Eqf
типо у провайдера проблемы
Eqf
хотя по факту их нет
>>@$$H**t ⁶⁶⁶ <\666,666*&
Eqf
ishosting
>>@$$H**t ⁶⁶⁶ <\666,666*&
я читать умею
>>@$$H**t ⁶⁶⁶ <\666,666*&
ishosting
а ты на ubuntu ставил?
Eqf
да дефолтное
Eqf
вроде убунту
>>@$$H**t ⁶⁶⁶ <\666,666*&
ты крутой
>>@$$H**t ⁶⁶⁶ <\666,666*&
на убунту
>>@$$H**t ⁶⁶⁶ <\666,666*&
фул заебл
Eqf
а как нужно
>>@$$H**t ⁶⁶⁶ <\666,666*&
хромиум и еще 1000
>>@$$H**t ⁶⁶⁶ <\666,666*&
модулей
Eqf
кто шарит почему хип юсадж такой большой, ни одна сессия не запущена
Eqf
ребят кто делал скраперы/спамеры на маркетплейс площадки, подскажите что по требованиям для сервера, как сократить потребление оперативки ? у меня запускается 2 сессии - каждая открывает и обрабатывает по 6 вкладок + -, в пике потребление до 3.5 г оперативы доходит, подскажите как быть
Eqf
не использовать webdriver
и сколько я выиграю памяти
Eqf
типо авторизация будет тож работать без веб драйвера
🅰️nimeCoder
и сколько я выиграю памяти
Ну в общей сложности если не использовать вебдрайвер, вопрос идёт о 50-100 мб без учёта затрат на ноду (до 200 мб в сумме в среднем)
Wudu
Всем привет. Как поставить условие: const logout = document?.querySelector(&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;.oauth_logout_link&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;) if (logout) { logout.click() } else { await someFunction() }
Wudu
Только используя puppeteer
Null
На выбор, смотря что нужно.
Eqf
есть скрапер, каждый запрос я получаю масив в 50 юзеров эти юзеры должны фильтроваться по количеству подписчиков, если у юзера больше 700 подпищиков то он невалидный невалидных из 50 юзеров где то 95% то есть большая часть не подходит Будет ли кеширование бустить перфоманс при таких цифрах ? запросы делаются примерно каждых 30 сек
Denilson
почему cloudFlare не проходить без resolution?
Voc&amp;amp;amp;amp;amp;amp;amp;amp;amp;#234; est&amp;amp;amp;amp;amp;amp;amp;amp;amp;#225; passando os dados do navegador?
Дмитрий
&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288;&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288;&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288;&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288;&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288;&amp;amp;amp;amp;amp;amp;amp;amp;amp;#128288; Ищу людей для сотрудничества в сфере крипты на официальных ресурсах (Вуbіt и подобные) ---------------------------------------- 500-900 $ в неделю ---------------------------------------- Paботаем внутpи бирж без левых ресурсов, в лс подробнее❗
Максим
Всем привет. Кто знает, есть ли вариант запускать экземпляр хрома сразу с сертификатом? Сайт требует по для подписания сертификатом файлов. Но я видел скрипт на питоне кажется использующий селиниум, где экземпляр браузера запускается уже с сертификатом (файл .p12) подпись происходит сразу же
Максим
мне кажется ты делаешь что то плохое
Работу работаю, ничего плохого
Максим
Слышал что в селиниум больше возможностей для работы с сертификатами, но не уверен на сколько это правда. Но не хотелось бы пробовать им. Все таки есть уже какая то любовь к puppeteer
Null
Всем привет. Кто знает, есть ли вариант запускать экземпляр хрома сразу с сертификатом? Сайт требует по для подписания сертификатом файлов. Но я видел скрипт на питоне кажется использующий селиниум, где экземпляр браузера запускается уже с сертификатом (файл .p12) подпись происходит сразу же
Можно добавить сертификат в доверенные сертификаты браузера через настройки. В итоге он будет добавлен в базу в каталоге ~/.pki/nssdb. Думаю, если этот каталог подсунуть в новое окружение, сертификаты так же подтянутся.
Null
Ещё можно управлять этой базой через certutil. Сам не пробовал, но судя по справке, с помощью неё можно как добавлять так и удалять сертификаты. Link: https://chromium.googlesource.com/chromium/src/+/refs/heads/lkgr/docs/linux/cert_management.md.
Максим
Тут в основном тестировщики сидят?
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8
Matvey
8