sunlight
Всем привет, кто нибудь пробовал использовать пупитер для автоматизации твича?
При использовании пупитера с stealth плагином, на твиче при нажатии кнопки «подписаться» - подписка не засчитывается, но при использовании puppeteer-with-fingerprints все работает и засчитывается, у этого плагина очень долго загружается браузер, как можно реализовать это с stealth что бы все работало?
sunlight
Или как вообще можно понять какая защита стоит на твиче, на сайт впускает без каких либо проблем, только кнопку не дает нажать с stealth плагином
𝕁𝕊𝕆𝕌𝕎𝕃
и он у вас headless: false
𝕁𝕊𝕆𝕌𝕎𝕃
а я не могу запустить в оконном режиме, потому что на виртуальной машине без гуи это находится
BarB
BarB
а я не могу запустить в оконном режиме, потому что на виртуальной машине без гуи это находится
на серваке ubuntu тоже без гуи пускаю так же все работает, как и при локальной разработке
𝕁𝕊𝕆𝕌𝕎𝕃
на серваке ubuntu тоже без гуи пускаю так же все работает, как и при локальной разработке
а у меня не работает:(
BarB
ошибки какие сыпит?
Null
Добрый день
OC: debian 11
Node: v18.17.1
npm: v9.6.7
Как можно прокси настроить? Я по всякому пытался, и через аргументы запуска, и через аргумента запуска с page.authorize, и через puppeteer-proxy, и через puppeteer-page-proxy - всё бестолку. Прокси резидентские, вида http://username:password@ip:port. Запускается пюпитир с headless: "new"
Должны работать все варианты указания прокси. Но только соксы с логином и паролем не работают. Предполагаю что проблема именно в этом.
Null
https://t.me/puppeteer_ru/6504
Null
Или как вообще можно понять какая защита стоит на твиче, на сайт впускает без каких либо проблем, только кнопку не дает нажать с stealth плагином
Изучать запросы и ответы из своего основного браузера, где твич работает как ожидается и из автоматизированной версии.
Null
а я не могу запустить в оконном режиме, потому что на виртуальной машине без гуи это находится
> не могу запустить в оконном режиме
> потому что на виртуальной машине без гуи
Для этого есть xvfb (виртуальный дисплейный сервер). Он позволяет запускать приложения с gui. Так проще, чем возиться с headless-режимом и пытаться понять в чём отличия от стандартной работы.
sunlight
Изучать запросы и ответы из своего основного браузера, где твич работает как ожидается и из автоматизированной версии.
Как можно посмотреть запросы из браузера пупитера?
🦋noteee
𝕁𝕊𝕆𝕌𝕎𝕃
Murena
Всем привет - подскажите в чем может быть причина иногда puppeeter открывает через chromium сайт и все ок - а иногда вот такой экран и ничего не происходит, причем сайт тот же самый - от чего зависит не могу понять.
Murena
Sethu Madhav
Hi team, this is Madhav. I'm new to the Puppeteer library I need to write a unit testcase for a website. So, I need a guidance badly. If anybody could volunteer that will help me a lot
Null
Всем привет - подскажите в чем может быть причина иногда puppeeter открывает через chromium сайт и все ок - а иногда вот такой экран и ничего не происходит, причем сайт тот же самый - от чего зависит не могу понять.
Скорей всего дело в самом сайте.
Например, сайт DNS, когда видит headless в юзерагенте или по другим признакам определяет что это автоматизация, он возвращает пустую страницу и бесконечный цикл while.
Начни с проверки того что пришло в ответе. Содержимое самой страницы, какие скрипты подгрузились и т.п.
Aleksey
Aleksey
перечень параметров такой
"&--disable-blink-features=AutomationControlled" +
"&--no-sandbox" +
"&--disable-setuid-sandbox" +
"&--ignore-certificate-errors" +
"&--use-gl=desktop" +
"&--headless" +
"&--start-maximized" +
@$"&--window-size={new Random().Next(1800, 2000)},{new Random().Next(1800, 2000)}" +
"&--incognito";
Андрей
> не могу запустить в оконном режиме
> потому что на виртуальной машине без гуи
Для этого есть xvfb (виртуальный дисплейный сервер). Он позволяет запускать приложения с gui. Так проще, чем возиться с headless-режимом и пытаться понять в чём отличия от стандартной работы.
У меня тоже были такие проблемы!
Я перешёл на Playwright
Там все работает чётко что локально что на сервере!
Shieldy
(6 + 10) @Skrebnev_f, please, send the solution to the arithmetic operation provided within the time amount specified to this group, otherwise you will be kicked. Thank you! (60 sec)
Powered by 1inch Network
𝕁𝕊𝕆𝕌𝕎𝕃
устанавливали на вдс вашу хромиум и зависимости?
Null
А библиотеки отдельно ставил или только puppeteer?
Null
И вообще puppeteer-core не загружает браузер даже. Это только обёртка. Браузер должен быть в систему установлен.
42
всем привет, через puppeteer-extra, stealth плагин + brightdata прокси не получается обойти проверку антибота Qrator, возможно есть какое-то решение? в Playwright лучше ситуация с этим?
Surfsky
WADIM
Парни, подскажите пожалуйста, ничего не нашел, но может есть решение выполнят ьскрипт в многопотоке, когда браузер свернул? запускать в безголовом режиме не вариант
WADIM
спасибо!
ISergey
Парни, подскажите пожалуйста, ничего не нашел, но может есть решение выполнят ьскрипт в многопотоке, когда браузер свернул? запускать в безголовом режиме не вариант
Суть проблемы не понятна . Как-то более детальнее
WADIM
Суть проблемы не понятна . Как-то более детальнее
Я запускаю скрипт написанный на пупитре, он в свою очередь через запрос запускает антидетект браузер, и через ConnectAsync() подключается к браузеру, ну и там скрипт дальше начинает свою работу, бегает по сайтам и кнопочки тыкает, сие действие происходит в многопотоке, при сворачивании окон браузера в тасбар, скрипт как будто встает на паузу, ничего не происходит но при открытии или наведении мыши в таскбаре, начинает дальше выполнятся, вроде как решене данной проблемы безголовый режим, но то не есть хорошо, для удобства и контроля выполнения
WADIM
Не сворачивайте окошко)
ахаха) логично) но таки многопоток) и при работе 30 потоков происходит жесть)
WADIM
Я таки накопал решение на форуме, запускать браузер с аргументами --disable-backgrounding-occluded-windows","--disable-renderer-backgrounding", но все таки может есть какое-то более интересное решение
WADIM
'--disable-background-timer-throttling',
'--disable-backgrounding-occluded-windows',
'--disable-renderer-backgrounding'
ISergey
Мы раньше делали просто окно активным . По сути браузер ниче не должен делать если он свернут. Если мешает можно пробывать переместить окно браузера за видимую область .
И вроде новый безголовый режим вполне норм
WADIM
ISergey
Через devtools можно смотреть
ISergey
Но паретир как-то не адекватно с ним работает
Aleksey
Я таки накопал решение на форуме, запускать браузер с аргументами --disable-backgrounding-occluded-windows","--disable-renderer-backgrounding", но все таки может есть какое-то более интересное решение
Честно говоря, я даже не задумывался о такой проблеме
У меня тестовый хром в хедфул режиме локально открывается только в случае, когда я напрямую хочу что-то отладить - это крайне редко
Для работы с браузером я юзаю докер-образ от browserless, который отлично умеет параллелить сессии_ очень советую
Там есть web ui с разделом "Текущие сессии" - можно в каждую зайти и посмотреть, что там происходит
WADIM
А можно ссылку где про это почитаь?
ISergey
Еще вариант через cdp получать фреймы картинок и рендерить как угодно
Aleksey
WADIM
Еще вариант через cdp получать фреймы картинок и рендерить как угодно
Вот это интересно, нужно глянуть, а можно вас тоже попросить ссылку на что-т отакое? буду признателен, спасибо!
WADIM
ISergey
https://github.com/microsoft/playwright/blob/main/packages/playwright-core/src/server/chromium/videoRecorder.ts
ISergey
Тут грубо говоря пример
WADIM
ISergey
Screencastframe
ISergey
Оно быстро гуглится
WADIM
вы явно профи, и вам легко) я тольк опол года пишу код, самоучка) спасибо!
Zenno Seller
Парни, подскажите пожалуйста, я не дожидаясь загрузки страницы, ищу элемент потWaitForXpathAsync() тайм-аут ставлю 15000 (15 сек) но если я только-только перешёл по ссылке, видимо дом страницы ещё не загрузился и выдает ошибку, может есть какой-то другой метод? А то я сделал через try catch , может я метод не тот использую?
Null
Парни, подскажите пожалуйста, я не дожидаясь загрузки страницы, ищу элемент потWaitForXpathAsync() тайм-аут ставлю 15000 (15 сек) но если я только-только перешёл по ссылке, видимо дом страницы ещё не загрузился и выдает ошибку, может есть какой-то другой метод? А то я сделал через try catch , может я метод не тот использую?
Если элемента ещё нет, то никакое решение не поможет. Если ты хочешь получить элемент сразу как он появится - MutationObserver.
Anonymous
Коллеги, открываю сайт в puppeteer, мне надо вызвать функцию
grecaptcha.enterprise.execute("A", { action: "A"})
Вызывая её в консоли devtools - она работает.
Вызывая её через
page.evaluate(() => {
grecaptcha.enterprise.execute("A", { action: “A”});
});
В консоли сайта выдаёт, что grecaptcha undefined
ЧЯДНТ? Как правильно?
Null
Коллеги, открываю сайт в puppeteer, мне надо вызвать функцию
grecaptcha.enterprise.execute("A", { action: "A"})
Вызывая её в консоли devtools - она работает.
Вызывая её через
page.evaluate(() => {
grecaptcha.enterprise.execute("A", { action: “A”});
});
В консоли сайта выдаёт, что grecaptcha undefined
ЧЯДНТ? Как правильно?
Вопрос в том, когда ты выполняешь page.evaluate. Нужно дождаться когда grecaptcha будет загружен. Или через таймер или лучше через отслеживание HTTP-ответов, дождавшись подгрузки файла.
Anonymous
Удивлён, что не нахожу таблицу соответствий user-agent к Sec-CH-* - погуглил и в github искал.
отдельно список популярных user-agent нашёл, но надо указывать соответствующие Sec-CH-* заголовки
Может быть у кого-то есть?
Aleksey
Anonymous
А что, без соответствия агента и сек сайт не пускает?
сайт использует Recaptcha v3 и fingerprint.com и любая “ошибка” в том числе расходится Sec-CH-* - понижает индекс человечности.
+ я так понимаю до сих пор не решенная проблема в puppeteer когда наружу вылазит и нельзя изменить navigator у воркеров, который палит контору.
Вообще настраиваюсь по https://abrahamjuliot.github.io/creepjs/
Dima
Всем привет! Начинаю пользоваться Puppeteer sharp и не могу уйти дальше начала.
есть код. Он начинает работу а потом, без ошибок, ее прекращает не доходя до конца.
MacOS.
Dima
Dima
Aleksey
А если код в try catch поместить, Exception не ловится?
Aleksey
Ну дык
Dima
Ну дык
я правильлно понимаю, мне нужно скачать драйвер и указать к нему путь? это он? https://chromedriver.chromium.org/downloads
Aleksey
ну так у вас там throw стреляет