угу, понял, спс попробую. Вот только остается открытым вопрос зачем тогда есть такие методы как frame.content()

может так берется хтмл который именно в этом фрейме, и только поле этого можно юзать события

если будут идеи или примеры как реализовывать подобное - отпишите пожалуйста

что реализовать?

да, но возвращяет массив, а тут есть вот такие методы conten(), focus()

ну на странице же может быть много айфреймов, найди в массиве свой нужный

угу, понял, спс попробую. Вот только остается открытым вопрос зачем тогда есть такие методы как frame.content()

ну на странице же может быть много айфреймов, найди в массиве свой нужный

Понял, буду пробовать

Понял, буду пробовать

https://pptr.dev/#?product=Puppeteer&version=v5.5.0&show=api-class-frame поидее когда найдешь свой Frame с ним можно работать как со страницей

https://pptr.dev/#?product=Puppeteer&version=v5.5.0&show=api-class-frame поидее когда найдешь свой Frame с ним можно работать как со страницей

Ну да, это самый логичный путь. Ок спасибо ещё раз

подскажите плс, как в goto не ждать полной загрузки страницы. Переходит на страницу, но она грузится пару минут. Перепробовал варианты waituntil, не помогло. Мне нужно чтобы после минимальной загрузки, был клик

подскажите плс, как в goto не ждать полной загрузки страницы. Переходит на страницу, но она грузится пару минут. Перепробовал варианты waituntil, не помогло. Мне нужно чтобы после минимальной загрузки, был клик

закинул в try catch вроде ок)

закинул в try catch вроде ок)

покажи код

та самый стандартный

та самый стандартный

так оно всеравно будет долго грузить, ты ничего не изменил

та я поставил 10 сек задержку

та я поставил 10 сек задержку

покажи

page.setDefaultTimeout(10000);

page.setDefaultTimeout(10000);

есть лучше решение

та самый стандартный

тут ты просто проглатываешь ошибку, посмотри параметры goto функции - https://pptr.dev/#?product=Puppeteer&version=v5.5.0&show=api-pagegotourl-options

та самый стандартный

page.goto(‘http://test.com’, {timeout: 10000, waitUntil: ‘domcontentloaded’})

да уже перепробовал с документации, просто страница очень долго грузит, там какой-то js каждые пару секунд отправляет запросы, по этому выбивает ошибку timeout и завершает программу, но мне важен html

в моей ситуации try catch подходит)

не делай await goto, а сделать await waitForSelector

да уже перепробовал с документации, просто страница очень долго грузит, там какой-то js каждые пару секунд отправляет запросы, по этому выбивает ошибку timeout и завершает программу, но мне важен html

там посмотри возможные значениия waitUntil, domcontentloaded помоему как раз оно

ок, попробую

Всем привет, пинка под зад. Тому кто придумал этот Shadow-DOM

Есть идеи как получить последующие элементы этого теневого дум?

closed shadow dom - никак

https://learn.javascript.ru/shadow-dom

да уже перепробовал с документации, просто страница очень долго грузит, там какой-то js каждые пару секунд отправляет запросы, по этому выбивает ошибку timeout и завершает программу, но мне важен html

Ещё есть вариант, не грузить часть скриптов, если, конечно, их работа не влияет на необходимый тебе контент. Экономит ресурсы прилично в некоторых случаях.

Ещё есть вариант, не грузить часть скриптов, если, конечно, их работа не влияет на необходимый тебе контент. Экономит ресурсы прилично в некоторых случаях.

ну это нужно для каждого сайта подробно задавать. У меня планируется грузить около 100-200 штук. в headless збс все, быстро обрабатывается. Но оказывается сайт палит работу. Даже https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth не помогает

ну это нужно для каждого сайта подробно задавать. У меня планируется грузить около 100-200 штук. в headless збс все, быстро обрабатывается. Но оказывается сайт палит работу. Даже https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth не помогает

Если очень надо не палиться, тогда пусть работает headless = false.

да, так и делаю, но заметил, что некоторые страницы очень долго грузит, по этому приходится в try catch закидывать goto

Если очень надо не палиться, тогда пусть работает headless = false.

+xvfb, скажем

+xvfb, скажем

Я как-то весь Xfce на VPS разворачивал.

вот как-то палит если headless запускать, щас приходится false ставить, то вроде ок, но ресурсы системы ест

Можно дальше пойти - вместо puppeter сделать расширение для браузера и полностью эмулировать работу пользователя.

Можно дальше пойти - вместо puppeter сделать расширение для браузера и полностью эмулировать работу пользователя.

я просто в js не прям хорош. Только азы знаю, вот документация очень нравится puppeter, легко на нем получается писать

вот как-то палит если headless запускать, щас приходится false ставить, то вроде ок, но ресурсы системы ест

Интересно... А user-agent вручную пробовал явно менять?

да, пробивает почему-то 2 версии при запуске

на скрине видно, что вначале видит headless а потом норм версия

Если не ошибаюсь то скрыть headless можно

Может это поможет

https://intoli.com/blog/not-possible-to-block-chrome-headless/

https://intoli.com/blog/not-possible-to-block-chrome-headless/

смотрел попробовал то что в начале, не помогло, нужно затестить остальное

Может блочить загрузку скриптов или части из них, из-за выполнения которых страница тормозит? const puppeteer = require('puppeteer'); (async() => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.setRequestInterception(true); page.on('request', request => { if (request.resourceType() === 'script') request.abort(); else request.continue(); }); await page.goto('https://webkul.com'); await page.screenshot({path: 'webkul.png'}); await browser.close(); })();

https://bot.sannysoft.com/ вот тут на тесте посмотри и сравни

https://bot.sannysoft.com/ вот тут на тесте посмотри и сравни

да его проходит, но нужный сайт палит, причем он показывает сразу 2 сессии, с headless и без него

Пардон с сотового

ну это нужно для каждого сайта подробно задавать. У меня планируется грузить около 100-200 штук. в headless збс все, быстро обрабатывается. Но оказывается сайт палит работу. Даже https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth не помогает

что за сайт? у меня есть наработки против обнаружения, могу попробовать

что за сайт? у меня есть наработки против обнаружения, могу попробовать

Если не получится скину, щас тестирую. Просто самые поверхностные решения использовал

вот как-то палит если headless запускать, щас приходится false ставить, то вроде ок, но ресурсы системы ест

чтобы не палиться, по идее должно быть достаточно задать userAgent, например так: page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')

и юзер и app

Доброго дня. Не подскажите как можно вносить шум в canvas ?

Доброго дня. Не подскажите как можно вносить шум в canvas ?

https://stackoverflow.com/questions/57737610/puppeteer-fingerprint-simulation

Ну тут не шум. Тут уникализация

https://habr.com/ru/post/539156/

Ребят, привет. Есть кто живой? Подскажите, puppeteer только с chromium'ом работает? Можно открывать сайты в опере, фаерфоксе и других?

Я делал просто генератор аккаунтов в инсте и потом у меня просто перестала кликаться кнопка Регистрации, хотя в других браузерах работает.

chromiuum chrome firefox

chromiuum chrome firefox

Это браузеры, которые поддерживает puppeteer?

да

да

А как в lauch передать нужный браузер? У меня стоит хром и хромиум, открывается всегда хромимум

Я в апи доки просто искал, не нашел

чтоб хром открыть нужно через executablePath в опциях передать путь к хрому. Для firefox. https://tutorial.tips/how-to-launch-the-firefox-browser-using-puppeteer/

но если нужно много браузеро и удобно с ними работать, то лучше playwright

чтоб хром открыть нужно через executablePath в опциях передать путь к хрому. Для firefox. https://tutorial.tips/how-to-launch-the-firefox-browser-using-puppeteer/

О, от души

но если нужно много браузеро и удобно с ними работать, то лучше playwright

Это что? Это браузер такой?

это папитир, только который от майкрософт с поддержкой разных браузеров

А чем хром не устраивает?

это папитир, только который от майкрософт с поддержкой разных браузеров

Ну папитир который дефолтный, он поддерживает же 3 браузера?

А чем хром не устраивает?

У перестала кликаться кнопка в инсте

Точнее не хром, а хромиум

Юзай хром)

А еще подскажите, почему в хромиуме не могу установить расширение, пишет Нет доступа.

Там блокировки стоят походу, кто знает как разлочить?

А что здесь не то? Такая ошибка.

нужно везде \ заменить на \\