При динамическом изменении страницы, как себя ведёт puppeteer, видит эти изменения или нет? Не могу отловить текст сообщения, который появляется динамически на странице. Локально сохраняю страницу с этим сообщением, всё хорошо отрабатывает, а как вживую, то никак.

мне помог waitFor....

и далее нужный селектор или xpath

``` const maybeGetXpathElements = async (page) => { const xPaths = [await page.$x('someXpath'), await page.$x('someXpath2')]; const filteredXPaths = xPaths.filter((x) => x); const xPathsLength = xPaths.length; const filteredXpathsLength = filteredXPaths.length; if (xPathsLength == filteredXpathsLength) { return filteredXPaths; } else { await delay(1500); return await maybeGetXpathElements(page); } }; ```

спасибо, работает !

При динамическом изменении страницы, как себя ведёт puppeteer, видит эти изменения или нет? Не могу отловить текст сообщения, который появляется динамически на странице. Локально сохраняю страницу с этим сообщением, всё хорошо отрабатывает, а как вживую, то никак.

Когда waitFor не срабатывает или ожидание бывает долгим, я использую такой костыль while (true) { await page.waitForTimeout(1000); const selector = '.blabla'; let element = await page.$(selector); // let elements = await page.$$(selector); if (element) { // .................... break; } }

Когда waitFor не срабатывает или ожидание бывает долгим, я использую такой костыль while (true) { await page.waitForTimeout(1000); const selector = '.blabla'; let element = await page.$(selector); // let elements = await page.$$(selector); if (element) { // .................... break; } }

Мне больше рекурсией нравится ее можно в отдельную функцию вынести и await будет работать

А так да такие функции лучше чем waitFor работают с ними можно больше сценариев проработать

Например когда я не знаю в какой момент появится определённый инпут можно сделать рекурсию типо waitAndType И в самом начале основного пайпа запустить ее без await Получается когда инпут обнаружится, то он заполнится параллельно, а пайп без прерываний будет исполнен.

Когда waitFor не срабатывает или ожидание бывает долгим, я использую такой костыль while (true) { await page.waitForTimeout(1000); const selector = '.blabla'; let element = await page.$(selector); // let elements = await page.$$(selector); if (element) { // .................... break; } }

И всё это обернуть в try, иначе ошибка будет вылетать?

А в чем проблема использовать waitForSelector?

Таймауты всегда можно вставить какие нужно

Например когда я не знаю в какой момент появится определённый инпут можно сделать рекурсию типо waitAndType И в самом начале основного пайпа запустить ее без await Получается когда инпут обнаружится, то он заполнится параллельно, а пайп без прерываний будет исполнен.

Можно, какой-нибудь пример?

Стоит обработчик нажатия кнопки ОК на всплывающем диалоговом окне, если окно не появилось, то почему-то puppeteer перестаёт видеть страницу, что делать? Попробовал обработчик положить в try, не помогает. page.on('dialog', async dialog => { await dialog.accept(); });

Можно, какой-нибудь пример?

попозже постараюсь не забыть)

как можно держать несколько вкладок открытыми и отслеживать изменения в них? есть ли способ помимо https://github.com/thomasdondorf/puppeteer-cluster ?

как можно держать несколько вкладок открытыми и отслеживать изменения в них? есть ли способ помимо https://github.com/thomasdondorf/puppeteer-cluster ?

Что значит, отслеживать изменения ? page.on ?

Что значит, отслеживать изменения ? page.on ?

да я сейчас просто держу ее открытой и в цикле прогоняю поиск нужных селекторов. Как только появляется нужный элемент, далее выполняется другая функция

и таких страничек нужно держать открытыми 13 шт

Понятно. Ну пул воркеров нужно сделать. Я писал недавно кустарный, но он для браузеров. В принципе можно легко под страницы переписать. Попозже покажу

Только если на одной странице что-то упадёт то все упадёт

Точнее если браузер

Упадёт то все упадут страницы

ну оно понятно, ок

а как можно все воркеры в ноде посмотреть?

const maxConcurrency = 4; let currentConcurrency = 0; const sendJob2Worker = async () => { try { await backpressure(); const browser = await openConection(); if (browser) { worker(browser); } else { await jobEndUpdateState(); } } catch (e) { console.log(e); await jobEndUpdateState(); } }; const backpressure = async () => { await delay(550, 750); if (currentConcurrency >= maxConcurrency) { return await backpressure(); } currentConcurrency = currentConcurrency + 1; return console.log('Ready to run job'); }; const worker = async (browser) => { try { await jobPipeline(browser); // YOUR JOB CODE IS HERE await browser.close(); console.log('job ended, browser closed'); await jobEndUpdateState(); } catch (e) { console.log(e); await jobEndUpdateState(); if (browser) { await browser.close(); } } }; const openConection = async () => { try { const browser = await puppeteer.launch(); await delay(2500, 5000); return browser } catch (e) { console.log(e); await jobEndUpdateState(); } }; const jobEndUpdateState = async () => { currentConcurrency = currentConcurrency - 1; };

а как можно все воркеры в ноде посмотреть?

я как-то воркеров базовых в ноде не понял. А пула нормального тоже не нашел, все не так работает, либо есть одна функция но нету другой. вообщем я как выше написал нормально работает

тебе только нужно браузер на Page заменить, а сам браузер передать уже наверное как папараметр в sendJob2Worker(browser)

Господа привет, я новичок в автоматизации, есть такой вопрос. Есть ли смысл использовать антидетект браузеры с puppeteer типо ads power или dolphin anty , они настраивают отпечатки браузера к каждому профилю. Можно ли реализовать это на голом puppeteer?

https://github.com/berstend/puppeteer-extra/tree/master/packages%2Fpuppeteer-extra-plugin-stealth

Решение немного устарело, но есть над чем работать.

Всем привет.

Здесь у нас Shadow DOM. row получаю: const { QueryHandler } = require("query-selector-shadow-dom/plugins/puppeteer"); await puppeteer.registerCustomQueryHandler('shadow', QueryHandler); const selectorRows = "shadow/#_root #_grid .row" const rows = await page.$$(selectorRows); console.log(rows.length); Вопрос - как получить в строке shadow элементы, вернее сказать shadow значения?

https://github.com/berstend/puppeteer-extra/tree/master/packages%2Fpuppeteer-extra-plugin-stealth

Он у меня уже стоит, его достаточно? Я думал он просто убирает флаг headless)

Господа привет, я новичок в автоматизации, есть такой вопрос. Есть ли смысл использовать антидетект браузеры с puppeteer типо ads power или dolphin anty , они настраивают отпечатки браузера к каждому профилю. Можно ли реализовать это на голом puppeteer?

Если нужен хороший антидеьект то да.

Он у меня уже стоит, его достаточно? Я думал он просто убирает флаг headless)

Не хватит его если антидеьект стоит на сайте, будут палить тебя

Он просто не спалит что ты не бот возможно

Он просто не спалит что ты не бот возможно

Ну кароче, он не спалит что я безголовый хром но всё ровно будет видеть что браузер один и тот же? А можно ли как то редактировать fingerprint? Или лучше просто платить за антидетект браузер?

Ну кароче, он не спалит что я безголовый хром но всё ровно будет видеть что браузер один и тот же? А можно ли как то редактировать fingerprint? Или лучше просто платить за антидетект браузер?

Готовых бесплатных решений нету. Если не знаешь как менять фингерпринг то лучше купить платное решение, так как задача достаточно сложная.

Ну кароче, он не спалит что я безголовый хром но всё ровно будет видеть что браузер один и тот же? А можно ли как то редактировать fingerprint? Или лучше просто платить за антидетект браузер?

да будет браузер палить что тот-же и отправит тебе или подтверждение телефона или документов.

ну это если регистрация на сайте нужна))

если без регистарции что-то покравлить тебе нужно, то там стелса должно хватить. Вообще чекни в начале со стелс плагином, если тебя палят и банят, то нужно менять отпечаток.

Хорошо спасибо) очень рад что нашёл этот чат)

Ну кароче, он не спалит что я безголовый хром но всё ровно будет видеть что браузер один и тот же? А можно ли как то редактировать fingerprint? Или лучше просто платить за антидетект браузер?

смотри в сторону puppeteer-extra-plugin-stealth

поверх можно лепить костыли меняющие общий фингерпринт

подход к сайтам обычно индивидуальный, нужно разбирать дебагером и смотреть что он использует

Хорошо спасибо) очень рад что нашёл этот чат)

я тоже)

поверх можно лепить костыли меняющие общий фингерпринт

есть пример?

есть пример?

Разколупай плагины которые меняют фингерпринты, там есть примеры

Правда лучше заранее попробовать разные самому, на конкретном сайте, а потом думать чо делатб

Здравствуйте, как дождатьтся пока h тег с классом example появится на странице? <h class="example">

Появится буквально или станет видимый?

Появится буквально или станет видимый?

буквально

но реализация с видимым тоже интересна

https://pptr.dev/#?product=Puppeteer&version=v14.3.0&show=api-pagewaitforselectorselector-options

await page.waitForSelector('h .example')

await page.waitForSelector('h .example', { visible: true })

спасибо большое, сейчас попробую

А в puppeteer есть двигать мышь над элементом?

await page.waitForSelector('h .example', { visible: true })

: Callback must be a function. Received undefined капец.

: Callback must be a function. Received undefined капец.

это где

А в puppeteer есть двигать мышь над элементом?

есть, но мышь вроде работает исключительно в режиме с окном если не ошибаюсь

есть, но мышь вроде работает исключительно в режиме с окном если не ошибаюсь

Окно открыто

Ну там есть методы для мышки, по кординатам

Есть ghost cursor ещё либа

А вообще в интернете вагон и тележка примеров))

это где

а, это мой косяк

как дождаться клика на кнопку и окончание загрузки страницы?

Ну там есть методы для мышки, по кординатам

Координаты есть а вот именно по элементам не нашёл

Есть ghost cursor ещё либа

Пробовал не увидел курсор хотя в примере четко видно как двигается мышь

Пробовал не увидел курсор хотя в примере четко видно как двигается мышь

Я точно не помню как, но там есть в issue вроде то как сделать его видимым

Но если ты его не видишь это не значит что его нету

Я точно не помню как, но там есть в issue вроде то как сделать его видимым

Спасибо посмотрю

Но если ты его не видишь это не значит что его нету

+

как сделать триггер из девтулса на ноду?

ну, типа вызывать функцию в девтулсе хромиума и попыт начинает что-то делать

Координаты есть а вот именно по элементам не нашёл

Там есть способ получить координаты элемента и отсчитать