а я в ссылку в с прокси вставлял

Можно и так, если это http. Обычно у прокси-провайдера есть варианты, использовать socks или http.

там надо await page.authenticate

С этим могут быть проблемы, например при автоматическом открытии окон. Ведь переход будет осуществлён до того как ты применишь это к новой странице. Или при перехвате запросов. Но я не знаю, можен он под капотом сам это всё делает.

тень а есть же библиотека какя-нибуть чтоб рандомные юзер агенты генерировать?

Зачем для этого библиотека? Просто из массива выбирай случайный элемент.

А зачем тебе разные UA?

Например так можно: await page.waitForSelector("//div[starts-with(@id, 'start-ads-')]/span[2]");

const btn = await page[r].waitForXPath("//div[starts-with(@id, 'start-ads-')]/span[2]"); console.log(btn == null); // Делаешь клик и ждёшь открытия новой страницы const [popup] = await Promise.all([ new Promise(resolve => page[r].once('popup', resolve)), btn.click(), await page[r].waitFor(200), btn.click(), ]); console.log(popup == null); // Работа с открытой страницей await popup.waitForXPath("//div[starts-with(@id, 'start-ads-')]/span[2]"); await popup.waitFor(2000); for (const frameLvl1 of popup.frames()) { for (const frame of frameLvl1.childFrames()) { if (!frame.url().startsWith("https://www.youtube.com")) { continue; } const playBtn = await frame.waitForXPath("//button[contains(@class, 'ytp-large-play-button')]", { timeout: 3000 }); await playBtn.click(); } } console.log("!"); await popup.waitFor(12000);

const btn = await page[r].waitForXPath("//div[starts-with(@id, 'start-ads-')]/span[2]"); btn.click(), await popup.waitForXPath("//div[starts-with(@id, 'start-ads-')]/span[2]"); // Делаешь клик и ждёшь открытия новой страницы const [popup] = await Promise.all([ new Promise(resolve => page[r].once('popup', resolve)), btn.click(), ]); // Работа с открытой страницей await popup.waitFor(2000);

А чего тогда ждать?

// Нашли первую кнопку const btn = await page[r].waitForXPath("<SELECTOR_BTN1>"); // Нажали на неё await btn.click(); // Нашли вторую кнопку const btn2 = await page[r].waitForXPath("<SELECTOR_BTN2>"); // Делаем клик и ждём открытия новой страницы const [popup] = await Promise.all([ new Promise(resolve => page[r].once('popup', resolve)), btn2.click(), ]); // Работа с открытой страницей // await popup...

Но ай ди же не понятно брать от куда

const btn2 = await page[r].waitForXPath("//span[#ads-lk-(@id, 'span.go-link-youtube')]/span[2]");

Не знаю, проверь где ты это делаешь. Но мне кажется это невалидный xpath.

// Нашли первую кнопку const btn = await page[r].waitForXPath("<SELECTOR_BTN1>"); // Нажали на неё await btn.click(); // Нашли вторую кнопку const btn2 = await page[r].waitForXPath("<SELECTOR_BTN2>"); // Делаем клик и ждём открытия новой страницы const [popup] = await Promise.all([ new Promise(resolve => page[r].once('popup', resolve)), btn2.click(), ]); // Работа с открытой страницей // await popup...

const playBtn = await frame.waitForXPath("//button[contains(@class, 'ytp-large-play-button')]", { timeout: 3000 }); await playBtn.click();

приходиться писать Xvfb -ac :99 -screen 0 1280x1024x16 & export DISPLAY=:99

Что значит "слетает"? Пробовали запускать c headless: true, чтобы не нужен был xfvb?

А мне нужно false

Добрый день! Кто-нибудь сталкивался с проблемой: 1) Открывается браузер и начинает парсинг. 2) После открытия первого, открывается второй независимый браузер и начинает парсинг того же сайта. 3) Первый браузер завершает работу успешно, а у второго просто не загружается html. *При этом, если запустить процессы буквально одновременно, оба завершают парсинг успешно*

Не знаю, проверь где ты это делаешь. Но мне кажется это невалидный xpath.

Селектор

Ну ищи по #ads-lk-

Ну ищи по #ads-lk-

А как сделать так, чтобы оно находило все такие кнопки, а не только ту, в которой id = ads-lk-206793?

Например так можно: await page.waitForSelector("//div[starts-with(@id, 'start-ads-')]/span[2]");

Добрый день! Кто-нибудь сталкивался с проблемой: 1) Открывается браузер и начинает парсинг. 2) После открытия первого, открывается второй независимый браузер и начинает парсинг того же сайта. 3) Первый браузер завершает работу успешно, а у второго просто не загружается html. *При этом, если запустить процессы буквально одновременно, оба завершают парсинг успешно*

приходиться писать Xvfb -ac :99 -screen 0 1280x1024x16 & export DISPLAY=:99

Есть такой вопрос. Мне нужно получить значение ячейки <td style="width: 50px; padding: 0 20px 0 15px;"><span class="timer notranslate" id="tmr">10</span></td> в числовом виде. Делаю я это вот так вот: text = document.querySelector('timer notranslate > span').textContent; но что то не фурычит. Вот код элемента: <tr> <td height="84"> <table class="frame_table" style=""> <tbody><tr id="timer-tr-block"> <td style="width: 50px; padding: 0 20px 0 15px;"><span class="timer notranslate" id="tmr">10</span></td> <td style="width: 100%; padding: 0 20px 0 0;" align="left"> <span style="font-size: 16px; color:#FFFFFF; text-shadow: 0 1px 0 rgba(0, 0, 0, 0.9);">Пожалуйста, ждите окончания отсчета таймера</span> <div class="text-time"></div> <br> <div> Описание: Посмотреть видео<br> Ссылка на видео: <a href="/go/no_referer.php?go_url=https://www.youtube.com/watch?v=dqtTa95xo7Q" target="_blank">https://www.youtube.com/watch?v=dqtTa95xo7Q</a> </div> </td> </tr> <tr id="capcha-tr-block" style="display:none; width: 100%"> <td> <input name="hash" id="hash" type="hidden" value="820dbec142eeec2ed7ce58c2d722d8b9"> <input name="report_id" id="report_id" type="hidden" value="331619453"> <input name="timer" id="timer" type="hidden" value="10"> <input name="type_ads" id="type_ads" type="hidden" value="constructor"> </td> <td style="width: 100%; padding: 0 20px 0 15px;" align="left" id="succes-error"> </td> </tr> </tbody></table> </td> </tr>

Не понятно что значит слетает. Если ты про export DISPLAY=:99, то можешь прописать его в ~/.bashrc.

document.querySelector('.timer.notranslate').textContent

А где именно его вписать