Селектор в коде имею ввиду выглядит как

Выше файл site.txt прикреплён. const selector = 'ng-select#location'; await page.waitForSelector(selector, { visible: true, timeout: 5000 }); await page.evaluate(selector => { document.querySelector(selector).scrollIntoView({ behavior: 'smooth', block: 'center' }); }, selector);

Подскажите, как раскрыть поле "Select a location" (часть кода в файле)? Простыми способами самого puppeteer не работает. Если просто мышкой в браузере самому нажать, то открывается список, а если нажать page.click(selector), ошибка. Пробовал по координатам мышкой нажать, тоже не работает: const element = await page.$(selector); const box = await element.boundingBox(); await page.mouse.click(box.x + box.width / 2, box.y + box.height / 2);

А какого типа поле? может проще туда передать значение через value ?

А какого типа поле? может проще туда передать значение через value ?

Динамически подгружаются элементы после нажатия, а вот нажать не соображу как.

А если через locator попробовать?

Через locator нажимается, спасибо! Буду дальше разбираться. await page.locator(selector).click();

емае

вы меня конечно извините, но тут человеку протезировать зубы как слиток золотой, а вы еще мишане) мишаня может и без зубов обойдется )

скамер

на прошлую работу как то приносили ворону для сканирования ноги, чтоб ей протез сделать хотелось сказать что лучше бы они ее грохнули) чтоб она не мучалась

кто пробовал отключать на лету directx/blink модуль в браузере для остановки отрисовки ?

кто пробовал отключать на лету directx/blink модуль в браузере для остановки отрисовки ?

> отключать blink Как ты представляешь себе отключение важнейшего модуля, который строит DOM-дерево, рассчитывает стили, встраивает движок V8 для выполнения JS и т.д.? > для остановки отрисовки Отрисовка это не просто отображение в виде пикселей, отрисовка это в том числе построение DOM, вычисление перекрытий, смешивание цветов (прозрачность и т.п.).

кто пробовал отключать на лету directx/blink модуль в браузере для остановки отрисовки ?

Ну и самый главный вопрос - зачем ты это хочешь сделать? Если это попытка сэкономить ресурсы, то не получится. Финальная растеризация (перевод изображения, описанного векторным форматом в пиксели) не так чтобы много ресурсов съедаеи. А построение того самого DOM необходимо, чтобы корректно отрабатывали в том числе скрипты, потому что они могут быть завязаны на перекрытие/скрытие/прокрутку/состояние элементов.

Подскажите, почему вылетает puppeteer если не получает ответ XHR, хотя в try catch? throw new Errors_js_1.TimeoutError(`Timed out after waiting ${ms}ms`, { cause }) TimeoutError: Timed out after waiting 30000ms [cause]: undefined Node.js v22.14.0 Дополнено: Дополнено позже: помогло добавления глобального обработчика ошибок: process.on('unhandledRejection', (reason) => { if (reason.message.includes('waitForResponse')) { console.log('Ожидание XHR было прервано'); } });

Подскажите, почему вылетает puppeteer если не получает ответ XHR, хотя в try catch? throw new Errors_js_1.TimeoutError(`Timed out after waiting ${ms}ms`, { cause }) TimeoutError: Timed out after waiting 30000ms [cause]: undefined Node.js v22.14.0 Дополнено: Дополнено позже: помогло добавления глобального обработчика ошибок: process.on('unhandledRejection', (reason) => { if (reason.message.includes('waitForResponse')) { console.log('Ожидание XHR было прервано'); } });

Не нужно глобальный перехватчик ошибок использовать, ты всё равно теряешь control flow. Нужно искать где ты промис не дождался. Ты уверен что ошибка в этом участке происходит? У тебя тут два промиса и оба ты ждёшь через await. Покажи стэктрейс с номерами строк и полным текстом ошибки.

Hey who has 403 cf issue? I have a solution

Ну и самый главный вопрос - зачем ты это хочешь сделать? Если это попытка сэкономить ресурсы, то не получится. Финальная растеризация (перевод изображения, описанного векторным форматом в пиксели) не так чтобы много ресурсов съедаеи. А построение того самого DOM необходимо, чтобы корректно отрабатывали в том числе скрипты, потому что они могут быть завязаны на перекрытие/скрытие/прокрутку/состояние элементов.

Мне казалось всегда, что v8 движок собирает дом дерево. И уже затем отправляет все на прорисовку в видео ядро браузера. Не изучал глубоко вопрос, но целью как раз задавался экономией ресурсов.

Вопрос тогда в том, что финальная картинка все ещё занимает видеопамять, и как раз эта особенность меня сильно смущает. Не столь много процессорных ресурсов жрется, сколько памяти видеокарты.

Dom - это всего лишь репрезентация js объекта. Как конкретно построение желаемый картинки происходит - не знаю. Все что описано в сообщениях выше с перекрытиям, смешкниванием цветов - это как раз оч лишняя вещь для меня, которая кушает ресурсы

Сколько читал, везде blink ассоциировался с построением графики только. В любом случае там участвует directx, которое уже инструкции в себя принимает для видюхи. Отключив его, можно попробовать добиться отключение картинки. Или хотя бы зависание статическое.

Вопрос тогда в том, что финальная картинка все ещё занимает видеопамять, и как раз эта особенность меня сильно смущает. Не столь много процессорных ресурсов жрется, сколько памяти видеокарты.

а откуда ее должно рисовать?

откуда композитор окон и прочего должен взять картинку и как собрать и куда еще потом ее поместить чтобы вывести ее тебе?

а откуда ее должно рисовать?

Так я наоборот не хочу, чтобы картинка вообще как-либо рисовалась

парни а кто через cdp работает не случалось такое что внезапно вебсокет переставал отвечать на запросы? А потом сам так же начинал отвечать нормально. Хотя если параллельно законнектиться руками то все нормально

это не сразу, а типа если 1-2 дня постоит софт то замечаю такое. в 1 поток работа идет

нужно например заново на страницу перезайти или что-то еще сделать и внезапно начинается что таймаут получения ответа от вебсокета

Dom - это всего лишь репрезентация js объекта. Как конкретно построение желаемый картинки происходит - не знаю. Все что описано в сообщениях выше с перекрытиям, смешкниванием цветов - это как раз оч лишняя вещь для меня, которая кушает ресурсы

DOM - это просто объекты с параметрами, которые представляют HTML-разметку. Есть ещё CSSOM. А всё это вместе формирует Render Tree. Т.е. в самом этом дереве есть описание объектов и их параметров. Но там нет "геометрии" и перекрытий. Для этого есть этап Layout: - Определение координат (x, y, w, h) - Вычисление позиций и размеров элементов (пиксели) Потом идёт этап Compositing (разбиение на слои и оптимизация перерисовок/перерасчётов). Ещё какие-то там этапы есть. И только потом происходит растеризация - преобразование векторных команд в пиксели (может выполняться на GPU или CPU). Я не знаю какой процент он занимает от общего пайплайна, но не думаю что сильно много, особенно если есть GPU. А вот расчёты выполняются только на CPU и нет возможности их никак пропустить. Ведь не зная какой элемент над каким находится, виден ли он, находится ли он во вьюхе и т.д. не получится понять над каким элементом вызывать событие наведения курсора, к примеру, не понятно так же что делать когда пользователь делает клик (куда именно? какой элемент в данный момент выше), или прокрутку (что крутим - таблицу, блок, страницу и т.д.).

Но по хорошему конечно же лучше сделать замеры сколько уходит на каждый этап, отрисовка на GPU и CPU.

Сколько читал, везде blink ассоциировался с построением графики только. В любом случае там участвует directx, которое уже инструкции в себя принимает для видюхи. Отключив его, можно попробовать добиться отключение картинки. Или хотя бы зависание статическое.

Не, Blink отвечает за всё вышеперечисленное.

https://www.youtube.com/watch?v=K2QHdgAKP-s

Добрый день! Кто-нибудь сталкивался в Puppeteer с проблемой out of memory, раньше при том же функционале бота все работало замечательно, сейчас возникают утечки памяти. Не знаю что делать, может кто сталкивался в последнее время? использую node.js + puppeteer + chromium

Добрый день! Кто-нибудь сталкивался в Puppeteer с проблемой out of memory, раньше при том же функционале бота все работало замечательно, сейчас возникают утечки памяти. Не знаю что делать, может кто сталкивался в последнее время? использую node.js + puppeteer + chromium

Делай снапшот и ковыряй

Делай снапшот и ковыряй

снапшот в смысле сохранять скрин и html разметку? а можно ли как-то сохранять еще и данные по памяти, которые видны в девтулс?

снапшот в смысле сохранять скрин и html разметку? а можно ли как-то сохранять еще и данные по памяти, которые видны в девтулс?

Снимок памяти nodejs процесса через remote devtools protocol

Добрый день! Кто-нибудь сталкивался в Puppeteer с проблемой out of memory, раньше при том же функционале бота все работало замечательно, сейчас возникают утечки памяти. Не знаю что делать, может кто сталкивался в последнее время? использую node.js + puppeteer + chromium

Самый быстрый вариант - чекпоинты... у тебя там либо циклы, либо открытия вкладок / браузеров / страниц... в первую очередь проверяй-отключай циклы.... если OOM исчезает - копай внутри цикла уже... может что не закрываешь, может exception какой-то есть и после него page / context / browser не закрывается и создаётся новый

Всем привет, подскажите, кто-нибудь сталкивался с капчей от vercel, которая требует решать задачу? Проблема в том, что токен я получаю, но запросы всё равно не проходят.

Всем привет, подскажите, кто-нибудь сталкивался с капчей от vercel, которая требует решать задачу? Проблема в том, что токен я получаю, но запросы всё равно не проходят.

what captcha is this? im expert i have solutions for captchas. please dm

а кто-нибудь знает как occlusion в хроме отключить? флаги пробовал но не помогают

если хром свернут то запросы к нему через cdp очень туго обрабатываются

@all Всем привет) Есть вопрос - кто-то уже нашёл актуальное решение для cloudflare капчи?) У меня в infinite loop уходит и не пускает)

если хром свернут то запросы к нему через cdp очень туго обрабатываются

та же фигня Решил вопрос безголовым режимом (headless: 'new')

Только так

та же фигня Решил вопрос безголовым режимом (headless: 'new')

ну хедлесс палится же наверное

Если в видимом режиме запускать хром, то в любом случае при сворачивании будет зависать)

ну хедлесс палится же наверное

Headless: new норм работает)

У меня даже в видимом режиме больше проблем было, чем в безголовом)

а как его включать?

Если в видимом режиме запускать хром, то в любом случае при сворачивании будет зависать)

А зачем сворачивать? В идеале всё должно работать так как у реального юзера.

headless: "new" и флаг '--no-sandbox' нужно добавить в args

А зачем сворачивать? В идеале всё должно работать так как у реального юзера.

Это вопрос про то, вдруг кто-то хочет в видимом режиме запустить и свернуть, своими делами дальше заниматься)

У кого-то может не быть сервера и он тупо у себя на компе запускает на фоне

В видимом режиме всё резаться будет, хз как это работает

Типа фокус терятся что ли

Это вопрос про то, вдруг кто-то хочет в видимом режиме запустить и свернуть, своими делами дальше заниматься)

Видел какое-то решение, там можно окно прозрачным и некликабельным сделать автоматически.

@all Всем привет) Есть вопрос - кто-то уже нашёл актуальное решение для cloudflare капчи?) У меня в infinite loop уходит и не пускает)

а с клаудфлейром проблема на пупетире?

Но у меня винды нет, так что не знаю как.

Я пробовал, не помогло) При сворачивании скрипт будто просто вставал на месте и ждал, пока фокус в окно заново сделаешь И отвал по таймауту дальше

у меня на CDP на моем компе все решается на ура

а на сервере нет

а с клаудфлейром проблема на пупетире?

Да)

хз в чем дело

может кто-нибудь знающий подскажет

а на сервере нет

На серваках была такая беда

На серваках была такая беда

у меня тож было сначала на винсерв 2019

Я на винде в итоге брал сервак с видеокартой, выделенный сервак Работало)

потом взял на вин10 сервак

и все равно

На линкусе почему-то не всегда отрабатывает в безголовом, если говорить про работу по ssh

Я на винде в итоге брал сервак с видеокартой, выделенный сервак Работало)

ну может и в ней дело конечно, но если через винапи кликать или руками то все кликается и решается нормально

Интересно

а цдпшный клик почему-то палится именно на сервере

ну может и в ней дело конечно, но если через винапи кликать или руками то все кликается и решается нормально

У вас клауд проходится в данный момент через puppeteer?

У меня беда с этим, а надо задачу решать срочно

нет же, говорю же я через CDP

100 из 100 не проходит

нет же, говорю же я через CDP

Понял

а цдпшный клик почему-то палится именно на сервере

Почему думаешь что именно клик? Может просто видят что твой IP серверный?

и у меня на моем компе все супер а на серваке нет

Почему думаешь что именно клик? Может просто видят что твой IP серверный?

тогда бы настоящий клик не решал бы

а он решает

если кликнуть руками все норм

Почему думаешь что именно клик? Может просто видят что твой IP серверный?

Я пробовал полную эмуляцию всего под Турцию с качественными прокси даже То же самое)