Нашел stealth plugin, помогло

он хороший очень кстати

ребят, у кого ни будь есть актуальные данные сколько один браузер (одна вкладка) запущенная в headless на 30 секунд ест ОЗУ?

ребят, у кого ни будь есть актуальные данные сколько один браузер (одна вкладка) запущенная в headless на 30 секунд ест ОЗУ?

ну мб 15- 30 - 50

Смотря какой сайт

понятно, спасибо

там на фронте не тяжелый js

какой-то проприетарный фреймворк с SSR на java

Нашел stealth plugin, помогло

От клоудфаре помогает?

От клоудфаре помогает?

Не проверял

Пацаны, подскажите плииз

const text = await page.evaluate(() => document.querySelector('.sprite32 sprite32-theory').textContent); console.log(text);

у меня почему то не ищет по классу, при это класс есть. в чем может быть проблема

const text = await page.evaluate(() => document.querySelector('.sprite32 sprite32-theory').textContent); console.log(text);

sprite32-theory почему без точки? Или это веб компонент?

sprite32-theory почему без точки? Или это веб компонент?

это все одно название класса

это все одно название класса

Через точку перечисление и без пробела

это все одно название класса

это все это что? через пробел название класса?

это все это что? через пробел название класса?

Да

это все это что? через пробел название класса?

class="sprite32 sprite32-theory"

class="sprite32 sprite32-theory"

тогда селектор будет sprite32.sprite32-theory

class= это не название класса, а список классов через пробел.

тогда селектор будет sprite32.sprite32-theory

ошибка ушла, но теперь возвращает пустоту

ошибка ушла, но теперь возвращает пустоту

querySelector('[class="sprite32 sprite32-theory"]')

ооооо, спасибо всем, я понял свою ошибку

Вышел Pupeteer 3.0. Главные изменения: - основан на Chromium 81 - поддержка cкачивания бинарника Firefox Nightly - загрузка файлов стала работать надёжнее - прекращена поддержка Node.js 8 - кодовая база мигрирует на TypeScript - собственный test runner framework был заменён на Mocha https://github.com/puppeteer/puppeteer/releases/tag/v3.0.0

Новый puppeteer валится. У вас тоже?

Я только сейчас попробовал обновить, у меня запинена версия.

Второго разраба подключили от гугла, потихоньку начали разгребать issues

а я хотел бота своего переключить на 3 на firefox

походу рано

Похоже зависит от проекта, и даже от CI

а не, открыл Github Actions там тоже феил.

кек, false positive

а я хотел бота своего переключить на 3 на firefox

Можешь попробовать playwright, если проект не замороченный. https://github.com/microsoft/playwright

Можешь попробовать playwright, если проект не замороченный. https://github.com/microsoft/playwright

да не, там норм все, но было бы неплохо пдф вместо скриншотов делать, и смотреть видео. Но не обязательно.

можно подключить реальный хром, но хотелось бы чтоб папитир свой использовал. Хромиум не умеет в это, думаю что з firefox получится

Примеры: https://github.com/checkly/puppeteer-examples Recorder: https://github.com/checkly/puppeteer-recorder Owesome Puppeteer: https://github.com/transitive-bullshit/awesome-puppeteer/blob/master/readme.md Chrome CDP API: https://chromedevtools.github.io/devtools-protocol/ Playwright: https://github.com/microsoft/playwright

как заставить папитир firefox установить себе?

https://github.com/puppeteer/puppeteer/blob/master/examples/cross-browser.js

взял этот код, написал в консоль PUPPETEER_PRODUCT=firefox npm install, но не работает

а, все. Нужно удалить нод модули

Пацаны, а как получить доступ к iframe, который находится в iframe.

я вроде бы объявил первыый фрейм, пытаюсь объявить 2 фрейм, но чет не хочет он

const frame1 = await page.frames(); const tryItFrame1 = await frame1.find(f => f.url() === 'https://apps-583587699049242.apps.fbsbx.com/instant-bundle/2807803729278177/3611730432175412/index.html?version=142&gcgs=1&source=fbinstant-583587699049242&entry_point=www_app_bookmark&IsMobileWeb=0'); await tryItFrame1.waitForSelector('#game_iframe'); const frame2 = await tryItFrame1.frames();

точнее, он ругается, что нет функции frames() для фрейма, хотя мне кто-то говорил, что с frame надо работать как с page

Спасибо

Подскажите плииз, почему через раз выдает ошибку того, что frame не найден ?

console.log('Waiting for first frame'); page.waitForSelector('#quicksilver_player > div > div > iframe'); const frame1 = page.frames(); const tryItFrame1 = frame1.find(f => f.url() === 'https://apps-583587699049242.apps.fbsbx.com/instant-bundle/2807803729278177/3611730432175412/index.html?version=142&gcgs=1&source=fbinstant-583587699049242&entry_point=www_app_bookmark&IsMobileWeb=0'); console.log('First frame is found'); console.log('Waiting for second frame'); // tryItFrame1.waitForNavigation(); tryItFrame1.waitForSelector('#game_iframe'); const frame2 = tryItFrame1.childFrames(); const tryItFrame2 = frame2.find(f => f.id() === 'game_iframe'); console.log('Second frame is found'); tryItFrame2.click('#wnd_tt_warn_agree');

await tryItFrame1.waitForSelector...

я убрал асинхрон, почему он может позже появляеться

await tryItFrame1.waitForSelector...

у меня с await тоже самое было

я везде убрал await, page.waitForSelector('#quicksilver_player > div > div > iframe'); ждет фрейма, который присваивается к tryItFrame1

Сегодня вышел Node.js 14. На medium был опубликован пост с описанием основных изменений — "Node.js version 14 available now". Node.js 14 переходит на текущую ветку поддержки "Current", вытесняя оттуда Node.js 13. По плану через 6 месяцев (октябрь 2020) 14-ая версия перейдёт в фазу LTS. Node.js 12 будет поддерживаться до апреля 2022 года, Node.js 10 — до апреля 2021 года. В Node.js 14 стабилизирован Diagnostic Report. Это API позволяет получить много полезной информации для локализации утечек памяти, причин падений и проблем производительности. В канале было несколько постов про эту фичу, их можно почитать тут и тут. В новой версии доступен экспериментальный Async Local Storage API (есть бэкпорт для Node.js 13.10). Благодаря ему в Node.js появляется готовый инструмент для сохранения данных на время жизни http-запросов и любых других асинхронных процессов. Были сделаны мажорные исправления в Streams API для улучшения согласованности и устранения неоднозначности. Например, http.OutgoingMessage теперь подобен stream.Writable, а net.Socket ведёт себя точно также как stream.Duplex. Ещё одно заметное изменение — включение по умолчанию опции autoDestroy. Появилась экспериментальная поддержка Web Assembly System Interface (WASI), цель которого упростить работу с нативными модулями в Node.js. Про WASI также был пост в канале ранее, его можно найти тут. Движок V8 обновлён до v8.1. Новая версия приносит улучшения производительности и поддержку новых спецификаций: Optional Chaining, Nullish Coalescing, Intl.DisplayNames, Intl.DateTimeFormat ( calendar, numberingSystem ). В Node.js 13 ECMAScript modules стали доступны без явной передачи флага --experimental-modules. В 14-ой версии сделан следующий значимый шаг — убрано предупреждение при использовании ESM ExperimentalWarning: The ESM module loader is experimental. Тем не менее формально ESM остаётся экспериментальной фичей, поэтому в будущем могут быть мажорные изменения. #nodejs #release https://medium.com/@nodejs/node-js-version-14-available-now-8170d384567e

Добрый вечер. Подскажите пожалуйста, как сделать разрыв страницы в определенном месте? page-break-after: always; не работает...

Всем привет. Кто-нибудь сталкивался с такой проблемой, при использовании puppeteer-extra на macos: "Could not find browser revision 737027. Run "npm install" or "yarn install" to download a browser binary." ??? В проекте использовался puppeteer, потом возникла необходимость использовать плагины, для чего был установлен puppeteer-extra, но работать он не хочет. Пробовал удалять обычный puppeteer и оставлять только puppeteer-extra.

extra это расширение над puppeteer, без него он не работает

без чего?

puppeteer либо puppeteer-core

я так понял puppeteer-extra - это расширенная версия puppeteer

нет, это расширение уже установленного puppeteer

а, то есть для работы puppeteer-extra надо еще установить puppeteer-core?

для плагинов еще поставишь и puppeteer-extra-plugin

ты плагины то какие собираешься ставить?

это не браузерные плагины

это как бы расширения на уровне puppeteer

У меня был установлен puppeteer, потом я установил puppeteer-extra. Потом заменить require('puppeteer') на require('puppeteer-extra')

это как бы расширения на уровне puppeteer

да это понятно

просто вот тут написано, что надо просто установить puppeteer-extra и импорт обычного заменить на расширенный https://www.npmjs.com/package/puppeteer-extra

про core ничего там не нашел

Добрый вечер. Подскажите пожалуйста, как сделать разрыв страницы в определенном месте? page-break-after: always; не работает...

В общем проблема была в том, что контейнер был флексом, и потому в нем не работали разрывы.

puppeteer либо puppeteer-core

в итоге что надо устанавливать?

ты разницу между ними понимаешь?

я смысл вопроса не очень понимаю))

https://github.com/puppeteer/puppeteer/blob/master/docs/api.md#puppeteer-vs-puppeteer-core

расширенная версия для использования плагинов типа stealth и т.д

https://github.com/puppeteer/puppeteer/blob/master/docs/api.md#puppeteer-vs-puppeteer-core

так, и?

не расширенная версия, а расширение. Типа плагинной система для pupeeter

так, и?

че и) читай)

ру комьюнити)))))

домашку за тебя делать не будут)

ЕЩЕ РАЗ был установлен puppeteer, потом дополнительно был установлен puppeteer-extra, потом (как в нпм написано) импорт обычного был заменен на puppeteer-extra и в итоге НЕ РАБОТАЕТ. причем тут то, что ты скинул?))