что сегодня легче использовать puppeteer или playwright, и что проще настроить, чтоб максимально можно было скрыть браузер.

у puppeteer использую `import StealthPlugin from 'puppeteer-extra-plugin-stealth'`

что сегодня легче использовать puppeteer или playwright, и что проще настроить, чтоб максимально можно было скрыть браузер.

маскимально скрыть это apify + puppeteer stealth plugin

все остальное палиться

а зачем apify?

а зачем apify?

у него спец мод stealth

он закрывает дыры puppeteer stealth

можно подробнее про apify? это сервис или либка

либа

для nodejs / typescript

то что мне и нужно

она может легко скейлиться

а как понять скелиться? у меня в докер контейнере все

а для чего тебе если не секрет?

а как понять скелиться? у меня в докер контейнере все

ну можно и без докера) иногда докер не подходит

мне докер окей - самое то, отлично с ним

нашел сайт https://apify.com

apify какая-то обертка над - PlaywrightCrawler or PuppeteerCrawler

PuppeteerCrawler тебе этот нужег

я ток ток доку открыл

версию puppeteer 8.0.0? или 5 лучше

еще что лучше юзать chrome или firefox? читал что некоторые больше за firefox - меньше палиться.

у него спец мод stealth

о, это интересно. Лучше stealth plugin?

они вместе должны юзаться

иначе

палиться

ну у меня сейчас плагин + пару своих функций и норм.

но вдруг начнут банить, не помешает что то еще

Se не пойму как в "apify", просто открыть пустой там в браузере и перейти на страницу например google.com, требует "options.requestList" and "options.requestQueue", но мне ни то ни другое не нужно, так как у меня работа происходит ровно только с одной страницей.

ну у меня сейчас плагин + пару своих функций и норм.

Stealth puppeteer ?

Se не пойму как в "apify", просто открыть пустой там в браузере и перейти на страницу например google.com, требует "options.requestList" and "options.requestQueue", но мне ни то ни другое не нужно, так как у меня работа происходит ровно только с одной страницей.

Да не тебе тем надо взять puppeteer crawler и сделать page

И юзать как обычный puppeteer

я и пытаюсь, но пока не очень понимаю

Stealth puppeteer ?

да

пример бы бейсик для нуба, в интернете смотрю все не то

нужен ли мне вообще Apify.main(() => {

нужен ли мне вообще Apify.main(() => {

Да

Сейчас прими скинуть не могу

(

```Apify.main(async () => { console.log('Launching Puppeteer...') const browser = await Apify.launchPuppeteer() const page = await browser.newPage() await page.goto('https://youtube.com') // Wait 30s to see Chromium works 🙂 await new Promise((resolve) => setTimeout(resolve, 30000)) await browser.close() })```

такое нашлеось Se

мне не нравятся warnings - которые вылетают, когда запускаю, тоже пытался решить проблему: console.warn WARN Neither APIFY_LOCAL_STORAGE_DIR nor APIFY_TOKEN environment variable is set, defaulting to APIFY_LOCAL_STORAGE_DIR="/Users/sander/Projects/test/apify_storage" 23 | // await crawler.run() 24 | > 25 | Apify.main(async () => { | ^ 26 | console.log('Launching Puppeteer...') 27 | const browser = await Apify.launchPuppeteer() 28 |

А зачем crawler run?

Он не нужен

```Apify.main(async () => { console.log('Launching Puppeteer...') const browser = await Apify.launchPuppeteer() const page = await browser.newPage() await page.goto('https://youtube.com') // Wait 30s to see Chromium works 🙂 await new Promise((resolve) => setTimeout(resolve, 30000)) await browser.close() })```

Это да

А зачем crawler run?

это закоменченный кусок кода

мне не нравятся warnings - которые вылетают, когда запускаю, тоже пытался решить проблему: console.warn WARN Neither APIFY_LOCAL_STORAGE_DIR nor APIFY_TOKEN environment variable is set, defaulting to APIFY_LOCAL_STORAGE_DIR="/Users/sander/Projects/test/apify_storage" 23 | // await crawler.run() 24 | > 25 | Apify.main(async () => { | ^ 26 | console.log('Launching Puppeteer...') 27 | const browser = await Apify.launchPuppeteer() 28 |

проблема в этом предупреждении что он хочет от меня

Хмм что-то с хранилищем

https://sdk.apify.com/docs/guides/environment-variables

какой-то доступ к какому-то APIFY аккаунту, зачем?

В облаке можно гонять парсинг, использовать их прокси и облачное хранение данных. Забей, это второй режим работы, хочешь убрать warning - укажи явно APIFY_LOCAL_STORAGE_DIR

мне не нравятся warnings - которые вылетают, когда запускаю, тоже пытался решить проблему: console.warn WARN Neither APIFY_LOCAL_STORAGE_DIR nor APIFY_TOKEN environment variable is set, defaulting to APIFY_LOCAL_STORAGE_DIR="/Users/sander/Projects/test/apify_storage" 23 | // await crawler.run() 24 | > 25 | Apify.main(async () => { | ^ 26 | console.log('Launching Puppeteer...') 27 | const browser = await Apify.launchPuppeteer() 28 |

ну или не указывай, он тебе написал где будет хранить данные

мне интересно а платформа облыаная apify на сколько удобна, я без нее делаю и имеет ли смысл

вот изучаю

там норм расценки

ага

у тебя же задача была другая. Все, что у них сделано по антидетекту лежит в этих двух файлах, если кодер можно оттуда просто украсть. Ну или как подсказывают выше используй их код для запуска puppeteer

по сути весь список, что именно они делают

спасибаа ребята убрал ошибка

у тебя же задача была другая. Все, что у них сделано по антидетекту лежит в этих двух файлах, если кодер можно оттуда просто украсть. Ну или как подсказывают выше используй их код для запуска puppeteer

это что total commander и windows?

ну да

hello, good someone who can give me some user-agent that works for puppeteer-extra-plugin-stealth

вот без

Не могли бы вы передать мне этот пользовательский агент, пожалуйста

Не могли бы вы передать мне этот пользовательский агент, пожалуйста

я его не менял. Стандартный из плагина. Уже даже устаревший

через apify, как можно эти параметры добавить в настройки? ``` devtools: false, defaultViewport: { width: 1920, height: 1080 }, ignoreHTTPSErrors: true, slowMo: 30, ```

``` export function launchPuppeteer(launchContext?: PuppeteerLaunchContext | undefined): Promise<any>; ``` с типами у apify не ясно, просто any как пользоваться этим не понятно, если типы не указаны.

Народ. А возможно использовать 2 прокси? Прокси А для работы со всеми ресурсами а прокси Б только для работы с 1 источником запросов параллельно

Нужно уже чатик переименовать Poppeteer-proxy-ru. Тк через одно сообщение вопросы по ним:) А расскажите, пожалуйста, свои юзкейсы? Зачем вы используйте их в связке.

Просто в основном это проблема. А мобилки позволяют легко обходить бот детекты)

Народ. А возможно использовать 2 прокси? Прокси А для работы со всеми ресурсами а прокси Б только для работы с 1 источником запросов параллельно

Ты же можешь любой запрос перехватить, хоть каждый через свой прокси кидай, но уже ручками

ухх.. теперь apify проблема сбилдить с помощью webpack-а, когда просто puppeteer был - проблем не было.

сбилдить то сбилдит - а запускать программу уже не хочет

```Error [ERR_PACKAGE_PATH_NOT_EXPORTED]: Package subpath './underscore-min' is not defined by "exports" in /Users/sander/Projects/node_modules/underscore/package.json at throwExportsNotFound (internal/modules/esm/resolve.js:285:9) at packageExportsResolve (internal/modules/esm/resolve.js:491:3) at resolveExports (internal/modules/cjs/loader.js:444:36) at Function.Module._findPath (internal/modules/cjs/loader.js:484:31) at Function.Module._resolveFilename (internal/modules/cjs/loader.js:818:27) at Function.resolve (internal/modules/cjs/helpers.js:80:19) at Object.<anonymous> (/Users/sander/Projects/node_modules/apify/build/puppeteer_utils.js:15:32) at Module._compile (internal/modules/cjs/loader.js:1015:30)```

пробовал библиотеки более старую версию, вебпак - убрать все лишние настройки, скрипт только запускает лаунчер - ничего не помогает.

зачем его билдить вебпаком?

потому что других нормальных рещений нет - через tsc нормально не настроишь проект

у меня все билдится и работает, проблемы начанлись ток когда apify начал использовать

зачем вообще билдить?

а как мне настроить проект тогда - чтоб нормальные пути были в проекте, настройка алиасов и так далее, все это через tsc через костыли делается