Alex*
Сори, пока думала как бы компактнее показать код, перелопатили половину кода) будет смотреть, повторится ли ошибка. А пока такой вопрос, подскажите, есть ли какие-то курсы по папитиру? А то вообще ничего не могу нарыть полезного и познавательного.
Оптимален только хардкор - реальные задачи из жизни. Идете на какую нибудь биржу, ищите задачи на парсинг или тесты и пробуете выполнить. Сначала для себя, а позже и предложите как услугу. В процессе решения столкнетесь с проблемами, придется решать - вот это есть курс в условиях приближенных к боевым. )
Anna
Понятно, спасибо) ну да, трудновато, но я догадывалась, что так оно и будет 🙈
Alex*
Понятно, спасибо) ну да, трудновато, но я догадывалась, что так оно и будет 🙈
вот сюда загляните: https://github.com/transitive-bullshit/awesome-puppeteer/blob/master/readme.md
Alex*
Много примеров.
Anna
Спасибо!👍
Eugene
Ребят, кто за деньги раскурит регу фейсбук акков?
Eugene
Нужен высокий саксесс рейт
Alex
Ребят, кто за деньги раскурит регу фейсбук акков?
Речь идет о суммах с скольки нулями? )
Кирилл
Roman
Подкиньте кусок кода коотрый блокирует фото и видео плис у кого есть
Влад
https://www.npmjs.com/package/puppeteer-extra-plugin-block-resources
Влад
await this.page.setRequestInterception(true); this.page.on('request', (request) => { if (['media', 'image'].includes(request.resourceType()) ) { request.abort(); } else { request.continue(); } }); либо так
E
подскажите как можно узнать значение аттрибута data-name через папитир, значение динамичное и будет меняться
E
мне не то что в диве нужно, а то что в аттрибуте хранится,
CybernatiC
[data-name]
CybernatiC
селектор
CybernatiC
$$('[data-name]')
Alex*
const attr = await page.$$eval("span.styleNumber", el => el.map(x => x.getAttribute("data-Color")));
E
спасибо, я слепой)
E
не сразу увидел
Pavel
Почему никто не напишет TAP -> QUnit, так много фреймворков для тестирования которые выплевывают ТAP https://testanything.org/producers.html нельзя нормально показать результат в браузере
Pavel
То есть нужен TAP consumer который делает HTML блоки от QUnit, тогда можно будет themes существующие подключать, их много написано тоже
Pavel
https://github.com/Krinkle/qunit-theme-ninja вот например
Undefined113
Здравствуйте, друзья, у меня есть вопрос. Я пытаюсь решить проблему с hcaptcha Cloudfare, но мне нужен детектор изображений, чтобы решить эту проблему. Может ли кто-нибудь мне помочь?
Roman
Привет ребят, такой вопрос юзаю прокси и бывает на новом прокси (100% не использован мною или кемто другим) получаю сразу же капчу. ЧТо может быть ? browser fingerprint ?
Roman
потому что прокси серверный?
Имешь виду с 1 ИП или что не понял просто ?
Alexey
ну у тебя прокси какого типа? если обычный на сервере в датацентре то может быть из за этого
Alexey
попробуй резидентные или мобильные
Alexey
ну тогда хз. еще можно попробовать профиль перманентный использовать, а не каждый раз новый. и походить по другим сайтам перед заходом на нужный сайт, чтобы не нулевый был, а типа прогретый
Roman
Насколько это ефективно ?
Alexey
Хотя если без прокси то всё норм, получаеться прокси говно ?
может и так, ну не проблема потестить под разными проксями чтобы выяснить
Alexey
Это можно отследить ?
можно. насколько эффективно в твоем случае сложно сказать. методом проб только
Roman
Понял
Roman
можно. насколько эффективно в твоем случае сложно сказать. методом проб только
А если я делаю запросы через прокси puppeter хедеры случайно не крутит ? Типо там x-forwared и тд
Roman
кароче Я заметил что сайт берет всякие данные типа timezone_zone и она другая понятно чем прокси(моя) . И я такие вот вещи происходят. Можно ли спрятать эту инфу ?
Alexey
А если я делаю запросы через прокси puppeter хедеры случайно не крутит ? Типо там x-forwared и тд
эти заголовки насколько я знаю прокси сервер добавляет, а не браузер, так что нет. если прокся нормальная - она ничего не будет добавлять
CybernatiC
Ребята всем доброго времени! Тут есть фрилансеры? Есть работка
Anonymous
How to get request payload from network request while clicking a button
Artem
Привет. Может кто знает есть ли в node что-то типо pry из Ruby? Нужно остановить выполнение в определенном месте и выполнять код из консоли использую Puppeteer. Пробовал обычный debugger, но он не возвращает элеметы когда пишу page.$$('.selector'), а постонно возвращает Promise, даже с await. Так же пробовал puppeteer-extra, но это не подошло
Artem
Привет, может https://github.com/jsoverson/hackium подойдёт, у него там вроде REPL есть
Спасибо. Потестил. Там та же проблема что и puppeteer-extra - нельзя нормально взаимодействовать с элементами страницы через repl. Постоянно возвращает Promise, и не дает использовать await
Artem
А если так? https://stackoverflow.com/a/53011247/2715393
Великолепно! Спасибо большое) Сделал так export NODE_OPTIONS="--experimental-repl-await" Потом запустил hackium и await заработал
🐽 Alex
Ребят, привет, кто нибудь сталкивался с проблемой, что при долгих сессиях и await page.tracing.start({ categories: ["devtools.timeline"], path: "./tracing.json" }); , не все данные сохраняются по итогу (у меня получилось так что сохранилось только последние 2 минуты или что то вроде того). Суть вопроса: можно ли из Network напрямую получать данные при работе программы, а не ждать пока она закончит работу и собирать то что осталось?
Null
Ребят, привет, кто нибудь сталкивался с проблемой, что при долгих сессиях и await page.tracing.start({ categories: ["devtools.timeline"], path: "./tracing.json" }); , не все данные сохраняются по итогу (у меня получилось так что сохранилось только последние 2 минуты или что то вроде того). Суть вопроса: можно ли из Network напрямую получать данные при работе программы, а не ждать пока она закончит работу и собирать то что осталось?
> можно ли из Network напрямую получать данные при работе программы Что за данные нужно собирать? Если сетевые запросы/ответы то можно: 1. page.on('request', () => {}); // request, requestfailed, requestfinished, response 2. target.createCDPSession() и внутри уже Network.enable послать и получать детальные ответы const client = await page.target().createCDPSession(); await client.on("*", (method, params) => { console.log({ method, params }); }); await client.send("Network.enable");
Anonymous
Привет, нужно на Puppeteer реализовать алгоритм регистрации аккаунта на сайте. Заплачу. Детали в личке.
Anonymous
Вангую что фейсбук
близко но нет )
🐽 Alex
близко но нет )
значит инстаграм
Anonymous
🐽 Alex
ads.tiktok.com )
а, там по моему капчу не пройти с помощью сервисов
🐽 Alex
там гугл капча?
не, там своя какая то
Suicide Liza
да помню чтото кликнуть если одинаковый shape
Suicide Liza
чтото такое не так?
🐽 Alex
не funCaptcha, не reCaptcha, не hCaptcha
🐽 Alex
но на нее просто еще сервисов нету чтобы обойти
Suicide Liza
ну есть 2captcha которой люди решают но это дорого
Suicide Liza
https://2captcha.com/blog/tiktok-captcha
🐽 Alex
https://2captcha.com/blog/tiktok-captcha
о, спасибо за наводку, как раз хотел ради интереса найти
Anonymous
о, спасибо за наводку, как раз хотел ради интереса найти
там в целом капча простая, называется geetest (один из вариантов) - там просто нужно свой сервис пильнуть, есть дока с примером
Pavel
Передал глав админку @shad0w64, он был создателем этой группы с самого начала.
Anonymous
там где пазл двигать?
нет, там типа на картинке выделить 2 обьекта одинаковой формы
Azat
всем привет. есть ли понятная документация на русском? подскажите пожалуйста