всем привет) Остались курсы по основам трейдинга, могу поделиться за так) лежит без дела. Верю в карму
Не верю, что ещё можно заработать на трейдинге не случайно, а на постоянной основе))
Alex
Aleksey
Привет всем, кто-нибудь использует сторонние сервисы для решения капчи?
С недавнего времени 2captcha, которую использую для решения капчи на linkedin.com стала сбоить, ищу альтернативы. Есть на примете ресурсы?
Сам
всем здарова
Сам
Гайс как обойти защиту сайта для вэб скрэпинга?
Сам
Я использую puppeeter
Сам
Например есть scrapfly для пайтона
Сам
Но его нету для нода
Сам
Есть ли аналог scrapfly для нода?
Сам
и как правильно использовать прокси чтобы его не забанили?
Sasha
Начать читать
Сам
что именно?
Slavik
За деньги
Slavik
Но я не занимаюсь таким
Сам
извини за такой тупой вопрос
Сам
думаю кто он
Slavik
Ну в плане не знаю кто продаёт и все такое
Сам
робота
Сам
прокси банят
Сам
и оно становиться безполезным
Sergey spbsite
и оно становиться безполезным
у моб прокси прикол что они могут постоянно менять айпи
Сам
Current Page: 30
Current Page: 31
codeExecution: 16:31.019 (m:ss.mmm)
/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/common/CallbackRegistry.js:93
#error = new Errors_js_1.ProtocolError();
^
ProtocolError: Page.captureScreenshot timed out. Increase the 'protocolTimeout' setting in launch/connect calls for a higher timeout if needed.
at <instance_members_initializer> (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/common/CallbackRegistry.js:93:14)
at new Callback (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/common/CallbackRegistry.js:97:16)
at CallbackRegistry.create (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/common/CallbackRegistry.js:22:26)
at Connection._rawSend (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/cdp/Connection.js:80:26)
at CdpCDPSession.send (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/cdp/CDPSession.js:66:33)
at CdpPage._screenshot (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/cdp/Page.js:798:62)
at CdpPage.screenshot (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/api/Page.js:1094:41)
at async CdpPage.<anonymous> (/Users/samgar/Documents/dev/freelance/express/node_modules/puppeteer-core/lib/cjs/puppeteer/util/decorators.js:164:24)
at async /Users/samgar/Documents/dev/freelance/express/parsers/tradeMarks.js:161:9
Node.js v21.6.2
Сам
такая ошибка выходить
Сам
есть общий 445 страницы на 31 всегда ошибку выводить
Sasha
Ну он же говорит
Sasha
Хватит) я устал
Mukhammadjon
const browser = await puppeteer.launch({
headless: false,
args:['--disable-web-security']
});
const page = await browser.newPage()
const client = await page.target().createCDPSession();
await client.send('Page.enable');
await client.send('Page.setWebLifecycleState', { state: 'active' });
await useProxy(page, 'http://username:password@ip:port');
await page.goto('https://leetcode.com')
await page.screenshot({path:'login5.png'})
Mukhammadjon
Здравствуйте
Mukhammadjon
У какого нибудь было проблема с puppeteer proxy, просто у меня не открывает несколько сайтов с proxy ну без прохи работает
Mukhammadjon
Mukhammadjon
Sergey spbsite
Прохи я правильно поставил здесь только пример
await page.setRequestInterception(true);
page.on('request', req => {
useProxy(req, 'socks5://127.0.0.1:9000');
});
Mukhammadjon
await page.setRequestInterception(true);
page.on('request', req => {
useProxy(req, 'socks5://127.0.0.1:9000');
});
await page.setRequestInterception(true);
page.on('request', req => {
useProxy(req, 'socks5://username:password@ip:port');
});
Mukhammadjon
так?
Sergey spbsite
Mukhammadjon
Да
Mukhammadjon
Просто proxt с авторизатся
Mukhammadjon
Mukhammadjon
Mukhammadjon
Dedicated proxy использую ну все равно такая проблема
Mukhammadjon
Как вы думаете
Mukhammadjon
с 60000 ms работает
Сам
Сам
Сам
Сам
кстати если waitNavigation не работает для модалов loading чем можно заменить?
Сам
я просто добавлю setTimeout() в промисе на 20 или 15 секунд
Сам
например в selenium есть сравнение сравнивает легаси версии прошлого инфо
Сам
WebDriverWait(driver, 5).until(
EC.staleness_of(cards[0])
)
вот так в пайтоне
Сам
WebDriverWait(driver, 5).until(
EC.staleness_of(cards[0])
)
вот так в пайтоне
cards[0] первый кард прошлой страницы код сравнивает подождет пока не измениться первый кард текучий страницы
Aleksey
всем привет
Некоторые сайты отслеживают поведение пользователя при вводе данных и решают, бот это или нет, в том числе по тому, как именно он нажимал на те или иные контроллы и что вводил
Используете ли вы в puppeteer какие-либо подходы, чтобы выглядеть, как реальный человек
Например, действия мышью перед нажатем на кнопку или переход с одного поля на другое?
Slavik
С тг, озоном и другими небольшими сайтами не было проблем
Aleksey
ну что ж, на случай, если кто столкнется с моей проблемой в будущем:
вот полезные библиотеки для того, чтобы выглядеть как более реальный юезр на сайте:
https://www.npmjs.com/package/ghost-cursor - движения мышью
https://github.com/TheGP/Imposter - "гуманизатор поведения" - включает в себя первую либу
Лешка
ну что ж, на случай, если кто столкнется с моей проблемой в будущем:
вот полезные библиотеки для того, чтобы выглядеть как более реальный юезр на сайте:
https://www.npmjs.com/package/ghost-cursor - движения мышью
https://github.com/TheGP/Imposter - "гуманизатор поведения" - включает в себя первую либу
покажешь реализацию? у меня не завелся гост курсор