Sektor
Так можно просто браузер нормальный использовать и пусть хоть заобращается к канвас апи или куда угодно)
Null
Так можно просто браузер нормальный использовать и пусть хоть заобращается к канвас апи или куда угодно)
Да, но иногда нужно подсовывать ему готовые данные.
Null
Т.е. если ты запустишь 10 браузеров на одной машине, у них будут одинаковые отпечатки. А тебе хочется чтобы сайт считал что это разные люди сидят а не один ботовод.
Sektor
Null
От задачи зависит конечно. Я вот парсингом занимаюсь. Некоторые сайты даже тут пытаются палки в колёса вставлять. Когда они с мошенниками борятся, я ещё могу понять.
Но обычно им нет дела до того что ты делаешь, парсишь, автоматизируешь свой единственный аккаунт или пытаешься обмануть их антифрод систему.
Anatolii
Всем привет.
Anatolii
Может у кого-то была такая ситуация. Скраплю сайт ввожу емайл нажимаю дальше и вместо поля ввода пароля появляется страница с сообщением Access Denited. Я использую ноду.
Null
Может у кого-то была такая ситуация. Скраплю сайт ввожу емайл нажимаю дальше и вместо поля ввода пароля появляется страница с сообщением Access Denited. Я использую ноду.
Скорей всего сайт определил автоматизацию и не хочет давать доступ.
Anatolii
Скорей всего сайт определил автоматизацию и не хочет давать доступ.
А есть какието решения, или можна просто мишкой поводить
Null
А есть какието решения, или можна просто мишкой поводить
Зависит от сайта. Изучай что именно сайт определяет и пытайся обходить. Для начала можешь начать с плагина https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth.
Anatolii
Sektor
парни а кто-нибудь Fetch.enable в многопотоке использовал? Не замечали лагов?
Anonymous
Ищy тex, ктo xoчeт зapaбaтывaть на kpиптoвaлютe.
Зaнятocть до двyx чacoв в дeнь.
Paбoтaть мoжнo с тeлeфoна или кoмпьютepa.
Oбyчeниe дocтyпнo для нoвичкoв.
Сфepa: aиpдpoпы, тecтнeты, лayнчпaды и пpoчee.
Для пoдpoбнocтей пишитe в личкy.
精神に強い
Приветствую, почти по теме пишу, собирал ли кто-то домашний сервер на базе мини пк, хочу развернуть там пару парсеров и nodejs приложух таких как сайты и боты
Сейчас стоит выбор железа и ищу человека кто сталкивался с подобной задачей или смог бы подсказать)
Slavik
Slavik
精神に強い
Думаешь?
Я в сторону Thinkcentre M720q Tiny - i5-8500T -64 GB - 1000 GB SSD или
Thinkcentre M90q - i5-10500T - 32 GB - 1000 GB SSD
Slavik
Думаешь?
Я в сторону Thinkcentre M720q Tiny - i5-8500T -64 GB - 1000 GB SSD или
Thinkcentre M90q - i5-10500T - 32 GB - 1000 GB SSD
Ну смотря какие задачи, ты думай о потреблении энергии ещё)
И то что это не серверное оборудование которое не предназначенного на использование 24/7
精神に強い
Я заебался переезжать, с digitalOcean (был тариф за 16 баксов что-то 4гб и один процессор кажись ) съехал на contabo потому что дешевле и больше ресурсов, в итоге contabo переодически падал причем контейнеры я все стопнул в поисках того что ложит сервак. И сейчас обратно переехал на сервак за 24 бакса тех же 2 проца и 4 оперативки
И в итоге подумал что можно за 300-400 баксов купить железо в раз 5 мощнее, поиграться с настройкой и поставить дома
精神に強い
За год полтора он себя отобьет, а потребляет он до 50ват
精神に強い
Ну смотря какие задачи, ты думай о потреблении энергии ещё)
И то что это не серверное оборудование которое не предназначенного на использование 24/7
Чего можно ожидать если 24/7 работать будет, диски посыпаться могут?
精神に強い
До переезда там умодрялся не большой парсер работать с сайтом и тг ботом, но очень тесно им там было
Slavik
Чего можно ожидать если 24/7 работать будет, диски посыпаться могут?
Да хуй знает, мне кажется это не гуд идея, серваки то рублей в 1000 выходят в месяц это 12 баксов, я хз откуда ты взял 25, лучше знатоков дождись)
精神に強い
精神に強い
Да хуй знает, мне кажется это не гуд идея, серваки то рублей в 1000 выходят в месяц это 12 баксов, я хз откуда ты взял 25, лучше знатоков дождись)
у меня вот сейчас этих 4 гб оперативы хватило на 6 сервисов это только тестовые и без парсера одного, их еще будет штуки три) думаю сразу взять минипк на 32 что бы дальше не думать о апгрейте и был запас сайтики и ботики деплоить + там файло помойку ребята делают, вдруг тоже захочется😄😄
Slavik
Slavik
Тип альфа тестирование?
精神に強い
да + команда имеет доступ к ботам ( не нужно разворачивать на локалке и ждать пока остальные потестят) и после успешного теста заливается на прод бота
Cђiͥfeͣrͫ
精神に強い
Привет. Я поднимал. Что интересует?
Приветствую, я вот посчитал что сервак мне выйдет баксов в 50 в месяц что мне нужно это 4 ядра и оперативы 10-12 и понял что проще было бы собрать что-то дома и дешевле и практичнее в плане ресурсов + агрейтится проще смотрю в сторону
Thinkcentre M720q Tiny - i5-8500T -64 GB - 1000 GB SSD или
Thinkcentre M90q - i5-10500T - 32 GB - 1000 GB SSD
精神に強い
Привет. Я поднимал. Что интересует?
Что скажете касательно железа? Можно за 400$ взять. Может знаете варианты по лучше или на что стоит поставить акцент для домашнего хостинга который будет работать 24/7 но на офисном железе?
Slavik
Что скажете касательно железа? Можно за 400$ взять. Может знаете варианты по лучше или на что стоит поставить акцент для домашнего хостинга который будет работать 24/7 но на офисном железе?
Блин, тебе бы найти более тематическую группу, или сис админа какого то, тут активности мало
Slavik
Есть чат нод жс, можешь там поинтересоваться, я думаю нормально отреагируют, но уверен что посоветуют прост норм провайдера найти
精神に強い
Cђiͥfeͣrͫ
Что скажете касательно железа? Можно за 400$ взять. Может знаете варианты по лучше или на что стоит поставить акцент для домашнего хостинга который будет работать 24/7 но на офисном железе?
Надо было в лс отписать. Так сразу бы увидел.
Ответил лично
Cђiͥfeͣrͫ
всем привет!
Подскажите плиз, кто какие прокси используют для puppeteer? Юзал asocks, но у них трафик уходит неоправданно, биллинг обманывает. то ли специально, то ли баг в их системе.
spaceproxy - отличные, но роботность у них 100%
Виктор
✅✅✅✅✅
Пpоходит набор людей, для работы с цифровыми активами.
Oпыт не требуется, по времени не бoлее 1-2 часов в cyтки.
Результат уже с пepвых днeй coтрудничecтва.
Можно получать от тысячи $/неделя.
Бyдy ждaть в личных cooбщениях❗
Алексей
Ищу единомышленников для совместной работы на бирже Bybit, OKX.
Вам потребуется примерно два часа в день.
Обучение предоставляется бесплатное.
Любопытно ? Пишите + в лс!
divide et impera
Живые есть?
divide et impera
Pavlo
Всем привет, а подскажите, пожалуйста. Есть актуальные типы под node.js? для puppeteer?
Andrew
Всем привет, а подскажите, пожалуйста. Есть актуальные типы под node.js? для puppeteer?
В доке вроде пишут что у самого пупитера уже есть поддержка тс из коробки
Pavlo
С чем может быть связана ошибка: Navigating frame was detached версия пупитера последняя.
Запущен удаленный антик, подключаюсь по http (не вебсокет), после перехода на страницу через page.goto
Подключаюсь:
const browser = await puppeteer.connect({
browserURL: session.endpoint,
defaultViewport: null,
});
И типо переход на страницу происходит, а после получаю Navigating frame was detached
Переход:
await page.goto('https://google.com/', {
waitUntil: 'networkidle0',
timeout: 60000
});
Pavlo
Всем привет)
Andrew
Закинь это в гига чат и быстрее ответ получишь... Тут чат мертвый )
Pavlo
Закинь это в гига чат и быстрее ответ получишь... Тут чат мертвый )
а вообще типо есть какието аналоги по лучше пупитера?
-_-
Закинь это в гига чат и быстрее ответ получишь... Тут чат мертвый )
@aashmig
Можете ли вы помочь мне со сценарием кукловода, который я пишу?
Null
С чем может быть связана ошибка: Navigating frame was detached версия пупитера последняя.
Запущен удаленный антик, подключаюсь по http (не вебсокет), после перехода на страницу через page.goto
Подключаюсь:
const browser = await puppeteer.connect({
browserURL: session.endpoint,
defaultViewport: null,
});
И типо переход на страницу происходит, а после получаю Navigating frame was detached
Переход:
await page.goto('https://google.com/', {
waitUntil: 'networkidle0',
timeout: 60000
});
Сделай минимальный пример, который покажет проблему. Скорей всего проблема с асинхронностью в твоём коде. Ты обращаешься к уже уничтоженной странице.
Null
@aashmig
Можете ли вы помочь мне со сценарием кукловода, который я пишу?
Сразу задавай вопрос, чтобы те, кто знают - могли ответить.
Ещё можешь задать вопрос в группе @playwright. Она активнее, это современный и переработанный аналог.
-_-
Raso
Hello everyone
Raso
Who gets 403 cloudflare and hcaptcha?
Raso
I have a solution
Raso
Send me your website url
Raso
Ok
Raso
DM for puppeteer scraping projects.
1
Подскажите, как раскрыть поле "Select a location" (часть кода в файле)? Простыми способами самого puppeteer не работает. Если просто мышкой в браузере самому нажать, то открывается список, а если нажать page.click(selector), ошибка. Пробовал по координатам мышкой нажать, тоже не работает:
const element = await page.$(selector);
const box = await element.boundingBox();
await page.mouse.click(box.x + box.width / 2, box.y + box.height / 2);
1
А ошибка какая?
Не находит элемент, хотя через waitForSelector его спокойно ожидает и даже можно проскроллить к элементу.
UnhandledPromiseRejectionWarning: Error: Node is either not clickable or not an HTMLElement
Andrew
Andrew
Не находит элемент, хотя через waitForSelector его спокойно ожидает и даже можно проскроллить к элементу.
UnhandledPromiseRejectionWarning: Error: Node is either not clickable or not an HTMLElement
А пробовали объект полученный вывести в консоль? Какого он типа?
Andrew
Ну и как ваш селектор фактически выглядит тоже было бы хорошо показать для полноты картины
Andrew
Селектор в коде имею ввиду выглядит как