artem
а оно не будет медленнее?
Светлана
Alhimik
Покажи какой селектор ты используешь для cheerio.
Alhimik
Видимо лень разбираться в кукле
Да в том и дело что нативные селекторы даже проще чем в cheerio. Там нужно полученные объекты заворачивать в $().
Alhimik
а оно не будет медленнее?
Медленнее как раз будет переводить уже построенный DOM в html, потом отдавать на сторону ноды, там через cheerio снова парсить и строить DOM.
artem
ладно тогда сейчас попробую пупетиром это достать
Alhimik
Это те же самые селекторы, только без лишних преобразований.
artem
Как ты получаешь нужные тебе данные через cheerio?
я пока не знаю я вот только перешел на страницу и хочу найти где хранится то что мне надо
artem
Как ты получаешь нужные тебе данные через cheerio?
Alhimik
https://github.com/checkly/puppeteer-examples
Andrey
artem
так получается я могу получить массив своих элементов проитерироваться по его штимлу и достать то что мне надо?
artem
artem
массив вроде получил
artem
все прекрасно
Andrey
await el.getProperty('innerHTML')
artem
ребята а как можно отключить ограничение евент имитеров
artem
чтоб одномоментно можно было хоть 20 вкладок запускать
Alhimik
ребята а как можно отключить ограничение евент имитеров
Это не ограничение а предупреждение. Но если хочется отключить его то process.setMaxListeners(0).
artem
Это не ограничение а предупреждение. Но если хочется отключить его то process.setMaxListeners(0).
прям process или заместо процесс пупетир какой-нибудь
artem
я вроде снял его
artem
но машина умерла тутже
artem
😢
artem
хотя до того как снял оно в 5 потоков работало
artem
а тут все 100 решило разом
Alhimik
Это никак не связано, это просто предупреждения. Я сейчас попробовал, запустил 20 листенеров, предупреждение выдало, но никаких лимитов нет.
Alhimik
а тут все 100 решило разом
У тебя скорей всего проблема в коде, не нужно запускать такое количество. Едва ли большое количество браузеров ускорит процесс, скорее наоборот.
artem
artem
20 браузеров
artem
На нормальном компе
artem
Это же намного лучше чем 1
artem
В 20 раз например
Alhimik
Нормально, если не упираешься в 100% загрузку CPU постоянно, иначе у тебя будет тратиться время на переключение контекстов. Но конечно лучше замеры делать сначала чтобы понять сколько "нормальный комп" тянет. )
WEB
Добрый вечер, коллеги
WEB
WEB
Знаю, что переборщил с асинком )))
Alhimik
WEB
но ошибка вылезала)
WEB
Я решил не парится
WEB
ибо сонный был
WEB
и лег спать
WEB
Я знаю, что тут говнокода много
WEB
но рефакторинг делать пока не хочу
Alhimik
У тебя все условия вложенные, поэтому ты их можешь объединить через &&.
Alhimik
На заметку, тут чат именно по puppeteer-у. Для вопросов по JS есть другие чаты, там охотнее с такими вопросами помогают.
WEB
У тебя все условия вложенные, поэтому ты их можешь объединить через &&.
Знаю, но повторюсь, сонный был настолько, что оставил, как есть
WEB
понятное дело, что если поставить логическое и
WEB
он выдаст тот же результат, при всех тру
WEB
Ну лан, пойду тогда сам подумаю
WEB
че как
WEB
почему не робит
WEB
ибо мне кажется, это я еще не проснулся, и на самом деле ответ на поверхности
Andrey
WEB
Вся это пирамидка выполняется в браузере (page.evaluate), а say и obj - переменные в ноде и в браузер не прокидываются
я уже пофиксил, но спасибо за ответ
WEB
Буду знать
WEB
я правильн
WEB
понимаю
WEB
что, если
Tofa
Здравствуйте, как из тега а по айди или классу получить href?
Pashka
Здравствуйте, как из тега а по айди или классу получить href?
async function getHrefs(page, selector) {
return await page.$$eval(selector, anchors => [].map.call(anchors, a => a.href));
}
let href = await getHrefs(page,'a[id="some_id"]');
let href = await getHrefs(page,'a[class="some_css_class"]');
https://developer.mozilla.org/en-US/docs/Web/API/Element/querySelector
Pashka
привет, кто ниб пробовал делать кеширование запросов при перехвате page.setRequestInterception(true); в page.on('request'? через respond
Pashka
проблема в том что кеш отдает, но на проксях трафик не снижается
Pashka
прокси через apify proxychains сделаны
WEB
Всем привет!
У меня вопрос, мне кукловод парсит данные с сайта, какие есть можно ли теперь в локальный файл, json сохранить их ?
WEB
кто пытался ?
WEB
придется, получается локальный хост создавать ?
WEB
с .json
WEB
и туда потом посылать эти пост запросы ?
Tofa
Всем привет!
У меня вопрос, мне кукловод парсит данные с сайта, какие есть можно ли теперь в локальный файл, json сохранить их ?
просто через fs записываешь и всё
Tofa
require('fs').writeFileSync('data.json', JSON.stringify(naprimertvoymassiv, null, '\t'))
Gerrra
Добрый! Есть один вопрос, был бы очень обязан вашему ответу. Клик
Tofa
Здравствуйте, как превратить скриншот кукловода в файл чтобы в post запрос его засунуть можно было?
WEB
3
WEB
3
WEB
пхпхпх