artem
а оно не будет медленнее?
Светлана
Alhimik
Покажи какой селектор ты используешь для cheerio.
artem
Alhimik
а оно не будет медленнее?
Медленнее как раз будет переводить уже построенный DOM в html, потом отдавать на сторону ноды, там через cheerio снова парсить и строить DOM.
artem
artem
ладно тогда сейчас попробую пупетиром это достать
Alhimik
это как
Как ты получаешь нужные тебе данные через cheerio?
Alhimik
Это те же самые селекторы, только без лишних преобразований.
Alhimik
https://github.com/checkly/puppeteer-examples
Andrey
artem
так получается я могу получить массив своих элементов проитерироваться по его штимлу и достать то что мне надо?
Alhimik
artem
почему теперь не получается получить внутренний штимл?
artem
массив вроде получил
artem
все прекрасно
Andrey
await el.getProperty('innerHTML')
artem
ребята а как можно отключить ограничение евент имитеров
artem
чтоб одномоментно можно было хоть 20 вкладок запускать
artem
artem
я вроде снял его
artem
но машина умерла тутже
artem
😢
artem
хотя до того как снял оно в 5 потоков работало
artem
а тут все 100 решило разом
Alhimik
Это никак не связано, это просто предупреждения. Я сейчас попробовал, запустил 20 листенеров, предупреждение выдало, но никаких лимитов нет.
Alhimik
а тут все 100 решило разом
У тебя скорей всего проблема в коде, не нужно запускать такое количество. Едва ли большое количество браузеров ускорит процесс, скорее наоборот.
artem
artem
20 браузеров
artem
На нормальном компе
artem
Это же намного лучше чем 1
artem
В 20 раз например
Alhimik
Нормально, если не упираешься в 100% загрузку CPU постоянно, иначе у тебя будет тратиться время на переключение контекстов. Но конечно лучше замеры делать сначала чтобы понять сколько "нормальный комп" тянет. )
WEB
Добрый вечер, коллеги
WEB
почему у меня не пишут в массиве значение '1'. То есть, клик по элементу производится, по логике, say должен пойти дальше запушить 1. Но в консоле у меня empty (пустой) в консоле
WEB
Знаю, что переборщил с асинком )))
Alhimik
WEB
но ошибка вылезала)
WEB
Я решил не парится
WEB
ибо сонный был
WEB
и лег спать
WEB
Я знаю, что тут говнокода много
WEB
но рефакторинг делать пока не хочу
Alhimik
У тебя все условия вложенные, поэтому ты их можешь объединить через &&.
Alhimik
На заметку, тут чат именно по puppeteer-у. Для вопросов по JS есть другие чаты, там охотнее с такими вопросами помогают.
WEB
WEB
понятное дело, что если поставить логическое и
WEB
он выдаст тот же результат, при всех тру
WEB
Ну лан, пойду тогда сам подумаю
WEB
че как
WEB
почему не робит
WEB
ибо мне кажется, это я еще не проснулся, и на самом деле ответ на поверхности
Andrey
WEB
WEB
Буду знать
WEB
я правильн
WEB
понимаю
WEB
что, если
Tofa
Здравствуйте, как из тега а по айди или классу получить href?
Pashka
Здравствуйте, как из тега а по айди или классу получить href?
async function getHrefs(page, selector) {
return await page.$$eval(selector, anchors => [].map.call(anchors, a => a.href));
}
let href = await getHrefs(page,'a[id="some_id"]');
let href = await getHrefs(page,'a[class="some_css_class"]');
https://developer.mozilla.org/en-US/docs/Web/API/Element/querySelector
Pashka
привет, кто ниб пробовал делать кеширование запросов при перехвате page.setRequestInterception(true); в page.on('request'? через respond
Pashka
проблема в том что кеш отдает, но на проксях трафик не снижается
Pashka
прокси через apify proxychains сделаны
WEB
Всем привет!
У меня вопрос, мне кукловод парсит данные с сайта, какие есть можно ли теперь в локальный файл, json сохранить их ?
WEB
кто пытался ?
WEB
придется, получается локальный хост создавать ?
WEB
с .json
WEB
и туда потом посылать эти пост запросы ?
Tofa
Tofa
require('fs').writeFileSync('data.json', JSON.stringify(naprimertvoymassiv, null, '\t'))
Gerrra
Добрый! Есть один вопрос, был бы очень обязан вашему ответу. Клик
Tofa
Здравствуйте, как превратить скриншот кукловода в файл чтобы в post запрос его засунуть можно было?
WEB
3
WEB
3
WEB
пхпхпх