精神に強い
Стоит chromium 103.0.5060
精神に強い
Через sudo chromium —version проверил (без судо не дал)
Alhimik
Перезвон не откликается когда использует 100% мощностей (через админ панель сервера проверяю нагрузку )
Ну если 100% нагрузка на железо и перестаёт откликаться, то нужно разбираться с тем, что нагружает. Сколько ресурсов на сервере?
精神に強い
FRA1 1gb ram 25gb disk
Alhimik
Вообще я запускал даже на 1 ядре и 1 Гб оперативной памяти. Проблем не было, просто долго грузилось. Хотя тут от сайта зависит.
精神に強い
Скрипт когда запускается (парсит ссылки и передаёт другому скрипту который открывает ссылку и берёт значения с объявления) При такой работе используется 10% железа
精神に強い
Но когда эта ошибка вылетит, только тогда начинается перегруз
精神に強い
И более 100% железа использоваться начинается
Alhimik
Скрипт когда запускается (парсит ссылки и передаёт другому скрипту который открывает ссылку и берёт значения с объявления) При такой работе используется 10% железа
Может утечка памяти или на самой странице или в твоём коде. Или просто сайт тяжёлый. Нужно сам код смотреть и сайт. Если есть возможность скинь, можно в личку.
Alhimik
Но когда эта ошибка вылетит, только тогда начинается перегруз
Можешь попробовать логировать потребление оперативной памяти процессом. Чтобы потом увидеть что раньше происходит.
Андрей
Привет, ребят! А реально как-то перехватить блок в dom дереве при клике вне всплывающего элемента? https://auto.ru/voronezh/cars/vaz/all/ Проблема в том, что я пытаюсь посмотреть - что это за узел в панели разработчика, а блок при клике по Inspect исчезает.
Black_Yuzia
Но я вроде нажимал комбинацию клавиш для инспектора и такого не происходило
Alhimik
Привет, ребят! А реально как-то перехватить блок в dom дереве при клике вне всплывающего элемента? https://auto.ru/voronezh/cars/vaz/all/ Проблема в том, что я пытаюсь посмотреть - что это за узел в панели разработчика, а блок при клике по Inspect исчезает.
Поставь брейкпоинт на модификацию узла или его атрибутов и сделай клик. После срабатывания брейкпоинта сделай несколько шакгов в отладчике и потом появится менюшка.
Андрей
Спасибо ребят, попробую оба способа, не до конца понял как реализовать, поищу примеры, спасибо за вектор!
Alex
Всем привет, подскажет как активировать расширение на странице? Расширение работает только на открытой странице сайта, если открывать в новом окне то оно не работает. Весь день убил в поисках решения. Готов заплатить за решение
Alex
надо активировать расширение на странице и нажать на кнопку
Alex
возможно ли вообще это?
Pavel
возможно ли вообще это?
наверное, ок гугл
Pavel
https://dev.to/ajaykumbhare/load-chrome-extensions-in-puppeteer-4fk0
Pavel
подскажите, пожалуйста, насчет такого кейса. Открываю несколько страниц через pptr (порядка 20), отдаю их в цикл в функцию и по прошествии некоторого времени прилетает, что каждая page is undefined
Alex
https://dev.to/ajaykumbhare/load-chrome-extensions-in-puppeteer-4fk0
это как загрузить расширение а не как активировать(открыть) его и работать с ним
Alex
я вчера весь день гугли ру и ен сайты и не где про открытие и управление расширением не нашел
1
Приветствую сообщество! Начала играться с puppeeteer, сначала не хотел на сервере подыматься, а потом когда установил полный список все пакетов, заработал. Но сейчас в trycatch летит ошибка: TimeoutError: Timed out after 30000 ms while trying to connect to the browser! Only Chrome at revision r991974 is guaranteed to work. и сервер уходит в прегруз (как будто майнер запускается) скрипт виснет из-за ошибки. pm2 использую. Знает может из-за чего это?
Попробовать установить версию puppeteer 13.х, с 14 версией у меня были проблемы пришлось откатиться. У меня часто puppeteer начинает грузить процессор на 50-100% при банальном await page.waitForTimeout(10*60*1000) (ожидание 10 мин) или при какой-нибудь ошибке исполнения, а если в Винде при открытом браузере прервать исполнение через CTRL+C, то гарантированно 100% грузит процессор пока не снимешь вручную задачу через Диспетчер задач.
精神に強い
Попробовать установить версию puppeteer 13.х, с 14 версией у меня были проблемы пришлось откатиться. У меня часто puppeteer начинает грузить процессор на 50-100% при банальном await page.waitForTimeout(10*60*1000) (ожидание 10 мин) или при какой-нибудь ошибке исполнения, а если в Винде при открытом браузере прервать исполнение через CTRL+C, то гарантированно 100% грузит процессор пока не снимешь вручную задачу через Диспетчер задач.
Приветствую Ого прикол, попробую. Пока пришли к решению что у меня плодилось много браузеров и они не закрывались и перегружали сервер, решил этот вопрос, после каждой задачи браузер закрываться. Это работает, нагрузка на сервер в пике 20% ( одно ядро и один гб оперативы) Правда чтение запись на диске доходит до 500MB/s, но это не страшно
Александр
кто-нибудь ищет работу на пупитере+typescipt?
精神に強い
кто-нибудь ищет работу на пупитере+typescipt?
Ух-ты, а можно подробнее о вакансии?
Александр
в личку отпишу
Alex
код на C#
Влад
Ребята, ктонибудь сталкивался с бесконечно загрузкой страницы в puppeteer ?
Влад
лес рук
精神に強い
Влад
Интернет плохой? Какая версия puppeteer, браузера?
я уже решил, сделал итерацию в try/catch и вызиваю занова функцию в которой произошла ошибка
Влад
😁
精神に強い
я уже решил, сделал итерацию в try/catch и вызиваю занова функцию в которой произошла ошибка
Так если выпадает ошибка при вызове функции, значит что-то с ней не так😂
Bogdan
а в headless моде браузер делает ридерект по ссылке?
Bogdan
если сайт требует этого
Bogdan
вроде как по логам делает…но такое ощущение что нет
Bogdan
фрейм как-то не так грузится
Bogdan
будто он по ссылке до редиректа его открыл
Bogdan
а нет там в другом проблема, похоже что форма для загрузки файла не выгружается в контейнере, когда через evaluateHandle она парсится, кто-нибудь сталкивался?
Bogdan
и самое печальное что это не всегда случается…
Bogdan
думаю как дебагать с учетом что на локальном компе похоже все ок
Bogdan
а логи пишутся в браузер…
Bogdan
с evaluate
Bogdan
ок походу дебагнул…фрейм не прогружался, тамймаут увеличил перед тем как фетчить и вроде заработало...
Bogdan
думаю если в будущем буду дебагать, то если фрейм по любому стоит начать с него 😂
Alhimik
Вот и поговорили :)
Bogdan
Вот и поговорили :)
Ну а как иначе 😺
Бафомет
Привет! Подскажите возможно в puppeteer грузить свои fingerprint-ы браузера? Если, можно, то как?
Alhimik
Привет! Подскажите возможно в puppeteer грузить свои fingerprint-ы браузера? Если, можно, то как?
Fingerprint это не что-то конкретное, он зависит от сайтов, как и что они собирают и какой отпечаток в итоге формируется. Подменить можно любое собираемое свойство, нужно только знать что именно сайт собирает. Для примера можешь посмотреть плагин puppeteer-extra-plugin-stealth.
Влад
не могу никак ппонять кое что в puppeter. waitForSelector ждет пока загрузиться определенный елемент на странице который я укажу ? или как ?
Pavel
да, определенный элемент по селектору
Влад
Влад
Ребята, когда ставлю page.setDefaultNavigationTimeout(0); для page.waitForNavigation у меня вообще перестает работать скрипт, че за дела ? что я не правлеьно делаю
Влад
а можна вот так выражения записывать ?
Влад
Убери page.waitForNavigation().
А setDefaultNavigationTimeout оставлять ?
Alhimik
А setDefaultNavigationTimeout оставлять ?
Не знаю, зависит от того что ты хочешь. Но waitForNavigation тебе не нужен в таком виде. Так как ты загружаешь страницу и потом ждёшь когда она снова перезагрузится. А так как этого не происходит, выполнение кода дальше не идёт.
Bogdan
А setDefaultNavigationTimeout оставлять ?
Ты в page.goto можешь тайм-аут поставить + wait условие.
Влад
Решил выложить проект node.js где парсяться данные сайтов спомощю модуля puppeteer на heroku. Но проект не запустился, посмотрев в консоль своего проекта heroku я обнаружил такие вот ошибки, ктото сталкивался с этим ?
🦋noteee
sudo apt install ca-certificates fonts-liberation libappindicator3-1 libasound2 libatk-bridge2.0-0 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgbm1 libgcc1 libglib2.0-0 libgtk-3-0 libnspr4 libnss3 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 lsb-release wget xdg-utils
🦋noteee
На Ubuntu мне помогало это
Влад
.
понял, спасибо, попробую
Влад
😘
Влад
ктонибудь сталкивался с проблемой в puppeter когда он не загружает страницу ? вот просто не грузит и все. Типа первые 12-23 раза он ее грузит а потом просто перестает ее грузить. Может ктонибудь сталкивался ? или знает решения
Alhimik
Может после 20-ого раза срабатывает какой-нибудь лимитёр.
Alhimik
И что значит не грузит? Падает по таймауту? Или пустую страницу загружает?