Понял, спасибо, попробую как-нибудь отловить зависание. Да костыли конечно. Но надо хоть как-то запилить)

Супер, спасибо!

Привет всем, подскажите какими средствами можно обрабатывать вот такие алерты

https://github.com/puppeteer/puppeteer/blob/master/docs/api.md#class-dialog

там простой пример как задисмисить

там простой пример как задисмисить

Спасибо)

Ребят, есть возможность отследить, что клик прошёл по кнопке и урл страницы другой теперь, те перешёл на другую страницу

Благодарю Вас!

Добрый день, добрые люди! Может немного не в тему, но по парсингу) ПОдскажите пожалуйста - можно ли с помощью ноды получить контекст ячейки в excel и вытащить оттуда ссылку, которая явно не прописана, но ею программно обернуты названия сайтов.

Добрый день, добрые люди! Может немного не в тему, но по парсингу) ПОдскажите пожалуйста - можно ли с помощью ноды получить контекст ячейки в excel и вытащить оттуда ссылку, которая явно не прописана, но ею программно обернуты названия сайтов.

Я отвечу, тоже немного не в тему. ) Обрабатывайте табличные данные в Google Spread Sheet и у вас будет API для доступа и манипулирования данными в таблице, да еще и в облаке. )

Я отвечу, тоже немного не в тему. ) Обрабатывайте табличные данные в Google Spread Sheet и у вас будет API для доступа и манипулирования данными в таблице, да еще и в облаке. )

Спасибо, возьму на заметку. В нем можно выдернуть ссылку, как мне надо?

Спасибо, возьму на заметку. В нем можно выдернуть ссылку, как мне надо?

Если ссылка это данные или формула в ячейке, то да.

https://developers.google.com/sheets/api/reference/rest/v4/spreadsheets.values/get

Заканчиваем, здесь это оффтопик )

Но Puppeteer и Google Spread Sheet очень удобная связка.

Если ссылка это данные или формула в ячейке, то да.

Спасибо!

Привет, ребят, никто не в курсе - что это за шифр у hyperlink в excel и как его можно декодировать? XmS6CY4AeZfImH_u8I11b-nKlGoolqCh8OOZCq6qK9YKHIkb8cwKSoxaSTfsNLqjyQkreGE9_qms2CWI0tERutQ1AaV6bzy07URjjm4Jgpv6vZCU4LtplWg63im07ITzXyVeSNNbHF4FoGC9jBq8u98Tufc1

ВРоде как бинарник нельзя)

Не получилось. Оказалось - дело не в екселе, а сама ссылка так задана специально для дальнейшего редиректа

как проверить если ли класс у элемента полученного с помощью page.$$(selector)?

как проверить если ли класс у элемента полученного с помощью page.$$(selector)?

"div > div[class]"

Это если тебе надо узнать есть ли элемента сам атрибут - class

Это если тебе надо узнать есть ли элемента сам атрибут - class

мне его не получить нужно, а узнать есть ли у полученного. Понял что можно await (await el.getPropety(“className”)).jsonValue(); Оно вернет строку с классами. Но потом ее еще парсить нужно. Вот спрашиваю есть ли вариант попроще

мне его не получить нужно, а узнать есть ли у полученного. Понял что можно await (await el.getPropety(“className”)).jsonValue(); Оно вернет строку с классами. Но потом ее еще парсить нужно. Вот спрашиваю есть ли вариант попроще

Так ты его не получишь, а просто нацелишь выборку на тех у кого есть, если это делать через $$

Так ты его не получишь, а просто нацелишь выборку на тех у кого есть, если это делать через $$

Ну, да, ты получишь массив элементов у которых уже есть атрибут - class, так же вроде проще, а потом с них и парсить инфу

Но я конешн не утверждаю что так лучше, я не знаю что у тебя там за сайт, может те и по другому надо

да просто все. Есть массив кнопок. Мне нужно нажать допустим на кнопку 10. Но если у нее есть класс active, то не нажимать.

сделал вот так.

Запустил скрипт на винде, и он не может сделать скриншот. Слэши поменял на \\ такие. await page.screenshot({ fullPage: true, path: `screenshots\\${moment().format("MM-DD HH:mm:ss")}.png });`

двоеточия в разделитле времени поменяй

это служебный символ для имени файла

двоеточия в разделитле времени поменяй

спс, я уж голову сломал)

Господа, снова я к вам, снова со странной проблемой. Хром запущен в контейнере и к нему через веб сокет цепляется папитир. Проблема в том, что сессия закрывается, веб сокет закрывается, если бездействовать на странице 4~5 минут. Где-то так. А мне нужно что бы сессия держалась хотя бы 20 минут. Не хочется сыпать костылями в код, типа рефреша страницы и т.д., есть какой-нибудь изящный вариант? Что-нибудь вроде параметра запуска, не дающего сокету самоустраниться?

Заранее погуглил, ничего адекватного не нашёл :)

Вот да, я это и имел ввиду под костылями :) Не хочется так.

нет, канал как раз пустой. Через папитир я запросил код, а потом 20 минут обновляю бота в телеге, и ищу этот код

т.е. пока идёт работа у бота, на странице не происходит ничего. Никаких действий вообще

В общем считаешь, что самый лучший вариант в этой ситуации будет что-нибудь запрашивать регулярно?

Ладно, спасибо. Сейчас что-нибудь прикручу :)

окей, сяпки :) Я хотел по глупому тыкать в какое-нибудь поле ввода раз в 30 секунд, но тайтл наверное проще :)

Нифига, даже на локалке не работает :(

org.apache.http.NoHttpResponseException: localhost:8080 failed to respond

да, и с кликом, и с тайтлом

эт на локалке без докера. На докете так же история

Я что-то упускаю, очевидно :)

Стоп стоп стоп, обождите. Папитир отработал, но ответ от сервера не пришёл. т.е. отвалилось соединение, но папитир продолжил работу

Значит отваливался не сокет, а сервер. Где-то стоит таймаут на респонс

у меня скрипт запускается через запрос. На сервер приходит пост запрос с json на борту, дальше, запускается какой-нибудь из роутов, смотря какой запрос пришёл. И возвращается ответ

так же в json, уже от сервера моего

в роуте прописан коннект к докеру через веб сокет, т.е. хром запущен отдельно вообще :)

Простенький сервер написан на экспрессе. У него дефолтный таймаут 2мин. Ща пропишу таймаут ручками и попробую. Блин, а думать в слух проще, спасибо :D

Если я правильно понял суть проблемы: После page.title сокет перестал закрываться, паппитир отрабатывает теперь корректно, как и хром. Вылезла проблема на сервере. Он отправляет запрос и ждёт ответ, ждёт всего 2 минуты, а у меня 20 минутный простой в коде. Он не дожидается ответа от скрипта и отваливается, а скрипт продолжает работать :)

ща протестирую, узнаю наверняка, в этом дело или нет :)

вроде да. :)

всем привет, столкнулся с такой проблемой: хочу рендерить пдфку из хтмл странички на которой есть символы валют, но некоторые из них рендерятся в пдф не совсем корректно

типа пустых квадратов

как можно это пофиксить?

явно проблема со шрифтами, дожидаешься их загрузки?

да, шрифт из пдфки совпадает с тем, что на странице

ну по крайней мере по внешнему виду)

важная вещь - в самом шрифте отсутствуют эти иконки

есть урл?

нет, это крутится локально в контейнере

сейчас попробую какой-нибудь ресурс из сети

ну вот, кстати

страничка топтала

https://www.toptal.com/designers/htmlarrows/currency/ruble-sign/

генерирую пдфку вот так

curl -X POST \ http://0.0.0.0:3122/pdf \ -H 'Content-Type: application/json' \ -d '{"url":"https://www.toptal.com/designers/htmlarrows/currency/ruble-sign/","emulateMedia":"print","gotoOptions":{"waitUntil":"networkidle0"},"options":{"displayHeaderFooter":false,"printBackground":true,"format":"A4","scale":1.33}}'

образ отсюда browserless/chrome:release-puppeteer-1.9.0

сгенереная пдфка

fc-list в докере посмотреть

или сразу fc-match serif

сорян, был афк

сейчас гляну

blessuser@3ed5fc2f231f:/usr/src/app$ fc-match serif Times_New_Roman.ttf: "Times New Roman" "Regular"

похоже надо шрифт завезти, да?

https://www.fileformat.info/info/unicode/font/times_new_roman/grid.htm