Black_Yuzia
Попробуй, вроде кукис не пишутся в инкогнито
Мне кажется неверно. Сам браузер в инкогнито куки хранит. На момент сессии. После закрытия браузера (всех вкладок инкогнито) удаляет
Это я
Мне кажется неверно. Сам браузер в инкогнито куки хранит. На момент сессии. После закрытия браузера (всех вкладок инкогнито) удаляет
Проверил - все так. Как оказалось в безголовом их невозможно отключить, множество вариантов перепробовал. По итогу сделал через подмену credentials в фетч
Это я
Тогда может флаг какой-то должен быть?
Не нашел флага\аргумента чтобы в названии было куки , + флаг в хеадлесс не нашел как установить(нужный)
Alex
Привет, не появилась возможность управление расширением в той же вкладке? что бы был отрыт сайт, открыть расширение и нажать на кнопку?
Black_Yuzia
Привет, не появилась возможность управление расширением в той же вкладке? что бы был отрыт сайт, открыть расширение и нажать на кнопку?
Я по моему открывал расширение в новой вкладке. Но вообще странно что нет просто: page.extensions.find("some ext")?.page.click("button#id");
Alex
в новой вкладке не подходит, расширение работает с данными с сайта
GamiD
Всем привет подскажите как сделать правильное закрытие консоли чтоб порты, браузер и консоль закрылась по запросу Щас у меня вот так стоит И в процессах остаются nodejs, cmd и работающие порты app.post('/quit', async function(request, res) { await browser.close() return res.send("Shutting down..."); process.exit() });
Vlad Vaviloff
У вас там Express, скорее всего? Надо ведь и его закрыть, не только паппитир. app.close(() => { console.log('Shutting down!'); process.exit(0); });
Vlad Vaviloff
А как это сделать после post запроса /quit
app.close поместить внутрь роута /quit
sena
Do you know how can i change my uuid in selenium ?
Вайпер
Извиняюсь может вопрос не по теме, но вы не сталкивались с такой фигней??? не находит не один тэг, но если я нажму на него в древе, после он начнет показывать, может это защита от парсинга какая та?
Вайпер
В фрейме наверное
А можете пожалуйста подробней сказать???
Вайпер
.
В точку, спасибо большое, буду пробовать
Вайпер
Привет всем, ребят подскажите пожалуйста кто шарит в фреймах как лучше сделать запутался, есть фрейм с таблицей на котором я проверяю даты, если дата true перехожу на след. таблицу которую нужно спарсить, она как бы вложенная будет, мне нужно заново фрейм вытянуть новый или это будет тот же?
🦋noteee
Вообще такое лучше делать запросами. Не пробовал или на запросах сложно получается?
Вайпер
Вообще такое лучше делать запросами. Не пробовал или на запросах сложно получается?
не пробовал, честно сказать я с фреймами только второй день сталкиваюсь, до этого не юзал их, да и не знал даже про них
🦋noteee
не пробовал, честно сказать я с фреймами только второй день сталкиваюсь, до этого не юзал их, да и не знал даже про них
Знаешь как с запросами работать? Это когда отправляешь http запрос на сайт и он возвращает ответ (Что то по типу работы с API, но сложнее, потому что сайты от парсинга защищаются)
Вайпер
у меня структура задачи такова, есть таблица( в ней есть список дат, по датам я должен проверить все подходящие даты) далее зайти под каждую дату и спарсить таблицу которая находится в каждой дате
🦋noteee
Отправь мне ссылку на сайт и подскажи где найти таблицы которые тебе нужны. Через пару часов буду у компьютера и посмотрю что можно сделать и стоит ли тратить на это время
Вайпер
круто, спасибо большое за подсказку
Вайпер
)
А можно узнать(на будущее) какие могу быть защиты, это же по сути такая же эмитация браузера, тот же get запрос так же возвращает html страницу и тд, разве нет?
Вайпер
Да. Но например js или дополнительные запросы ключи токены
А если на пример замутить такое, на пример сделать авторизацию через попитер, спарсить куки, залить в запрос и парсить?
🦋noteee
Может быть например cloudflare настроен жёстко. Тогда и эмуляция браузера особо не поможет
🦋noteee
А эта технология часто встречается?
На больших проектах с нормальным бюджет да. Не особо дешёвое удовольствие
Вайпер
На больших проектах с нормальным бюджет да. Не особо дешёвое удовольствие
Ну это круто, кстати с запросами на много круче парсить, раньше были идеи так парсить но не вникал, а оказалось по круче и удобнее чем поппиттер
Вайпер
Привет всем, подскажите пожалуйста, в Codceptjs - есть метод see который ищет текст на странице, какой аналогичный метод есть в puppeteer?
Вайпер
нет, надо руками писать
У меня логи идут на страницы и нужно дождаться текста Done как это лучше сделать?Может статья есть какая?
Roman
У меня логи идут на страницы и нужно дождаться текста Done как это лучше сделать?Может статья есть какая?
можно посмотреть, в каком теге это слово находится и дождаться его по локатору или запилить что-то типа waitForText async function waitText(text: string, timeout = 3000) { try { await page.waitForFunction( (text: string) => { return document.querySelector('body')?.innerText.includes(text); }, { timeout, polling: 200 }, text ); } catch (e) { throw new Error(Text "${text}" not appeared during ${timeout} ms!); } } тоже самое в Codceptjs под капотом для папетира
aburybin
Добрый день, подскажите пожалуйста, как я могу с помощью puppeteer взаимодействовать с расширениями chrome( например, metamask)?
Alex*
https://dev.to/scahhht/simple-steps-for-testing-a-chrome-extension-in-puppeteer-2pm3
Alraqam
Hi
Vlad Vaviloff
Hi
Be sure to send your question right away, without intermediary greeting messages. If someone can help you they will answer; no use in answering "Hi" message 😅
GamiD
почему это строна не игнорируется если ошибка
GamiD
GamiD
Вайпер
Привет всем, хотел узнать, а паппитер будет работать на сервере на внешке?там где терминал только?
Вайпер
А нужно как нибудь его настраивать?
Roman
А нужно как нибудь его настраивать?
особо - нет, может быть только выставить в конфиге headless: true и настроить размеры окна/разрешение
Вайпер
вот что пишет
Вайпер
Alex*
Привет всем, хотел узнать, а паппитер будет работать на сервере на внешке?там где терминал только?
При необходимости на сервере можно поставить и GUI - рабочий стол. Когда надо работать с headless = false. Подключаться по RDP.
Alex*
А нужно как нибудь его настраивать?
Зависит от того, что уже стоит на сервере. Может понадобится установить библиотеки.
Вайпер
Да ничего особого, голый Линукс с нодай, сам паритет и ТД, локально работает, глобально такую ошибку выдает
Alex*
sudo apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget
Alex*
Есть универсальный рецепт - гуглить сообщения и ошибки. )
Alex*
Это получается нужно установить?Для GUI
Нет. Это надо установить чтобы просто заработал с headless = true. Для установки GUI надо делать другое
Вайпер
Ааа все, понял
Вайпер
Спасибо большое за помощь
Alex*
то, что написал выше для Ubuntu server.
Вайпер
то, что написал выше для Ubuntu server.
Да, у меня именно он, буду пробовать
Alex*
Ну уже если понадобится поставить GUI, то вот.
Alex*
https://phoenixnap.com/kb/how-to-install-a-gui-on-ubuntu
Alex*
Память на сервере надо от 4 Gb
Anton
Всем привет! Поделитесь опытом, коллеги. Ищу первую работу JavaScript Backend junior. Подскажите как быстрее всего найти её? Джунов неохотно сейчас берут. Есть опыт разработки на RPA платформах 5 лет.