Может надо делать через прокси? Что за прокси я не вкурил, но видел упоминания о нем регулярно на стаке

Ух жесть

Сочувствую

Ради работы мечты и море по колено

Ещё был вариант делать дамп консоли, но эта хуйня работает вроде только в фаербаге через драйвер фаерфокса

Который у меня вроде не работал нихрена

Похоже последняя версия селениума сломала поддержку фаерфокса

Все ещё не сдался, но хочу умереть

Надежда ещё есть - ручная вставка в консоль скрипта работает очень хорошо

После ручной инъекции все равно виснет спустя время Непонятно...

Есть ещё вариант с локальным прокси

https://github.com/lightbody/browsermob-proxy

Есть такая борода для джавы, нужна такая же для питона...

Надежда ещё есть - ручная вставка в консоль скрипта работает очень хорошо

Что за скрипт?

driver.execute_script(""" (function(XHR) { "use strict"; var element = document.createElement('div'); element.id = "interceptedResponse"; element.appendChild(document.createTextNode("")); document.body.appendChild(element); var open = XHR.prototype.open; var send = XHR.prototype.send; XHR.prototype.open = function(method, url, async, user, pass) { this._url = url; // want to track the url requested open.call(this, method, url, async, user, pass); }; XHR.prototype.send = function(data) { var self = this; var oldOnReadyStateChange; var url = this._url; function onReadyStateChange() { if(self.status === 200 && self.readyState == 4 /* complete */) { document.getElementById("interceptedResponse").innerHTML += '{"data":' + self.responseText + '}*****'; } if(oldOnReadyStateChange) { oldOnReadyStateChange(); } } if(this.addEventListener) { this.addEventListener("readystatechange", onReadyStateChange, false); } else { oldOnReadyStateChange = this.onreadystatechange; this.onreadystatechange = onReadyStateChange; } send.call(this, data); } })(XMLHttpRequest);

driver.execute_script(""" (function(XHR) { "use strict"; var element = document.createElement('div'); element.id = "interceptedResponse"; element.appendChild(document.createTextNode("")); document.body.appendChild(element); var open = XHR.prototype.open; var send = XHR.prototype.send; XHR.prototype.open = function(method, url, async, user, pass) { this._url = url; // want to track the url requested open.call(this, method, url, async, user, pass); }; XHR.prototype.send = function(data) { var self = this; var oldOnReadyStateChange; var url = this._url; function onReadyStateChange() { if(self.status === 200 && self.readyState == 4 /* complete */) { document.getElementById("interceptedResponse").innerHTML += '{"data":' + self.responseText + '}*****'; } if(oldOnReadyStateChange) { oldOnReadyStateChange(); } } if(this.addEventListener) { this.addEventListener("readystatechange", onReadyStateChange, false); } else { oldOnReadyStateChange = this.onreadystatechange; this.onreadystatechange = onReadyStateChange; } send.call(this, data); } })(XMLHttpRequest);

Нужно перехватывать ответы на запросы?

Да

Селениум такие вещи не умеет

Да

Именно на клиенте нужно перехватывать что ли? Или не важно?

Если перехватывать, можно взять QtWebkit, там есть метод для этого

А так, лучше прокси конечно

А так, лучше прокси конечно

Это надо mitm тогда

Но нужно уместить в один скрипт питона, так то можно и через апишку

Но не надо

Это надо mitm тогда

Ну локально ж сертификат без проблем

В задании сказано скрипт сделать, а не поднимать виртуальные интерфейсы

Я не хочу усложнять парсинг настолько

Да задачка-то ебаная какая-то.

Скрипт выше работает, но немного некорректно т.к. страница подвисает спустя время

Скрипт выше работает, но немного некорректно т.к. страница подвисает спустя время

Тот сайт чем отправляет запросы? Xhr или fetch?

Первое

Первое

https://stackoverflow.com/questions/16959359/intercept-xmlhttprequest-and-modify-responsetext Пробовал?

ОФФТОП: кто скажет,есть ли какой сервис подобие смспилота, НО для получения смс и чтения его? Если он с API (для пересылки на ТГ итд) было бы отлично

https://stackoverflow.com/questions/16959359/intercept-xmlhttprequest-and-modify-responsetext Пробовал?

Не пробовал, но кажется это совсем не то Тот скрипт пихал в элемент на сайте чтобы селениум мог его потом прочитать

ОФФТОП: кто скажет,есть ли какой сервис подобие смспилота, НО для получения смс и чтения его? Если он с API (для пересылки на ТГ итд) было бы отлично

Сервис СМС активаций и аренды виртуальных номеров sms-reg.com Номер для sms активаций, прием сообщений 24/7, индивидуальные номера, повторное получение СМС...

Вроде он умеет.

Будь аккуратен, регая телегу на такой номер, можно бан словить.

Сервис СМС активаций и аренды виртуальных номеров sms-reg.com Номер для sms активаций, прием сообщений 24/7, индивидуальные номера, повторное получение СМС...

хмм.. или проще написать свой клиент для чтения СМСок например на андроиде/с юсб свистка ?

вроде как я видел либы на питоне, которые умеют работать с юсб-модемами ..с возможностью чтения и отправки смс

хмм.. или проще написать свой клиент для чтения СМСок например на андроиде/с юсб свистка ?

С андроида элементарно. Писать ничего не надо. У меня есть такое. Я смски себе в телегу форваржу.

С андроида элементарно. Писать ничего не надо. У меня есть такое. Я смски себе в телегу форваржу.

свое или готовое? если да, то можно линк?

Не пробовал, но кажется это совсем не то Тот скрипт пихал в элемент на сайте чтобы селениум мог его потом прочитать

Ну передача в селениум это отдельная задача. Ее можно решить потом. Кстати, если твой вариант писал инфу в DOM и со временем зависал, то в этом и была проблема, возможно.

Данных там было не настолько много чтобы все висло к чертям

свое или готовое? если да, то можно линк?

Есть софт для автоматизации на андроиде. У меня платный tasker, есть бесплатный automate и куча других. Суть одна — создать задачу, которая слушает события входящих смсок (и пропущенных звонков у меня еще там же), хуйнуть post запрос в bot api телеграмма. Для таскера могу скинуть свое. Еще для automate то же самое делал, но не осталось.

Данных там было не настолько много чтобы все висло к чертям

И все же нельзя ли переделать? Селениум умеет слушать консоль браузера, наверное? Пиши в console.log данные.

И все же нельзя ли переделать? Селениум умеет слушать консоль браузера, наверное? Пиши в console.log данные.

Через фаербаг можно, но силениум сломал поддержку фаерфокса в новых версиях

А когда я крутил лог консоли к хрому, он был пустой Схожу погуглю...

Данных там было не настолько много чтобы все висло к чертям

Просто там же не ванильный жс у фейсбука в этом мессенджере. Там, вероятно, react. Реакт жутко не любит, когда модифицируют его DOM. Возможно, из-за него все падало. Одна из версий.

?

Там говорится, что у тебя XHR синхронные получаются. Они блокируют поток и это херово сказывается на пользовательском опыте. Но это не ошибка. Это deprecation warning. Не из-за этого падает, я полагаю.

Падажжи, ведь если делать вывод консоли - нужно ведь ещё и скрипты написать чтобы делали вывод?

Падажжи, ведь если делать вывод консоли - нужно ведь ещё и скрипты написать чтобы делали вывод?

console.log(“hui”)

Сейчас прикручу и посмотрим

https://stackoverflow.com/questions/20907180/getting-console-log-output-from-chrome-with-selenium-python-api-bindings

Спасибо, посмотрю

Ещё есть целый файл в папке, debug.log

Но там вообще ерунда какая то

Настройка логирования стоит на ALL

Но это же то, что нужно, верно? Сделай там что-нибудь типа console.log(“hui”, data), чтобы знать, что это твое.

Это вообще не то, нам нужны ответы на пост запросы в виде джсонов, я их могу пощупать из браузера

Но беда что там так насрано, что нельзя смоделировать такой запрос чтобы получить этот самый джсон

Поэтому только перехватывать

А. Сперва показалось, что там ответ.

Это вообще не то, нам нужны ответы на пост запросы в виде джсонов, я их могу пощупать из браузера

А в консоли браузера видишь ответы свои?

Да, вижу

Если видишь, то неправильно читаешь консоль.

Не прямо в консоли, а в вкладке - network

Там все запросы и этот тоже есть

Не прямо в консоли, а в вкладке - network

Нет, надо видеть в консоли.

Ты же console.log делал

Я делал несколько иное

d = DesiredCapabilities.CHROME d['loggingPrefs'] = { 'browser':'ALL' }

Я селениум не трогал, мне это мало о чем говорит.

from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities # enable browser logging d = DesiredCapabilities.CHROME d['loggingPrefs'] = { 'browser':'ALL' } driver = webdriver.Chrome(desired_capabilities=d) # load some site driver.get('http://foo.com') # print messages for entry in driver.get_log('browser'): print entry Я ж только через него и могу

from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities # enable browser logging d = DesiredCapabilities.CHROME d['loggingPrefs'] = { 'browser':'ALL' } driver = webdriver.Chrome(desired_capabilities=d) # load some site driver.get('http://foo.com') # print messages for entry in driver.get_log('browser'): print entry Я ж только через него и могу

Ну тут ты пытаешь читать консоль браузера. Верно?

Верно и она обычно пустовата

Я думаю если читать консоль - нужно запиндюрить JS который в неё будет скидывать те самые запросы

Верно и она обычно пустовата

Ну так а что ты будешь читать, если ты не пишешь в нее?

Вот я об этом пол-часа назад и написал

Я думаю если читать консоль - нужно запиндюрить JS который в неё будет скидывать те самые запросы

Ну да, епрст. Я же тебе и говорил вписать console.log

Прям в консоль?

В код, где ты получаешь response

А теперь я запутался

А теперь я запутался

У тебя есть код на жс, который модифицирует прототип xhr, перехватывает ответ на запрос и вставляет его в DOM. И он работает, хоть и зависает. Верно? Выкидывай тот кусок, где ответ вставляется в DOM, и замени его на вставку в консоль. console.log(response.body) примерно.

окей, сейчас сделаем

Я кстати написал прогу, для управления telegram ботми своим компьютером. Могу скинуть.

окей, сейчас сделаем

Как успехи?

Как успехи?

С JS никак, пока борю баги в селениуме и пытаюсь завести его на фаерфоксе

Впихнул вывод в консоль - работает, но виснет моментально

Я кстати написал прогу, для управления telegram ботми своим компьютером. Могу скинуть.

Поздравляю. Если поделишься сорцами, можем покритиковать

Я кстати написал прогу, для управления telegram ботми своим компьютером. Могу скинуть.

Сделай ник попроще, пожалуйста.

Правила чата: 1. Пишите вопрос по своей проблеме сразу же первым сообщением. Без приветов. Без прелюдий «кто может помочь». Обращения в ЛС к участникам нежелательны. Смотрите также http://neprivet.ru и http://nometa.xyz 2. Укладывайте свои мысли в одно сообщение, а не десять. 3. Код обрамлять тройным грависом: ```код``` если больше десяти строк, залить на https://gist.github.com или https://dpaste.de 4. На сообщения отвечайте реплаем, а не форвардом. 5. Для вопросов совсем начального уровня писать в @ru_python_beginners. Там же ответы на вопросы: «я новичок, с чего начать изучать питон» и «что почитать». 6. Для HR: сразу указывайте стек технологий проекта и зарплатную вилку. Обязательны хештеги: #работа #удаленка или #офис Просто ссылка на страницу с вакансией не приветствуется. Вакансии, не отвечающие требованиям, будут удалены. 7. Сразу бан за: спам, трояны, взломы, вирусы, спам-боты, кряки, ключи, наркотики и прочий скам или предложения работы в этой сфере. 8. Персонажам с неприличными аватарками и никнеймами будет выдано RO до момента исправления проблемы. Неприемлемы оскорбления, реклама, украшательства, Z̩ͭ͢A̲ͯ̋ͤ̈̅̍L̘̭̦̗͖̍͠G̻̲̮͔̓ͭ̽ͪ͛͘Ọ̲̖͍͔̥͎̄!̝̥̪̘̮̎̂̓ͭ́̃, злоупотребление эмодзи. Список неполный. Примеры: ? ꧁꧂BAKLAZHANCHIK꧁꧂ ? Baklazhanchik ? Свастика на аватарке ? Котик на аватарке ? ⇒ ? ? ? ? ? ? ? ⇐ ? Agawon

Я кстати написал прогу, для управления telegram ботми своим компьютером. Могу скинуть.

и что входит в управление компьютером?