Anonymous
это не самый полезный навык
спарсить то что обычно не парсится, пока не научусь не отпускает. Эти цифры 72,55 с этой страницы https://goo.su/18sm возможно спарсить без селениума обычным парсингом? Или это невозможно в принципе?
Anonymous
webdriver + headless chrome (chrome —headless)
ок браузер не будет запускаться, а консоль все равно будет запускаться? Я хочу чтобы при нажатии на кнопку в текстбоксе появлялась спарсенная информация. Насколько я понял такие сайты можно парсить только используя селениум.
/home/aleksandr/
Ага
Artöm
А они уверен формируются
Aragaer
когда я вижу селениум, меня начинают обуревать мысли о том, что кто-то делает что-то неправильное
Aragaer
если селениум используется для тестирования собственного сервиса - то да
/home/aleksandr/
Ну хз, оч удобно
Aragaer
но когда селениумом лезут куда-то, то начинаются вопросы - а почему нужно селениумом и нельзя просто так? А если там защита, то она тоже не просто так
Anonymous
Их можно спарсить, если они приходят как хтмл, а не формируются жсом
Если только не использовать селениум. А при использовании webdriver + headless chrome браузер не будет запускаться, а консоль все равно будет запускаться? Я хочу чтобы при нажатии на кнопку в текстбоксе появлялась спарсенная информация.
Anonymous
но когда селениумом лезут куда-то, то начинаются вопросы - а почему нужно селениумом и нельзя просто так? А если там защита, то она тоже не просто так
просто получается если хочешь спарсить какую то инфу с какого то сайта, а она оказывается добаляется js'ом. И что тогда делать. Какие то сайты парсятся, а какие то нет. А вот селениумом парсятся стабильно
Aragaer
ну я про то, что если ты парсишь сайт, то это уже не тот вариант использования, который предусмотрен автором сайта
/home/aleksandr/
Не быть тебе пиратом
Artöm
Это значит, что страдания с селениумом заслужены
Anonymous
Это значит, что страдания с селениумом заслужены
пока что не страдал, получилось все сразу
Aragaer
это примерно как говорить, что вот в метро очень удобно за кем-нибудь прижаться, чтобы не платить за проезд
Aragaer
но на некоторых станциях есть контролеры, которые это замечают, вот давайте подскажите, как мне вести себя в этом случае
/home/aleksandr/
В России парсить же можно
/home/aleksandr/
Вроде нет наказания в статье, нет?
Aragaer
прижиматься тоже можно
Yury
Да везде уже можно...
Yury
прижиматься тоже можно
Нет, это домогательство уже 😁😁
/home/aleksandr/
Ну и все, если можно то почему бы не юзать
Aragaer
автор сайта тебе не разрешал парсить, поэтому все проблемы, которые он тебе создает, это твои проблемы, а не его
/home/aleksandr/
А ну да
Artöm
Вроде нет наказания в статье, нет?
Речь пока не о наказании, а о том, что ты сознательно избегаешь удобного пути
Yury
автор сайта тебе не разрешал парсить, поэтому все проблемы, которые он тебе создает, это твои проблемы, а не его
Я практически уверен, что огромное количество сайтов, которые "защищены" от парсинга, вообще об этом не думали
Aragaer
если автор сайта решит выкладывать информацию в виде картинок, генеря их на лету из каких-то своих данных - ну что ж, имеет право
Aragaer
поэтому у меня логика такая - если человек спрашивает про селениум, то - он пытался просто брать данные через requests, но их там нету, потому что автор сайта выкладывает их туда динамически - вместого того, чтобы найти, где их можно взять через requests, человек решает использовать селениум
Aragaer
и аналогия с метро ровно такая же - человек хотел пройти в метро, но там турникет. Вместо того, чтобы найти легальный способ пройти в метро (дойти до кассы и вернуться) он решает пройти через турникет как-нибудь по-другому.
/home/aleksandr/
Жизнь в России сложна, тут ничего не поделаешь
Aragaer
когда мне однажды понадобились курсы валют, я пошел и погуглил. Нашел вот это: https://api.exchangerate-api.com/v4/latest/USD
Artöm
поэтому у меня логика такая - если человек спрашивает про селениум, то - он пытался просто брать данные через requests, но их там нету, потому что автор сайта выкладывает их туда динамически - вместого того, чтобы найти, где их можно взять через requests, человек решает использовать селениум
Я писал такие парсеры пару раз (не в прод, личное), апи для реквестов точно не было, файлы можно получить только с этого сайта. Но это исключительная ситуация и это ваншот - выкачал и выкинул скрипт
Aragaer
"RUB":72.481849
Artöm
В одном месте селениум нужен был для ввода капчи, создания сессии и получения куков, дальше вгет в цикле
Tishka17
если капча - это уже не просто парсинг, а обход защиты сайта
Artöm
если капча - это уже не просто парсинг, а обход защиты сайта
Это автоматизация скачивания набора пдфок. Ссылка на страницу скачивания висит на главной. Каждый день их сервера я этим не нагружаю
Tishka17
капча сделана с единственной целью - позволить только человеку заходить
Artöm
капча сделана с единственной целью - позволить только человеку заходить
Я понимаю. И утверждаю, что то, что я сделал, не создает ни спама, ни постоянной нагрузки
Anonymous
что за консоль ? как обычно она открывается ?
ну вот я запускаю прогу с селениумом, при ее работе надо воспользоваться этим самым селениумом. В таком случае открывается консоль и затем браузер. Как сделать чтоб не открывался браузер я знаю, а вот консоль незнаю
Artöm
а что ты дальше делаешь с этими файлами?
Если не вдаваться в подробности, там списки компонентов механизмов, табличка с набором артикулов и именований, привязанная к серийному номеру. Дальше она экспортируется в эксель и объединяется в одну большую таблицу, но этим уже не я занимаюсь
Vladimir
при попытке установить certbot для https. выводит ошибка, кто подскажет почему
elessar
подскажите ребят как python-telegram-bot в кнопку воткнуть изображение
Artöm
то есть ты не для личного использования их берешь. Вот это уже вопрос, можно ли
Чем это отлчается от того, что я бы выкачал это руками?
elessar
emoji?
Tishka17
можешь emiji засунуть
Tishka17
это не изображение, а символ
Vinny
Ребята порекомендуйте хороший обфускатор кода python( 2 файла в коде программы если на что-то влияет) либо как вы защищаете скрипт. P.S знаю что у Пайтона с этим проблемы. Но вдруг есть у кого наработки.
Александр
#работа #удаленка Технологии: Python3, Django, DRF, vuejs, postgresql, docker Зп 60-80 т. р. Пишите в личные сообщения.
Alex
Ребята порекомендуйте хороший обфускатор кода python( 2 файла в коде программы если на что-то влияет) либо как вы защищаете скрипт. P.S знаю что у Пайтона с этим проблемы. Но вдруг есть у кого наработки.
У питона с этим "проблемы", потому что это как правило никому не нужно. А тем кому это реально может быть нужно пишут не на питоне или вкладывают деньги в индивидуальные механизмы защиты. Готовой кнопки "сделать заебись, бесплатно, надежно, без смс" для питона не существует (впрочем не для питона тоже поискать надо).
Бензофуран
Правда при сборке закриптованного пайармором скрипта в exe матерятся некоторые антивирусы
Tishka17
Правда при сборке закриптованного пайармором скрипта в exe матерятся некоторые антивирусы
это с любой сильной и не сильно распространенной защитой так
Tishka17
даже на банальный upx (который вообще не защита) ругаются иногда
Sergey
Правда при сборке закриптованного пайармором скрипта в exe матерятся некоторые антивирусы
Мне казалось что в Delphi только при генерации exe-файла, антивирусник может сказать что там торян, а тут Python в приприжку тоже
Vinny
Это скрипт может быть в дальнейшем распространен. По определённым причинам мы не можем следить на какую тачку он попал. Если получить исходник софта то будет плохо.
Бензофуран
это с любой сильной и не сильно распространенной защитой так
На самом деле они ещё и на py2exe иногда алярмятся Потому что Еноты-школьники всякие пишут дрянь, собирают им и разбрасывают
Vinny
Бензофуран
Ну предложи свое решение
Вынести логику которая не должна быть на клиенте в облако
Tishka17
если оценка материальных рисков при утечке кода
Бензофуран
так от кого и от чего защищаемся?
Вот смешно будет если у него [удалено в соответствии с правилами чата] с управлением через телеграм
Tishka17
=D