Anonymous
это не самый полезный навык
спарсить то что обычно не парсится, пока не научусь не отпускает. Эти цифры 72,55 с этой страницы https://goo.su/18sm возможно спарсить без селениума обычным парсингом? Или это невозможно в принципе?
Anonymous
webdriver + headless chrome (chrome —headless)
ок браузер не будет запускаться, а консоль все равно будет запускаться? Я хочу чтобы при нажатии на кнопку в текстбоксе появлялась спарсенная информация. Насколько я понял такие сайты можно парсить только используя селениум.
/home/aleksandr/
Ага
Artöm
Artöm
А они уверен формируются
Aragaer
/home/aleksandr/
Aragaer
когда я вижу селениум, меня начинают обуревать мысли о том, что кто-то делает что-то неправильное
Aragaer
если селениум используется для тестирования собственного сервиса - то да
/home/aleksandr/
Ну хз, оч удобно
Aragaer
но когда селениумом лезут куда-то, то начинаются вопросы - а почему нужно селениумом и нельзя просто так? А если там защита, то она тоже не просто так
Aragaer
ну я про то, что если ты парсишь сайт, то это уже не тот вариант использования, который предусмотрен автором сайта
/home/aleksandr/
Не быть тебе пиратом
Artöm
Это значит, что страдания с селениумом заслужены
Anonymous
Aragaer
это примерно как говорить, что вот в метро очень удобно за кем-нибудь прижаться, чтобы не платить за проезд
Aragaer
но на некоторых станциях есть контролеры, которые это замечают, вот давайте подскажите, как мне вести себя в этом случае
/home/aleksandr/
В России парсить же можно
/home/aleksandr/
Вроде нет наказания в статье, нет?
Aragaer
прижиматься тоже можно
Yury
Да везде уже можно...
/home/aleksandr/
Ну и все, если можно то почему бы не юзать
Aragaer
автор сайта тебе не разрешал парсить, поэтому все проблемы, которые он тебе создает, это твои проблемы, а не его
/home/aleksandr/
А ну да
Aragaer
если автор сайта решит выкладывать информацию в виде картинок, генеря их на лету из каких-то своих данных - ну что ж, имеет право
Aragaer
поэтому у меня логика такая - если человек спрашивает про селениум, то
- он пытался просто брать данные через requests, но их там нету, потому что автор сайта выкладывает их туда динамически
- вместого того, чтобы найти, где их можно взять через requests, человек решает использовать селениум
Aragaer
и аналогия с метро ровно такая же - человек хотел пройти в метро, но там турникет. Вместо того, чтобы найти легальный способ пройти в метро (дойти до кассы и вернуться) он решает пройти через турникет как-нибудь по-другому.
/home/aleksandr/
Жизнь в России сложна, тут ничего не поделаешь
Ivan
Aragaer
когда мне однажды понадобились курсы валют, я пошел и погуглил. Нашел вот это: https://api.exchangerate-api.com/v4/latest/USD
Artöm
Aragaer
"RUB":72.481849
Artöm
В одном месте селениум нужен был для ввода капчи, создания сессии и получения куков, дальше вгет в цикле
Anonymous
Tishka17
если капча - это уже не просто парсинг, а обход защиты сайта
Artöm
Ivan
Tishka17
капча сделана с единственной целью - позволить только человеку заходить
Anonymous
что за консоль ? как обычно она открывается ?
ну вот я запускаю прогу с селениумом, при ее работе надо воспользоваться этим самым селениумом. В таком случае открывается консоль и затем браузер. Как сделать чтоб не открывался браузер я знаю, а вот консоль незнаю
Tishka17
Artöm
а что ты дальше делаешь с этими файлами?
Если не вдаваться в подробности, там списки компонентов механизмов, табличка с набором артикулов и именований, привязанная к серийному номеру. Дальше она экспортируется в эксель и объединяется в одну большую таблицу, но этим уже не я занимаюсь
Vladimir
при попытке установить certbot для https. выводит ошибка, кто подскажет почему
Tishka17
elessar
подскажите ребят как python-telegram-bot в кнопку воткнуть изображение
Artöm
Tishka17
elessar
emoji?
Tishka17
можешь emiji засунуть
Tishka17
это не изображение, а символ
Vinny
Ребята порекомендуйте хороший обфускатор кода python( 2 файла в коде программы если на что-то влияет) либо как вы защищаете скрипт. P.S знаю что у Пайтона с этим проблемы. Но вдруг есть у кого наработки.
Andrew
Andrew
Александр
#работа #удаленка Технологии:
Python3, Django, DRF, vuejs, postgresql, docker
Зп 60-80 т. р. Пишите в личные сообщения.
Бензофуран
Бензофуран
Tishka17
Бензофуран
Правда при сборке закриптованного пайармором скрипта в exe матерятся некоторые антивирусы
Tishka17
Tishka17
даже на банальный upx (который вообще не защита) ругаются иногда
Vinny
Это скрипт может быть в дальнейшем распространен. По определённым причинам мы не можем следить на какую тачку он попал. Если получить исходник софта то будет плохо.
Artöm
Anonymous
Бензофуран
Vinny
Alex
Tishka17
Tishka17
если оценка материальных рисков при утечке кода
Tishka17
=D