Andrew
Понял, спасибо
SetazeR
6 нет
вангую что запросы на 6е выпадали потому что люди интересовались есть ли оно
Andrew
Скорее всего
Влад
Только пятое находит
На сайте издательства O'Reilly смотреть надо 6 там не было и не будет.
Andrew
Смотрю, нет
Andrey
лучше прочитать byte of python и потом придумать и начать писать какой-нибудь проект. От голой теории очень мало пользы.
🍁 Jaŭhien
Я сайты хочу парсить тут явно byte of python недостаточно будет
Есть книга по парсингу "Скрапинг веб-сайтов с помощью Python".
Andrey
ну почитай статью о том как парсить сайты или док по BeautifulSoup. для этого целую книгу читать не надо
Влад
Есть книга по парсингу "Скрапинг веб-сайтов с помощью Python".
Да знаю но хотелось бы вначале разобраться с основами
Влад
Отвратительно
Чего отвратительно?
SetazeR
скам
чего сразу скам
SetazeR
может он выхлоп апи парсить хочет
Влад
скам
Ну для вас сударь может и скам а для меня одна из целей.
Sortafreel
а что плохого в парсинге сайтов...?)
Alexander
а что плохого в парсинге сайтов...?)
Браузер делает это каждый раз при открытии сайта, так что ничего плохого
Nikolay
Парсить сайты это дно(
Влад
Браузер делает это каждый раз при открытии сайта, так что ничего плохого
В идеале хотелось бы и код выдирать с сайтов но как то стрёмно от этого.
Sortafreel
Влад
Парсить сайты это дно(
Ну да бл. Изучить python чтобы работать в Гугле, надо такую цель поставить наверное.
Sortafreel
Есть сферический Хайнекен. Хайнекен хочет понимать как хорошо представлены его товары на "полках" онлайн-магазинов. В физических магазинах есть специальные дядьки, которые ходят и смотрят на полки, куда Хайнекен поставили мерчендайзеры. В онлайн-магазинах есть боты, которые ходят и смотрят позицию в категории, цену, акции и т.п. Что в этом плохого и почему дно? :)
Влад
Устроится на работу в крупную компанию.
Влад
Не знаю для чего ещё люди изучают программирование
Sortafreel
Не знаю для чего ещё люди изучают программирование
Потому программировать АХУЕННО ВЕСЕЛО.
Саша
чтобы решать проблемы, с которыми они сталкиваются в повседневной жизни например)
Sortafreel
Пардон за излишнюю эмоциональность :)
Nikolay
потому что...? :)
Скучно. Везде +- одинаково. Одно и то же. Рутина
Nikolay
Развития никакого. Я джва года этим занимался. Платили нормально, но тлен и депрессия по итогу
Sortafreel
Скучно. Везде +- одинаково. Одно и то же. Рутина
- Антиботы, уймы их. То есть, работа с протоколами, headless Chrome, сервера в клауде настраивать, лямбда и т.п. Оч интересно. - Куча сложного JS, к которому нужно подключать Splash, и кучу других рендереров для распознавания информации. - Автоматизация через machine learning, ибо много сайтов одинаковые, и часть данных можно собирать автоматически, куча интересных моделей и потенциал для отладки. Вееееесело :)
Nikolay
ты вручную сидел парсил сайты что ли?
Ну паук на каждый домен в простом случае
Nikolay
Весело на саппорте сидеть. Селектор-класс поменялся, и сидишь час "меняешь" в коде 😏
Sortafreel
Ну паук на каждый домен в простом случае
не, я понимаю, если сидеть и писать просто спайдер за спайдером, то может задолбать. но весть есть куча фоновых задач, вроде работы с проксями, вроде ввода новых CSS/XPath селекторов, вроде новых антиботов (говорил уже, угу), и т.п. Ты или работаешь над конкретным спайдером или работаешь над глобальными задачами и делаешь каждый спайдер лучше.
Maxim
вы какое-то дно донное обсуждаете, простите
Nikolay
Это уровень верстальщика
Nikolay
Но на питоне 🦔
Maxim
сайты парсить... вы ещё дейтинги с дорвеями вспомните
Nikolay
Не рокет саенс
Sortafreel
Ну работа с проксями не самоцель. К тому же, бывает что данные нужны раз в месяц. 1 раз написал, запускаешь по запросу клиента, кидаешь ему отчёт в табличке. Всё.
мне кажется, тебе просто инфраструктуры не хватило, чтобы была infrastracture team, чтобы был QA, и ты мог сосредоточиться не на самих спайдерах, а именно вот на разработке технологии, R&D, все дела. тогда весело. а просто спайдеры легко и скучно, согласен.
Sortafreel
Это уровень верстальщика
и на вкус и цвет, угу...)
Alexander
просто для кого-то «парсинг сайтов» является простым скучным рутиным использованием фреймворка под конкретные ресурсы с изменением каждый раз кода под изменившуюся верстку, а для другого это более сложные и интеллектуальные задачи.
Maxim
сложные и интеллектуальные задачи лежат где-то за пределами веба, полагаю
Alexander
я к тому, что парсить сайты - не всегда конечная цель
Sortafreel
сложные и интеллектуальные задачи лежат где-то за пределами веба, полагаю
пардон, но подавляющая часть задач связанных с кодом, включая задачи уровня Google/Alibababa/Facebook и т.п. лежат так-то в вебе :)
Влад
сложные и интеллектуальные задачи лежат где-то за пределами веба, полагаю
Сложные и интеллектуальные задачи? Ну явно не на питоне
Sortafreel
сложные и интеллектуальные задачи лежат где-то за пределами веба, полагаю
то есть, у меня был один раз оффер в медицинский стартап, где нужно работать с алгоритмами по подготовке данных генома человека и т.п. очень рокет сайнс. но в итоге это всё равно уйдет в веб, как средство подбора лекарств или поиска потомков.
Nikolay
Пришла задача, стянуть items со всеми свойствами, результат в таблице. Вертись как хочешь. Потом босс себе там сам графики встроенными средствами налепить. Другое дело в realtime всё это делать. Обвязки куча, но ко мне никогда с таким не обращались
Nikolay
Что поделать, я же новичок
Nikolay
Да веб это просто транспорт + визуализация. Главное - на сервере
Sortafreel
но это не веб как таковой же
ну, если вы под вебом имеете ввиду "сайты делать", то пожалуй да. мне бы не хотелось провести жизнь копаясь с Django или Flask. а вот бекенд, например, может быть очень даже рокетсайнс и вполне себе на Питоне.
Andrey
почему matplot такой контринтуитивный?
Ivan
у меня на собесе спросили о Python Internals and Object oriented design. Вопросы абстрактные и я не знаю что на них ответить, пока не сильно шарю в языке.
Andrey
на питоне писать приятно. не нужно задумываться и ломать пальцы об синтаксис - просто транслируешь мысль в редактор, совсем без помех
Эхо
Эхо
Всем привет. Не подскажете что делать нужно? Эт selenium если что
Dmytro
На стаке написано: для линукса. А ты на винде запускаешь.
Ivan
+
Ivan
походу. python internals это cpython. но я посыпался.
Эхо
Dmytro
Это vps/vds. На ней убунта восемнадцатая
А нахрена тебе дисплей хрома на удаленном сервере?
Nikolay
А нахрена тебе дисплей хрома на удаленном сервере?
Виртуальный дисплей, чтобв запустить гуй браузер