Ну и как ты это парсил?

Фото вытаскивается по селектору "#viewFilmInfoWrapper #photoBlock .film-img-box img"

давайте тогда пойдем от противного. За сколько времени вы напишете парсер который будет перебирать все страницы сайта и выдирать с каждой страницы из html один тег с определенным классом

Там src = ссылку сохраняешь для качки.

ДА фото-то понятно...

ДА фото-то понятно...

https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Смотришь в доках, она может перебирать в цикле, там актеры в таблице ячейки <TD> все в <A> - в цикле их перебираешь и сохраняешь

Ну я с сайта выдергиваю около 26к нужных единиц чего-то

От рубля за позицию)

Смотришь в доках, она может перебирать в цикле, там актеры в таблице ячейки <TD> все в <A> - в цикле их перебираешь и сохраняешь

Но да, этот кинопоиск образцово-показательный лёгкий сайт.

давайте тогда пойдем от противного. За сколько времени вы напишете парсер который будет перебирать все страницы сайта и выдирать с каждой страницы из html один тег с определенным классом

Самое не понятное откуда брать страницы, выдергивать данные из тега очень просто, используешь CSS селектор. А список сайтов можно искать начинать с sitemap.xml

Самое не понятное откуда брать страницы, выдергивать данные из тега очень просто, используешь CSS селектор. А список сайтов можно искать начинать с sitemap.xml

не не, сайт один

Я не понимаю как парсеры могу оценивать количественно. Если у вас правильный парсер, не важно сколько страниц.

на сайте около 26к страниц

не не, сайт один

Сайт один, но страницы которые нужно грузить, или они у тебя есть готовые. Скажем в админке добавляет сам клиент. Или ты их как робот из sitemap.xml вытаскиваешь, если он есть. Если нет сложнее.

на сайте около 26к страниц

У тебя есть список этих страниц? Если нет, и нет sitemap, то начинаешь писать первую часть твоего парсера, это Бота, который начинает с главной страницы (или с нужного раздела) и тупо собирает ссылки необходимые тебе. Возможно с регуляркой чтобы лишнее не бралось

я захожу на главную, там есть разделы, собираю линки на разделы, в каждом разделе пагинация. В многопоток иду в эти разделы и перебираю страницы в разделе

Как закончит, пишешь вторую часть, которая парсит готово отобранные страницы.

Вторая часть парсит по CSS данные, которые тебе нужны и сохраняет их также в твою БД, и сохраняет ссылки на Медиа файлы (картинки, видео) если нужно

прямые ссылки на нужные страницы, с которых мне нужно выдернуть данные, я сохраняю в файл

И третья часть, по списку Медиа ссылок, качает сами ресурсы по папкам.

дальше открываю файл и в многопоток иду по этим ссылкам и выдергиваю нужные данные

прямые ссылки на нужные страницы, с которых мне нужно выдернуть данные, я сохраняю в файл

Как тебе удобно, я бы с БД все делал.

Как тебе удобно, я бы с БД все делал.

не вижу глубокого смысла

дальше открываю файл и в многопоток иду по этим ссылкам и выдергиваю нужные данные

Если тебе скорость не важна, многопоток не обязателен. Делай их по очереди. И бана не словишь, если у них стоят защиты, не у всех сайтов есть защиты

для этого можно ходить через прокси

Но защит по ходу ноль

не вижу глубокого смысла

Ну ты бы мог следить за статусом выполнения то или иной страницы, и если у тебя упадет все, то может продолжится где остановилась

Ибо я уже сайт пару раз ложил)))

ну... почти ложил

для этого можно ходить через прокси

Он нужен только, когда есть проблема. Если ее нет. Не используй, нафиг

В общем ладно, пойду лабать. Там уже до готового парсера совсем немножко осталось

Ибо я уже сайт пару раз ложил)))

Ну зачем это было делать, спокойно бы перебирал все 26к по очереди, сохраняя медиа, долго , да, но стабильно. И если правильно сделаешь, даже с выключением твоего компа-сервера, все бы продолжалось, где остановилось

Я так и парсер цен товаров в КЗ делаю, вообще у многих защит нет. Только у крупных порталов и то там платные системы стоят.

Ну зачем это было делать, спокойно бы перебирал все 26к по очереди, сохраняя медиа, долго , да, но стабильно. И если правильно сделаешь, даже с выключением твоего компа-сервера, все бы продолжалось, где остановилось

Это же тесты были. Дело в том что если не в многопоток то будет капец как долго

Я не понимаю как парсеры могу оценивать количественно. Если у вас правильный парсер, не важно сколько страниц.

Если они с разной структурой -- важно... ОДинаковых -- конечно не важно

Это же тесты были. Дело в том что если не в многопоток то будет капец как долго

На сколько долго? И разве не терпит? И не проще ли, чтобы с потоками не возиться, и лишних задач не плодить и времени лишнего своего не тратить.

для этого можно ходить через прокси

Но за прокси платить надо...

На сколько долго? И разве не терпит? И не проще ли, чтобы с потоками не возиться, и лишних задач не плодить и времени лишнего своего не тратить.

>>> 26000 / 3600 7.222222222222222 часов. Это только чтоб ссылки достать. Это в том случае если я буду по очереди открывать все 26000 страниц тратя на это секунду

ваша честь прошу помочь

>>> 26000 / 3600 7.222222222222222 часов. Это только чтоб ссылки достать. Это в том случае если я буду по очереди открывать все 26000 страниц тратя на это секунду

Пффф, норм) а sitemap.xml нет?

Это у меня делается в среднем за 20 минут в многопоток

Это у меня делается в среднем за 20 минут в многопоток

Ну, уложишь сайт, тебя засветят, начнут банить... Тебе это надо ? andeniel прав...

Хотя я думаю ты не правильно подсчитал. 26 000 это ссылок. А страниц ты будешь открывать меньше, на одной страницы у тебя будут скажем 25 ссылок, потом след. страница и тд

Пффф, норм) а sitemap.xml нет?

сайтмапа я не нашел

когда реклама?

Хотя я думаю ты не правильно подсчитал. 26 000 это ссылок. А страниц ты будешь открывать меньше, на одной страницы у тебя будут скажем 25 ссылок, потом след. страница и тд

не не, это реально ссылок на страницы которые нужно парсить. постранично я открываю тоже много страниц и выдергиваю по двадцать ссылок

когда реклама?

А надо?

А надо?

А шо пятон интересует?

когда реклама?

ты чё токсичный такой

А шо пятон интересует?

Очень ) безумно )

Очень ) безумно )

Напишу глупость, но вы просто очень красивы для Питон программиста)

Очень ) безумно )

Проверка. #! /usr/bin/env python это шо такое?

Напишу глупость, но вы просто очень красивы для Питон программиста)

Это о том, что девушка не может быть программистом) или она не совсем девушка, или не совсем программист?!

Напишу глупость, но вы просто очень красивы для Питон программиста)

мб HR

Напишу глупость, но вы просто очень красивы для Питон программиста)

А комплимент принимаемся

Напишу глупость, но вы просто очень красивы для Питон программиста)

Лучше бы вообще не писал?

Напишу глупость, но вы просто очень красивы для Питон программиста)

но да, глупо связывать занятия и внешний вид

Здравствуйте! Кому легче создавать сайты на gjango? Чем на laravel или zendframework

но да, глупо связывать занятия и внешний вид

только если это не цирк и женская густая рыжая борода

Это о том, что девушка не может быть программистом) или она не совсем девушка, или не совсем программист?!

А проверку не прошла

А проверку не прошла

Именно

ERROR: S client not available

Други что взять в качестве миддлвари-REST для работы с mysql?

Как связка Tornado+TorMysql ?

Проверка. #! /usr/bin/env python это шо такое?

Скрипт

А проверку не прошла

Отвлекли от ответа )

Неть

Неть

Просветите?

Указывает интерпретатор

Указывает интерпретатор

Буду знать )

Я очень начинающий python программист

мб HR

Иногда выполняю такие функции

Напишу глупость, но вы просто очень красивы для Питон программиста)

Это ты просто меня не видел

Это ты просто меня не видел

Тоже красив?)

Тоже красив?)

Этож. Зацени симметрию

Этож. Зацени симметрию

Идеально)

Идеально)

И шары что надо

Как бы двусмысленно это не звучало

ни

Как бы двусмысленно это не звучало

????

Ребята, может к вам девушка за помощью обратиться?!

Ребята, может к вам девушка за помощью обратиться?!

В общем то мы тут только для этого и собрались

Ребята, может к вам девушка за помощью обратиться?!

nometa.xyz

Здравствуйте

Здравствуйте

nometa.xyz

Я начал программировать бота и у меня такая проблема

Я начал программировать бота и у меня такая проблема

как бот на это отреагировал ?

как бот на это отреагировал ?

ну это, как то ну проблема

я вписывал код на среде pycharm

Я начал программировать бота и у меня такая проблема

Если проблема появилась в процессе программирования - верни всё как было

Катерина, вам лучше выбрать рыцаря из чата и задавать ему вопросы лично ;)

Если проблема появилась в процессе программирования - верни всё как было

ага, ctrl+a , потом delete и все норм будет