да, есть такое, но ничего) я уже привык, старые сериалы к сожалению до эпохи HD вышли и тут уже ничего не исправишь

Здрасте )

Здрасте

Говорят Flask очень крут для новичков. Правда?

И не только для новичков

Имхо, джанго проще

Имхо, джанго проще

Понял, спасибо

чиво

джанга худшее что может быть

тролль 80го лвл

троль тот кто подсаживает нюбов на джангу

деньги вам чтоли за это дают

а каков твой выбор вебфреймворка?

пирамида

ну вот... хоть какие-то нормальные люди в чате -_-

хех

ктонибудь знает зачем нужен скрапи ?

Сайты парсить?

сайты парсить можно итак

я не вижу юзкейсов

какаято просто груда говна не имеющая смысла вообще

(я не троль)

сайты парсить можно итак

а что можно делать "не так"?

всмысле ?

можно в http голый ебаться, но веб фрейворки же есть

есть

куча готовых хелперов, вместо своих велосипедов

что ты хочешь сказать то ?

ну веб фреймворки не та аналогия

и речь не о велосипедах

ну что конкретно хелперы ? что даёт скрапи ?

ну ты пишешь что можно обойтись бес скрапи в парсинге сайтов

можно и нужно

конечно можно, зависит от того что тебе надо. Если тебя надо парсить страницы и на выходе иметь аналог моделей(например) то ты можешь заюзать скрапи, а можешь делать сам

зачем мне юзать скрапи ?

Всё проще. В скрапи уже весь бойлерплейт есть

И его не надо писать

лол ну всё

Тебе - незачем

Ебись в бойлерплейт

ты юзаешь скрапи ?

вопрос "а нахуя оно надо, ведь можно самому написать?" отосится ко всем не билтиновым либам

Последний раз заюзал, я рассказывал тебе

Получилось очень быстро

не помню

ну короче всё что было в скрапи это отвязывание флоу между страничками и там есть такая то очередь реквестов. а всё потому что он написан на сраном твистеде

Будто что-то плохое.

если внезапно написать просто и на гевенте то эти нагромождения нинужны

Сиди переписывай, кто ж запрещает

трал

Минвайл страничка на скрапи уже распаршена и продана на ... какие там сейчас популярный фриланс площадки?

Я не тралю, просто вопрос тупой

Скрапи нужен, если тебе посрать и дальше ехать

да не тупой вопрос. при появлении гевента он потерял смысл. не знаю зачем ты его взял

А если поиграться с АРХИТЕКТУРОЙ, то конечно

какая мне нахуй разница что там под капотом твистед или хуистед

чо за сравнение гевента и скрапи?

Там тонна бойлерплейтной логики

ок например ?

Например я указываю чейн урлов и правило для парсинга. Вся логика уровня "пошли запрос -> забери содержимое -> хуйни это дело в lxml" делает скрапи

Ты скажи, чо те надо? Ты собираешься парсить страничку?

чейн урлов ?

Йеп. Более того, с кулумбеками. Мол, зайди на эту страницу, выпарси урлы вот отсюда и пиздуй по ним дальше

Открой короче доку и потрать на неё 20 минут, чем _в бегинерсках_ мозги ебать

так открыл

что за чейн урлов ?

Ну я же обеснил Есть начальный урл. В нем помимо контента указываешь по разметочке где брать следующие урлы

Например, в пагинации

ну окей просто делаешь цикл в корутине скачать взять следущую страницу. зачем для этого нужен конвеер скрапи который чето там туда-то пихает, как то достаёт по приоритету и тд ?

Затем, что я не хочу ебаться в корутины, у меня задача на 15 минут

не хочу ебаться в корутины @ расчехляю йоба фреймворк который навязывает тонну своих понятий и правил делая ёбаное ничего

@ делаю задачу за 15 минут и мне похуй на "идеологическую некорректность" инструмента

на гевенте столько же бы делал

Не неси хуйни. Сядь и напиши инструмент

Засеки время

Это очевидный бред

боилерплейт какойто. вот открыл страничку http://doc.scrapy.org/en/1.1/topics/selectors.html куча документации. по факту https://github.com/scrapy/scrapy/blob/master/scrapy/selector/unified.py#L43 полтора депрекейшен эррора, проверка домена, и внезапно выходит так что вся эта дока документирует Parsel

далее http://doc.scrapy.org/en/1.1/topics/items.html для тех кто ниасилил создать класс или что ?

о боже мой. Что ты хочешь доказать? Что я быстрее напишу без него? Нет, не напишу. И ты не напишешь

Но если тебе очень хочется, можешь не юзать, дозволяю

я напишу :3

"Угадывайте"

Со всем бойлерплейтом ток пазязя https://github.com/scrapy/scrapy/blob/master/scrapy/crawler.py

хочу доказать что он решал проблему связывания хттп качалки с парсеньем в эпоху колбеков через нагромождение классов, пайплайнов. вот этой вот хуитой yield scrapy.Request(url, callback=self.parse) сейчас она не имеет смысла потому что ты делаешь просто res = reqeusts.get() parse(res)

А я тебе говорю, что дело не в этом, а в подготовленной структуре, куда тебе надо подставить урлы и правила для парсинга, забыв об остальном

Только ты вчитайся плиз: урл и как парсить

На этом всё

https://www.quora.com/Why-would-some-use-scrapy-instead-of-just-crawling-with-requests-or-urllib2

открыл. вижу статы, логгинг - окей, нужная вещь сигналы - для борьбы с колбеками https://github.com/scrapy/scrapy/blob/master/scrapy/crawler.py#L77 - для борьбы с колбеками тред кеширующего днс резолвера. ну мб полезно грейсфул стоп - ну ок убедил

https://www.quora.com/Why-would-some-use-scrapy-instead-of-just-crawling-with-requests-or-urllib2

это всё решено причем элитнее чем это делает скрапи

тема конечно на пару часиков а не так чтобы с наскока но надо наверное всётаки как то разжевать

открыл. вижу статы, логгинг - окей, нужная вещь сигналы - для борьбы с колбеками https://github.com/scrapy/scrapy/blob/master/scrapy/crawler.py#L77 - для борьбы с колбеками тред кеширующего днс резолвера. ну мб полезно грейсфул стоп - ну ок убедил

Да, был не прав, что не перечислил что именно в бойлерплейте. Но чота на ночь глядя казалось очевидным

ну в эпоху до гевента там были неплохие идеи. но они все относятся к сложностям обращения с колбеками. надо какнибудь расписать для тролей что оно делает и почему оно всё не нужно

хотя я уже давно не агрюсь. просто в новостях увидел что оно еще живо

гивент не нужен