кто на lumen писал, что можете сказать про этот микрофрейморк. есть slim, silex, а есть lumen, что лучше? ---

писал на silex

как выключить варнинги через .htaccess

меня интересует больше lumen, хочу услышать отзывы про него, но сранивая его с silex, slim.

охуеть у тебя там ссылка https://paimon.pro/portfolio

можно даже fw угадать

дааа мастера по созданию сайтов

в 2017 узнали о бесплатных сертификатах

на своем сайте кривой роутинг

ахуеть у таких сайты заказывать

делать 5 проектов одновременно ад

кто на lumen писал, что можете сказать про этот микрофрейморк. есть slim, silex, а есть lumen, что лучше? ---

писал на sile

silex вроде норм

но там медленно перезжаешь на симфони

помню что где-то делал функционал который можно скопипастить в другой проект, написать заново 10 минут, ищу его в проектах уже 30

¯ \ _ (ツ) _ / ¯

сэкономил время

Кто нибудь делал парсинг интернет магазина?

На 1с Битрикс

парсинг лучше делается не зависимым от CMS

а уже на его результат навесить нужный мост в битрикс

тип как вариант yml формат для яндекс маркета и прочих

Какой вариант удобнее ребята?

из чего выбирать?

битрикс или битрикс

битрикс или bitrix

Кто нибудь делал парсинг интернет магазина?

scrapy на питоне

https://scrapy.org/

битрикс или битрикс

С open cart на битрикс

https://scrapy.org/

Requires Distributions w3lib (>=1.15.0) six (>=1.5.2) service-identity queuelib pyOpenSSL parsel (>=1.1) lxml cssselect (>=0.9) Twisted (>=13.1.0) PyDispatcher (>=2.0.5) Спасибо, я лучше lxml обойдусь

кек, пишу код у мну все работает а на сервере нет, глянул версию php там 5.6 лол, у меня 7

время обновлятся

до 7.1

Requires Distributions w3lib (>=1.15.0) six (>=1.5.2) service-identity queuelib pyOpenSSL parsel (>=1.1) lxml cssselect (>=0.9) Twisted (>=13.1.0) PyDispatcher (>=2.0.5) Спасибо, я лучше lxml обойдусь

ну, scrapy это что то вроде стандарта для парсеров

лучше нету

если нужны простые парсинги - можно и lxml

а если что то посложнее, то лучший выбор - scrapy

чем он лучше lxml?

Requires Distributions w3lib (>=1.15.0) six (>=1.5.2) service-identity queuelib pyOpenSSL parsel (>=1.1) lxml cssselect (>=0.9) Twisted (>=13.1.0) PyDispatcher (>=2.0.5) Спасибо, я лучше lxml обойдусь

учитывая что он тянит Twisted я так понимаю что это практически готовый продукт, осталось только логику парсинга впихнуть, и не парится насчет работы с сетью... или я ошибаюсь?

lxml это просто селектор, считай

ога потом притащить селинум

scrapy же полностью готовый продукт

или phantomjs до кучи

где есть все

selenium немного для других целей

это управление браузером

так если парсишь инфу а на сайте не хотят отдавать

webdriver самое то

я знаю что такое selenium

javascript unsupport

nice choice

так если парсишь инфу а на сайте не хотят отдавать

не соглашусь, обычно больше на скорость запросов тригеры нежели на эвристику

врум, врум

у всех своя специфика )

502 Bad Gateway

в остальных случаях

если надо спарсить без Js wget

и вперед

у больших сервисов так вообще проще мобильный апи разреверсить

ога прокси ставишь и смотришь

или снифер

mitm

ERROR: S client not available

в большинстве случаев достаточно просто передавать хедеры как у браузера

я так весь кинопоиск слил за 2 дня

и делать sleep() между запросами

javascript unsupport

ну если из этих трёх смотреть, то джса нет ни у одного

scrapy умеет кешировать

работать с заголовками

кликать на всякие кнопочки..

там есть почти все для парсинга

без js кликать?

интересно

try: next = self.driver.find_element_by_xpath('//*[@id="BTN_NEXT"]') url = 'http://www.example.org/abcd' yield Request(url,callback=self.parse2) next.click() except: break

ну если из этих трёх смотреть, то джса нет ни у одного

я об этом и написал

без js кликать?

именно )

извращение какое то...

try: next = self.driver.find_element_by_xpath('//*[@id="BTN_NEXT"]') url = 'http://www.example.org/abcd' yield Request(url,callback=self.parse2) next.click() except: break

дай угадаю, он берет аттрибут href и делает по нему запрос

вроде нет

без webdriver как минимум

сложно сделать норм парсинг

я не пользовался кликами в моих парсерах

а вот нужен тебе js или что по быстрее другой разговор

а вот поверх webdriver уже всякие обертки типо jquery style получения данных и тд

вроде нет

ну вот есть у меня <button type="submit" formtarget="_parent">, он прям поймет что страница в iframe и отправит submit правильно?

вангую черепашью скорость

вангую регулярки

regular hell

странные ва какие-то нафига поддержка js, можно же эмулировать ajax и не парится

поддержка js нужна чтобы была отключаемая

типо берешь webdriver

а у него уже есть разные движки

в том числе без js