Кто чем сейчас пользуется для парсинга интернет магазинов?

эм. что то в голову даже не приходило

dom crawler

если нет api

api нет, пробую domxpath, есть что эффективнее?

dom crawler

за symfony не брался еще даже близко

Там только компонент от симфони

Только его ставишь и радуешься

https://jobs.tut.by/article/20049 c++ 8к зеленых

Css-selector ещё не забудь, и будешь рад полностью

В доке все описано

а что у него со скоростью и памятью? по сравнению с DOM?

Замеры не проводил, скорость устраивала. Быстро, удобно, просто. Покроет 95% твоих нужд, остальные 5% покроет - xpath

❤️ Xpath

т.е. xpath из коробки покроет 100% ? он просто посложнее?

А какой у нас андроидоклиент гитхаба самый классный?) Чтобы тасочки двигать, майлстоуны там всякие

А xpath да, ❤️

ок, xpath я поковырял, он меня пока устраивает )

xpath немного сложный, но крутой

Кто чем сейчас пользуется для парсинга интернет магазинов?

scrapy (фреймворк. удобно пауков писать.), nokogiri + mecanism, beautiful soup + urllib2 . На PHP такое не ищи. Бесполезное занятие.

подскажите, пожалуйста на страничке 28 товаров у каждого товара по 6 характеристик, допустим я могу спарсить любую характеристику, но как их спарсить 6 разом?

6 запросов дадут 6 объектов по 28 записей в каждом

а надо 1 запрос, 1 объект, по 28 записей из которых можно вытащить 6 характеристик

вопрос снимается, прогоню цикл по всем чайлдам

Кто чем сейчас пользуется для парсинга интернет магазинов?

https://github.com/dypa/phpmulticurl + phpquery не урони только хостинг магазину случайно

смотри что бы тебя не забанили

тор спасет )

так то ноды тора в открытом доступе

я парсил сайтик однажды. капча на каждый второй айпи

есть сайты, которые не любят тор, знаю )

мне однажды аж базу отдали, лишь бы сервер не грузил ;)

хахах ))

надеюсь, этот не такой ) сами виноваты, что апи нет

вроде, так и говорят парсить, по словам коиента

хахах ))

бумажные договора - великая вещь )

дык блин, не спасет база

обновы ежедневно множественные

мне однажды аж базу отдали, лишь бы сервер не грузил ;)

Право.ру не отдаёт базы )))

Но guzzle хватает

6 запросов дадут 6 объектов по 28 записей в каждом

Что мешает скормить весь хтмл в краулер и циклом пройтись

Газлом/курлом запрос и респонз в краулер

Есть goutte если что )) ну или сам скромишь респонз в краулер

На пхп7 вообще все летать будет

Что мешает скормить весь хтмл в краулер и циклом пройтись

так и нужно делать, делить получение данных от обработки это очень разумно

Есть у меня один могильничек на пфальконе + краулер - проблем нет

И на конторе есть один проект, который грабит продукты

curl отдает html нормально, получу количество товаров и пробугусь циклом по чайлдам от первого до последнего, т.е. в каждом проходе цикла будет 6 xpath

я не делаю в каждом прогоне запрос к серверу

И это правильно

1 раз целиком забираю и разбираю спокойно

Мужыыыыг

1 раз целиком забираю и разбираю спокойно

еще бы ты разбирал бы это в разных процессах и было бы совсем хорошо

поясните?

Не думаю что ему на столько надо заморачиваться

поясните?

сбор html 1 процесс, получение данных из html другой процесс

Не думаю что ему на столько надо заморачиваться

тестировать парсеринг в разы будет легяе

Надо бд какую-то или другое хранилище

Есть шанс что оверхед

Надо бд какую-то или другое хранилище

времена когда я советовал писать бд на файлах давно прошли

можно, конечно, так организовать, а как обмен данными делать?

Супервизор + хранилище?

где про это почитать?

Супервизор + хранилище?

и всё в докер ;)

Хтмл получил, сложил куданить

Демон подобрал

ERROR: S client not available

И распарсил

и всё в докер ;)

Угу. Я в докере нуб, га работе не юзают, дома как-то не до него. Но в целом интерес есть

Угу. Я в докере нуб, га работе не юзают, дома как-то не до него. Но в целом интерес есть

для него ума много не нужно

Хтмл получил, сложил куданить

в redis можно.

в redis можно.

Попадает под определение - хранилища

Хоть в файлы пиши

для него ума много не нужно

Верю

завтра продолжим?

Ай

^^

я спать )

в redis можно.

мне монга больше нравится :p

я спать )

на горшок и в люльку?! этож какой часовой пояс?

мне монга больше нравится :p

Ну так о вкусах не спорят.

Пишите в мускул в блоб :)))

Каб було

Пишите в мускул в блоб :)))

ах вот кто автор того говнокода который я видел в этом месяце )))

Показывай всем ))

Пишите в мускул в блоб :)))

Изврат

Показывай всем ))

не буду, тут многие еще не окрепли умом и не понимают что так не стоит

Я ради лола как то фильм загнал в блоб

Я ради лола как то фильм загнал в блоб

Я это еще с файрбёрдом делал лет десять назад )

Я это еще с файрбёрдом делал лет десять назад )

О май год

Этот гавенный файрберд

Свет в клинике моргнул

Не хочу "хвастаться", но на текущем, англ. проекте до сих пор считают, что это норм

Вся база клиентов к ебням

Там были анализв

Короче восстановить как я понял не вариант

https://firebase.google.com/docs/functions/

php нинужон)

php нинужон)

?