чем парсинг аякса принципиально сложнее?

ну тем что ты по обычному гет запросу на страницу вряд ли получишь контент

даже если брать по секунде на запрос (что довольно дико сегодня), уйдёт 55 часов, до пенсии ещё далеко

Я бы потратил пару часиков и сократил бы 55 часов до 3-х.

ну тем что ты по обычному гет запросу на страницу вряд ли получишь контент

по сути таже пагинация, так что разницы нет

ват

даже если брать по секунде на запрос (что довольно дико сегодня), уйдёт 55 часов, до пенсии ещё далеко

ужны были сылки на товары, ты их получил) Это всяко быстрей, чем искать их по страницам

ват

ват?

чем подгрузка принципиально отличается от обычной пагинации?

парсеру похуй

аякс местами даже упрощает

Я бы потратил пару часиков и сократил бы 55 часов до 3-х.

200000 запросов это все равно какой-то космический случай

чем подгрузка принципиально отличается от обычной пагинации?

хеширование url

хеширование url

парсеру какая разница?

есть разница

чем подгрузка принципиально отличается от обычной пагинации?

если у тебя по гет запросу лаяут только отдает, а аяксом контент подгружает, как ты вытащишь пыхой контент?

это конечно упоротый случай

ты можешь парсить данные пробегаясь по урлам, либо подгружать их вызывая определенный метод

через js

если акс отдаёт кусок хтмл, то это все равно дом, который можно попарсить

Почему ajax

пагинация может быть статической

про акс речь была

фолли ты влетел на середине

что акс якобы сложнее

фолли ты влетел на середине

да, наверное

пойду готовить рис

?

если акс отдаёт кусок хтмл, то это все равно дом, который можно попарсить

так а что парсить то если тебе нужен контент а его нет? :D

глаза вытянутся

так а что парсить то если тебе нужен контент а его нет? :D

как это нет? пустой якс пришёл?

куда пришел? кто его вызывать то будет?

парсер же

кто ещё то

на пхп?

вызывать js

на бейсике

причём тут джс

ты не знаешь как сэмулировать аякс запрос на пхп?

да я и курлом сэмулирую

надо знать что передавать

и куда

а ты когда парсер писать будешь, не станешь выяснять что и куда передавать надо?

нет, мне и без наркотиков хорошо

просто зачем такой изврат когда есть куча других инструментов да, можно и такое чудо собрать, но оверхед же

просто зачем такой изврат когда есть куча других инструментов да, можно и такое чудо собрать, но оверхед же

конкретнее?

конкретнее?

например нода, про которую уже говорили

гуру js там быть не надо

Кому там на ajax похуй ? Распарсите пожалуста http://www.pirosmani.spb.ru/

вот вам даже карта http://www.pirosmani.spb.ru/sitemap.xml

надо только название и цену, и все :)

Что не пожали-то?

Так что с парсером то.?? Мотаю короч ленту, так чтоб более 10мин ни кто не писал наблюдается только с 3 ночи до 9 утра. Че случилось ?

Как вытащить нужные линки элементов которые я уже вытащил с domcrawler в laravel?

Так что с парсером то.?? Мотаю короч ленту, так чтоб более 10мин ни кто не писал наблюдается только с 3 ночи до 9 утра. Че случилось ?

о тоже парсер

о тоже парсер

нет, тролинг гуру парсингов минуя JS, Ajax :)

dump($crawler->filter('a')->attr('href'));

https://static.wixstatic.com/sites/43e31c_a0f35716f98d396a55724998513df59f_90.json.z?v=3

dump($crawler->filter('a')->attr('href'));

спасибо

)

dump($crawler->filter('a')->attr('href'));

такого метода вроде нет в доках

есть

https://static.wixstatic.com/sites/43e31c_a0f35716f98d396a55724998513df59f_90.json.z?v=3

Это не парсер, а анализ страници. И единичная выборга нужного тебе запроса. Я так тоже могу https://static.wixstatic.com/sites/43e31c_0fe01702d4632411e43892dae57d9b29_155.json.z?v=3

есть

нашёл, спасибо) а класс как находить?

через фильтер

или альтернатива?

шутка юмора?

сыль перепутал )

ERROR: S client not available

Это не парсер, а анализ страници. И единичная выборга нужного тебе запроса. Я так тоже могу https://static.wixstatic.com/sites/43e31c_0fe01702d4632411e43892dae57d9b29_155.json.z?v=3

Если в ответах найдутся связи, то выкачать данные можно.

переправил)

Это даже удобнее будет.

нашёл, спасибо) а класс как находить?

attr('class')?

ну так мне не человеческая работа нужна а скриптовая. В качестве человека можно и блондику посадить, ей вообще только тыкать на товар и смотреть выписать цену

attr('class')?

аааа догнал

такого метода вроде нет в доках

можно еще так попробовать ->filter('a')->link()->getUri(),

я пробовал без getUri

$nodeValues = $crawler->filter('h2.product-name > a')->each(function (Crawler $node, $i) { return $node->attr('href'); });

потом надо обойти аякс

ну так мне не человеческая работа нужна а скриптовая. В качестве человека можно и блондику посадить, ей вообще только тыкать на товар и смотреть выписать цену

Сначала нужно знать, на что скрипт натравить.

Если апи отражает связи между ресурсами, то его нужно изучить, а потом собирать данные.

Если не отражает, всё сложнее.

Сначала нужно знать, на что скрипт натравить.

Я же написал http://www.pirosmani.spb.ru/sitemap.xml Товары добавляются, изменяются и удаляются. Т.е. не статический сайт

всем боли, if($w_o > 10000 || $h_o > 10000)

Так нужны не ссылки на объекты, а ссылки на ID ресурсов API

Твой сайтмэп здесь вообще никак не поможет.

Там у вас всё завёрнуто в AMD модули.

Единственная лазейка — изучать API

что происходит

Твой сайтмэп здесь вообще никак не поможет.

Да что вы говорите,)) Есть сайт, его нужно распарсить. Распарсить что? Распарсить товары Распарсить зачнм? Нужны товары и их цены

Дав карту, я просто упрастил задачу. Но, конечно я гляну на мастер класс, как предложат вариант парсера прям с главной страници ))

Я бы прикинулся яндекс-ботом для начала — вдруг сайт статику отдаст. =D

Ну ладно.

Почему тут 1200 сообщений?

Я бы прикинулся яндекс-ботом для начала — вдруг сайт статику отдаст. =D

ебанный стыд. Для всяких яндексов они сами текст и цену к ним могут выгружать Да и яндес бот вроде как лет 10, наверное, как скрипы может выполнять

Почему тут 1200 сообщений?

Встречный вопрос: А почему нет?

ебанный стыд. Для всяких яндексов они сами текст и цену к ним могут выгружать Да и яндес бот вроде как лет 10, наверное, как скрипы может выполнять

Я, вот, не понял твоё "ёбаный стыд".

Встречный вопрос: А почему нет?

Ты еврей чтоли? Прекрати отвечать вопросом на вопрос

ебанный стыд. Для всяких яндексов они сами текст и цену к ним могут выгружать Да и яндес бот вроде как лет 10, наверное, как скрипы может выполнять

Яндекс пока не парится. Возможно и начал. Но недавно.

Ну, поясни мне, что ли.

Ты еврей чтоли? Прекрати отвечать вопросом на вопрос

?