мне не жалко, кто успел как говорится

у меня оба адреса есть :/

у меня оба адреса есть :/

я ж не против)

Подскажите, есть например интернет магаз с которого надо произвести парсинг. Каким образом можно найти ссылки всех товаров? искал в гугле не нашел, везде только показывается как выташить инфу со страницы

а чем ссылки не инфа?

Подскажите, есть например интернет магаз с которого надо произвести парсинг. Каким образом можно найти ссылки всех товаров? искал в гугле не нашел, везде только показывается как выташить инфу со страницы

по селекторам

а чем ссылки не инфа?

++

Регуляркой

ну а если например заходишь в раздел

годных дом парсеров нету чтоли?

регулярками это жестко довольно

а там много разделов

парсить на пхп ваще помоему довольно жестко

а там много разделов

рекурсивно

Я регуляркой парсю картники с сайтов

парсить на пхп ваще помоему довольно жестко

че тут жесткого

рекурсивно

аккуратно

точнее не разделов, а страниц раздела, там же надо в кажду страницу зайти и оттуда ссылки на товары найти или как?

не поломай мозг ему

как на любом языке, в принципе

че тут жесткого

не проще каким нибудь фантомом парсить, там все таки V8 обученный работать с домом

да мне пофиг на язык) мне логику бы понять

я же вопрос не по дому задал, а как ссылки на товары найти

точнее не разделов, а страниц раздела, там же надо в кажду страницу зайти и оттуда ссылки на товары найти или как?

парсер пишется под структуру сайта, и если надо пройти все ссылки на сайте, чтобы вытащить все товары, то и парсер должен делать ровно тоже самое

если у тебя куча разделов с подразделами, то получай их структуру и рекурсивно обходи

если есть каталог - идёшь по нему

и дёргаешь что надо

ну так товары же не на одной страницы

пагинация

ну вот

а что с ней?

ты же знаешь, что делать

пагинируешь знач

и каждый раздел так пагинировать и ссылки парсить на товары ну понятно

шоб пагинация работала - вызываешь скрипт перехода на другую страницу

и каждый раздел так пагинировать и ссылки парсить на товары ну понятно

сказал, как будто самому мешки таскать

или если там url юзается - переходишь на другой url

вау

ну тут все отцы, я просто нубас, которому не ясно простите

были бы исходники чтобы вкурить) но ничего не нашел

и каждый раздел так пагинировать и ссылки парсить на товары ну понятно

ну спарсил кол страниц, дальше на каждой странице одинаковые элементы, и в цикле по 100 старницам пробегись

ну тут все отцы, я просто нубас, которому не ясно простите

дело не в опыте, дело в том, что на твой вопрос можно ответить немного подумав самому

1. Сохраняешь имя хоста. 2. Делаешь кэш обработанных адресов. 3. Рекурсивно сибираешь все ссылки в кэш. При этом проверяй, есть ли ссылка в кэше и соответствуюет ли она имени хоста. 4. Обрабатываешь ссылки (ишешь признаки того, что это страница товара и, если это так, берёшь оттуда то, что тебе нужно).

кажется сложным, когда не писал ни разу аткую штуку

кажется сложным, когда не писал ни разу аткую штуку

это только кажется

парсеры чаще всего довольно примитивны

1. Сохраняешь имя хоста. 2. Делаешь кэш обработанных адресов. 3. Рекурсивно сибираешь все ссылки в кэш. При этом проверяй, есть ли ссылка в кэше и соответствуюет ли она имени хоста. 4. Обрабатываешь ссылки (ишешь признаки того, что это страница товара и, если это так, берёшь оттуда то, что тебе нужно).

это ты уже краулер описал, не лишнее ли вообще все ссылки дергать?

просто их написание довольно рутинное занятие

это ты уже краулер описал, не лишнее ли вообще все ссылки дергать?

Если это инет-магаз, то нет смысла их фильтровать.

причём в пыхе есть всё, чтобы парсер на коленке нахуякать

Левого контента очень малый процент.

ну кому рутинное а кому нет) не все же с опытные..

причём в пыхе есть всё, чтобы парсер на коленке нахуякать

ну я видел что есть либы для работы с домом, поэтому не парюст

Если это инет-магаз, то нет смысла их фильтровать.

ну кстати если собрать все ссылки, потом проще пихнуть их в очередь и пустить в кучу потоков

Пыха для парсинга сайтов не очень.

Вот и я о том

но чисто на коленке собрать то можно, парсить в промышленных маштабах - долго

а есть примеры

где позырить?

Потоки здесь не нужны особо даже. Нода — уже справится.

Пыха для парсинга сайтов не очень.

что лучше и почему?

что лучше и почему?

Потому что пыха синхронная. большая часть времени выполнения твоего скрипта окажется ожиданием ответов на твои запросы.

что лучше и почему?

Лучше всё, что может выполняться асинхронно.

Потому что пыха синхронная. большая часть времени выполнения твоего скрипта окажется ожиданием ответов на твои запросы.

решается параллелизацией

Геморрой.

Геморрой.

спорно

И с порно тоже.

ERROR: S client not available

Я видел у одних ребят решение на phantom.js (точнее на написанном к нему расширению, каспер вроде) говорили, что тот же дум в разы быстрее разбирать

Ну, я бы не стал ради парсера заморачиваться, короч.

Я видел у одних ребят решение на phantom.js (точнее на написанном к нему расширению, каспер вроде) говорили, что тот же дум в разы быстрее разбирать

Чёт сложно. Можно и проще.

Подскажите, есть например интернет магаз с которого надо произвести парсинг. Каким образом можно найти ссылки всех товаров? искал в гугле не нашел, везде только показывается как выташить инфу со страницы

В /robots.txt находишь сылку на его sitemap карту. Загружаешь эту карту и пошаблону (если таковой есть) отфильтровываешьте сылки, что являются карточкой товара

Кстати, да. =)

Если он есть.

В /robots.txt находишь сылку на его sitemap карту. Загружаешь эту карту и пошаблону (если таковой есть) отфильтровываешьте сылки, что являются карточкой товара

а если нет роботов?

не все утруждаются

Чёт сложно. Можно и проще.

там постоянный парсинг шел, новостные агрегаторы или что то такое

я таким образом выдергивал их прайсы

да и сайтмап тоже не всегда генерят

Я просто парсером по дивам бегу обычно

без сайтмапа

phpquery тотже

https://habrahabr.ru/post/69149/

ну

нахуякал на коленке

а если нет роботов?

Должен быть ибо так не сможет нормально выгружать товары в маркет

и пусть себе в 1 поток перебирает

и пусть себе в 1 поток перебирает

Хехе.

Должен быть ибо так не сможет нормально выгружать товары в маркет

а если магазу похуй на маркет?

и пусть себе в 1 поток перебирает

а если я какой нибудь ебей спарсить захочу?

поседеть успею

не обязательно

Я просто парсером по дивам бегу обычно

Товаров может быть много, например thoman - 80тыс товаров из порядка 200 тыс страниц. Устанешь пробегаться

Товаров может быть много, например thoman - 80тыс товаров из порядка 200 тыс страниц. Устанешь пробегаться

golang + потоки

golang + потоки

а если там контент аяксом подгружается

а если там контент аяксом подгружается

golang + parse json + потоки

Товаров может быть много, например thoman - 80тыс товаров из порядка 200 тыс страниц. Устанешь пробегаться

даже если брать по секунде на запрос (что довольно дико сегодня), уйдёт 55 часов, до пенсии ещё далеко

а если там контент аяксом подгружается

Если нет пререндера, есть вопросы к адекватноси разрабов. Это ж магазин.

а если там контент аяксом подгружается

чем парсинг аякса принципиально сложнее?

golang + parse json + потоки

+ filter bot = печалька :)