очень поразному

кто-то просит csv, кто-то xls, кто-то json. где-то просят специальный формат для загрузки куда-то типа wordpress или magento.

Парсеры довольно годно писать на phantomjs

Круто)

по реализации тоже очень по разному

А на чем?

Парсеры довольно годно писать на phantomjs

ток для исключительных случаев

обычно парсеры пишу на PHP Simple Dom или Scrapy. щас даже больше на скрапи

потому что у него много встроенных инструментов, например, даже не надо писать код для выгрузки

запускаешь типа

scrapy crawl primos_usa -o usa.csv -a filename=support/states.txt

возьмет исходные данные из states и сам запишет в csv

Да, скрапи топ, знаем

если сделаешь scrapy crawl primos_usa -o usa.json -a filename=support/states.txt

выгрузит в json

код тоже супер изи

Аааа, выравнивание><

хз) всегда так пишу

в парсерах самое главное знать как данные доставать, например, где-то тупо смотришь что данные из API беруться, проще под апишку и написать парсер

Код да, изи читается, вот смотрю и все понимаю :D Питон :)

как вот на примере

в этом же сайте был небольшой гемор чтобы собрать изначальные ссылки для парсинга (типа отправки форм и тд для получения ссылок), написал в дев тулз небольшой скрипт который собрал ссылки сам

В фантоме тоже удобно, можно сделать скрин страницы, можно проинклудить на сайт жеквери и работать с DOM как из браузерного интерпретатора, например $("#price").val(); Прокси, кеши, возможность заблокировать внешние ресурсы по регулярке, отключить изображения и тд

Подписка на #price

Только вот машины состояний там нет

иногда бывают сложности типа бана по ИП или надо заголовки отправлять или агента менять и тд и тп, но не часто

Так что если эмулировать навигацию пользователя, нужно имплементировать свою

В фантоме тоже удобно, можно сделать скрин страницы, можно проинклудить на сайт жеквери и работать с DOM как из браузерного интерпретатора, например $("#price").val(); Прокси, кеши, возможность заблокировать внешние ресурсы по регулярке, отключить изображения и тд

вот я и говорю что он только для самых крайних и сложных случаев нужен. часто можно сделать намного проще. хотя у меня есть парсеры и на фантоме

Хотя я ничего другого не пробовал, че я сижу спорю 😄

когда парсишь много, сразу всякие хаки отмечаешь, как парсить легче можно

например, щас парсю этот сайт http://www.laundrypartsdirect.com/American-Dryer-Parts-Replacements-Washer-Dryers-s/2002.htm

тут типа товары по страницам, по 30 штук. можно сделать по 300, но есть где даже если по 300 штук ставишь страницу, то все равно несколько страниц, то есть надо писать еще и сборщик страниц

но когда переключаешь кол-во айтемов на странице урл становится http://www.laundrypartsdirect.com/Dexter-Parts-Dexter-Laundry-Parts-Dexter-Washer-Dryer-Parts-s/2004.htm?searching=Y&sort=5&cat=2004&show=300&page=1

где можно 300 поменять на 15000 например, и тогда не придется собирать страницы, все товары из одной категории будут на одной странице

кароче, чем больше парсишь, тем это легче и быстрее. седня писал с нуля парсер по hourly контракту, сделал за 2 часа

Скоро уже будет у тебя готовый шаблон, где надо будет ток менять ссылку и данные

ну скрапи это и есть готовый шаблон по сути))

обычно надо ток исходные ссылки указать и селекторы сделать

где-то регулярками допилить еще

на пхп примерно так

В регулярки сложно(

хз)

но когда переключаешь кол-во айтемов на странице урл становится http://www.laundrypartsdirect.com/Dexter-Parts-Dexter-Laundry-Parts-Dexter-Washer-Dryer-Parts-s/2004.htm?searching=Y&sort=5&cat=2004&show=300&page=1

А. Ну я так парсил магазин, чтобы товары импортировать в свой магазин. Писал сборщик урлов, да. А в вывод писать название, таксономию, цену, описание, массив характеристик, изображения. Тысяч 10 напарсил товаров

обычно регулярку написать занимает максимум 5 минут

Но на парсер у меня часов пять ушло. Правда я с UI на tcl/tk делал

А. Ну я так парсил магазин, чтобы товары импортировать в свой магазин. Писал сборщик урлов, да. А в вывод писать название, таксономию, цену, описание, массив характеристик, изображения. Тысяч 10 напарсил товаров

я как-то парсил желтые страницы Австралии 800к айтемов )

я как-то парсил желтые страницы Австралии 800к айтемов )

Ы) Я хз сколько у меня парсил по времени, я просто оставил на ночь)

кстати, когда речь большом объеме данных идет, там уже другая история начинается. там появляется гемор типа где-то может память течь, надо больше проверок всяких писать, потому что если после нескольких часов работы упадет скрипт, очень несладко все с начала начинал, всякие бекапы, разбивка по архивам, проблемы с передачей заказчику и тд и тп

если цена не слишком интересная, я стараюсь не брать когда речь о 10к+ записях идет

такие выгрузки даже тупо проверять потом сложно, их заколебешься качать, открывать, место на компе надо и тд

Можно парсер выделять в отдельны поток, который будет отказоустойчивым, а в основном вся логика. Если поток упадет, ты можешь сообщить об этом пользователю и запустить следующий

Можно парсер выделять в отдельны поток, который будет отказоустойчивым, а в основном вся логика. Если поток упадет, ты можешь сообщить об этом пользователю и запустить следующий

обычно это оверинженеринг )

Да. Это у меня просто изначально враппер фантом на tcl/tk, поэтому фантом он уже сразу выделен в отдельный поток

падает то не только из за памяти, а из за логики иногда

типа, например, у тебя есть код "взять цену" > "распарсить ее регуляркой", где-то цена неуказана, в регулярку передался null, скрипт упал :)

я как-то парсил желтые страницы Австралии 800к айтемов )

вот из-за таких количеств парсинг не мое

вот из-за таких количеств парсинг не мое

таких тасков мало. ну и никто не заставляет их брать)

хотим ничего не пропустить

найми программиста

найми программиста

кстати около недели назад поимел такой опыт. Нанял челика для парсинга своего же html : D

индуса?)

не, челика с чатика, заодно ему помог на апворк вкатиться) 20 баксов вышло, за вечер мне сделал. Я до этого пару дней не мог норм решить:D

))

Ну этот опыт мне ооочень понравился)

Что то все про апворк говорят. Биржа для дизайнеров?

Что то все про апворк говорят. Биржа для дизайнеров?

для копирайтеров

дизайнерам там тоже место:)

Вай скоро тогда регаться побегу

Чет мне кажется, что с моим мини портфолио дня за 2-3 по любому можно заказ найти

ток не депенгуй

тебе кажется)

когда статус появится нормальный, будет ок