иногда бывают сложности типа бана по ИП или надо заголовки отправлять или агента менять и тд и тп, но не часто

Так что если эмулировать навигацию пользователя, нужно имплементировать свою

В фантоме тоже удобно, можно сделать скрин страницы, можно проинклудить на сайт жеквери и работать с DOM как из браузерного интерпретатора, например $("#price").val(); Прокси, кеши, возможность заблокировать внешние ресурсы по регулярке, отключить изображения и тд

вот я и говорю что он только для самых крайних и сложных случаев нужен. часто можно сделать намного проще. хотя у меня есть парсеры и на фантоме

Хотя я ничего другого не пробовал, че я сижу спорю ?

когда парсишь много, сразу всякие хаки отмечаешь, как парсить легче можно

например, щас парсю этот сайт http://www.laundrypartsdirect.com/American-Dryer-Parts-Replacements-Washer-Dryers-s/2002.htm

тут типа товары по страницам, по 30 штук. можно сделать по 300, но есть где даже если по 300 штук ставишь страницу, то все равно несколько страниц, то есть надо писать еще и сборщик страниц

но когда переключаешь кол-во айтемов на странице урл становится http://www.laundrypartsdirect.com/Dexter-Parts-Dexter-Laundry-Parts-Dexter-Washer-Dryer-Parts-s/2004.htm?searching=Y&sort=5&cat=2004&show=300&page=1

где можно 300 поменять на 15000 например, и тогда не придется собирать страницы, все товары из одной категории будут на одной странице

кароче, чем больше парсишь, тем это легче и быстрее. седня писал с нуля парсер по hourly контракту, сделал за 2 часа

Скоро уже будет у тебя готовый шаблон, где надо будет ток менять ссылку и данные

ну скрапи это и есть готовый шаблон по сути))

обычно надо ток исходные ссылки указать и селекторы сделать

где-то регулярками допилить еще

на пхп примерно так

В регулярки сложно(

хз)

но когда переключаешь кол-во айтемов на странице урл становится http://www.laundrypartsdirect.com/Dexter-Parts-Dexter-Laundry-Parts-Dexter-Washer-Dryer-Parts-s/2004.htm?searching=Y&sort=5&cat=2004&show=300&page=1

А. Ну я так парсил магазин, чтобы товары импортировать в свой магазин. Писал сборщик урлов, да. А в вывод писать название, таксономию, цену, описание, массив характеристик, изображения. Тысяч 10 напарсил товаров

обычно регулярку написать занимает максимум 5 минут

Но на парсер у меня часов пять ушло. Правда я с UI на tcl/tk делал

А. Ну я так парсил магазин, чтобы товары импортировать в свой магазин. Писал сборщик урлов, да. А в вывод писать название, таксономию, цену, описание, массив характеристик, изображения. Тысяч 10 напарсил товаров

я как-то парсил желтые страницы Австралии 800к айтемов )

я как-то парсил желтые страницы Австралии 800к айтемов )

Ы) Я хз сколько у меня парсил по времени, я просто оставил на ночь)

кстати, когда речь большом объеме данных идет, там уже другая история начинается. там появляется гемор типа где-то может память течь, надо больше проверок всяких писать, потому что если после нескольких часов работы упадет скрипт, очень несладко все с начала начинал, всякие бекапы, разбивка по архивам, проблемы с передачей заказчику и тд и тп

если цена не слишком интересная, я стараюсь не брать когда речь о 10к+ записях идет

такие выгрузки даже тупо проверять потом сложно, их заколебешься качать, открывать, место на компе надо и тд

Можно парсер выделять в отдельны поток, который будет отказоустойчивым, а в основном вся логика. Если поток упадет, ты можешь сообщить об этом пользователю и запустить следующий

Можно парсер выделять в отдельны поток, который будет отказоустойчивым, а в основном вся логика. Если поток упадет, ты можешь сообщить об этом пользователю и запустить следующий

обычно это оверинженеринг )

Да. Это у меня просто изначально враппер фантом на tcl/tk, поэтому фантом он уже сразу выделен в отдельный поток

падает то не только из за памяти, а из за логики иногда

типа, например, у тебя есть код "взять цену" > "распарсить ее регуляркой", где-то цена неуказана, в регулярку передался null, скрипт упал :)

что вы не спите?

я как-то парсил желтые страницы Австралии 800к айтемов )

вот из-за таких количеств парсинг не мое

вот из-за таких количеств парсинг не мое

таких тасков мало. ну и никто не заставляет их брать)

что вы не спите?

хотим ничего не пропустить

Может обьясните как реализовать такое, изменяя option изменялся бы слайд

Может обьясните как реализовать такое, изменяя option изменялся бы слайд

найми программиста

найми программиста

кстати около недели назад поимел такой опыт. Нанял челика для парсинга своего же html : D

индуса?)

не, челика с чатика, заодно ему помог на апворк вкатиться) 20 баксов вышло, за вечер мне сделал. Я до этого пару дней не мог норм решить:D

))

Ну этот опыт мне ооочень понравился)

Что то все про апворк говорят. Биржа для дизайнеров?

Что то все про апворк говорят. Биржа для дизайнеров?

для копирайтеров

Что то все про апворк говорят. Биржа для дизайнеров?

ахахахахахахахахахахахахахахах ору ????????????

дизайнерам там тоже место:)

дизайнерам там тоже место:)

и копирайтерам :)

Вай скоро тогда регаться побегу

Чет мне кажется, что с моим мини портфолио дня за 2-3 по любому можно заказ найти

ток не депенгуй

тебе кажется)

когда статус появится нормальный, будет ок

ты топ ?

у меня райзинг отжали из-за индуса сук

о найс

в pro проходил тестовые?

да

ERROR: S client not available

ну они мне прислали письмо

типа хотите стать про?

я говорю ну ок

сначала было интервью

потом задание

потом еще интервью

ток толку от этого про 0 ваще

такая еще штука есть

а энтерпрайзов у тебя не было?

это че?

блин

не к тому посту

энтерпрайз что это

это че?

это я так себе запорол стату

сейчас же есть энтерпайз клиенты с огромными бабками

у меня был заказчик, учитель, он мне тоже там навыставлял че-то типа 4.25, я говорю это че? он начал мне затирать из каких критериев он поставил оценку. но в конце написал типа, если тебе так важно, я исправлю на 5

сейчас же есть энтерпайз клиенты с огромными бабками

ну в смысле это не какой-то клауд или еще что-то, а тупо заказчики-энтерпрайзы?

у меня был заказчик, учитель, он мне тоже там навыставлял че-то типа 4.25, я говорю это че? он начал мне затирать из каких критериев он поставил оценку. но в конце написал типа, если тебе так важно, я исправлю на 5

у меня с индусом в конце сложились разлогласия . и хз как быть, мб написать в сапорт

у меня был заказчик, учитель, он мне тоже там навыставлял че-то типа 4.25, я говорю это че? он начал мне затирать из каких критериев он поставил оценку. но в конце написал типа, если тебе так важно, я исправлю на 5

исправил?

исправил?

да

да

:) Круто

ну в смысле это не какой-то клауд или еще что-то, а тупо заказчики-энтерпрайзы?

тупо да, но там тоже надо для них подтверждения проходить

у меня с индусом в конце сложились разлогласия . и хз как быть, мб написать в сапорт

им пофиг ) у меня есть пара контрактов типа "без оценки" где заказчики пропали, а я закрыл сам эти контакты, это на JSS влияет. я суппорту объяснял, им пофиг, они ниче не делают типа - ну работайте, исправляйте

да

Не подкинешь хотя бы идею йай реализовать такое? я думаю switch case -ами делат

тупо да, но там тоже надо для них подтверждения проходить

ну была пара вариантов, но я редко отвечаю на такие проекты. не люблю лонг-терм жестки, где требования какие-то когда работаешь и тд

у меня были заказчики, бельгийский стартап для медицины

им пофиг ) у меня есть пара контрактов типа "без оценки" где заказчики пропали, а я закрыл сам эти контакты, это на JSS влияет. я суппорту объяснял, им пофиг, они ниче не делают типа - ну работайте, исправляйте

самое обидно что у меня с ним почти 3к вышло и 120ч+

делали проект для англии

работали мимо авпорвка

за 3 месяца они мне заплатили че-то типа 14к+