?

клоунада

Просто не компетентен

не, он компетентен, просто с данными ему везло пока

я этим занимаюсь уже года два

я этим занимаюсь уже года два

а я лет пять

ну тогда я 10

?

а у меня длиннее еще

У меня толще

короче, учи матчасть и не суй свой js туда, куда не надо

а то смешно может быть в приличном обществе

короче, учи матчасть и не суй свой js туда, куда не надо

Я же сказал -вперед просерать время и читать заголовки. А уж про говнокод для обхода некоторых систем фильтрации трафика я вообще молчу. Что ты там будем ловить и в кукисы добавлять

ну или парсить неделями что бы таймауты были или тратить тысячи на тысячи прокси

Я же сказал -вперед просерать время и читать заголовки. А уж про говнокод для обхода некоторых систем фильтрации трафика я вообще молчу. Что ты там будем ловить и в кукисы добавлять

там все проще гораздо, чем ты думаешь. Представляешься каким-нибудь хромом - и просто берешь странички по урлам

Я же говорю- я сразу вижу что ты не компетентен и не понимаешь насколько сейчас собирать некоторые ресурсы

Фантом это виртуальный браузер

в нем можно почти все

блин, ну ты упоротый

В том чилсе прикинуться правильным юзером

не надо мне рассказывать про фантом, я с ним работал

и я знаю, что он не нужен в большинстве случаев

А ты поришь говноту и потом вот начинают лимитировать запросы на ресурсах

не умеешь, не понимаешь - перестань спорить

Потому что привык работать по дедовски методами 90х годов

когда даже систем фильтрации трафика не было

и я знаю, что он не нужен в большинстве случаев

ты пишеш простыню исполнителю как определять нужен ли фантом или нет?

ты пишеш простыню исполнителю как определять нужен ли фантом или нет?

нет, я просто избегаю возиться с фантомом и делаю простой скрипт

который работает

нет, я просто избегаю возиться с фантомом и делаю простой скрипт

то есть заказчик, исполнитель и программист - ты. Ок.

фантом серьезно нужен крайне редко для таких задач

то есть заказчик, исполнитель и программист - ты. Ок.

нет, необязательно. Я этим на фрилансе тоже занимался

в реальности это три разных человека

там все проще гораздо, чем ты думаешь. Представляешься каким-нибудь хромом - и просто берешь странички по урлам

nocomments

святая простота

святая простота

просто оно работает без всяких фантомов

а я уже говорю про эмуляцию поведение юзера

а тут просто ведь можно подставить хром , реферер и получить страничку

да чувак, ты прав

можно сэмулировать поведение юзера без особой сложности, если толково подойти

а в работу с куками, редиректами и прочей фигней питон тот же умеет уже тыщу лет как

в общем все, вопрос закрыт, js-фаната и любителя тыкать мышкой разумными аргументами не переубедить

Я же говорю- через протирания часами штанов. Что бы определить КАК он определяет это поведение. Клики/скролл. Долгая долбежка логов и это НЕ УНИВЕРСАЛЬНО. Вот что важно. Когда можно 1 раз написать эмулятор который щелкает, скроллит и кликает и он будет работать везде

просто по тем инструментам которые ты используешь ясно что задачи у тебя реально простые

и ресурсы тоже, без фильтрации

Я же говорю- через протирания часами штанов. Что бы определить КАК он определяет это поведение. Клики/скролл. Долгая долбежка логов и это НЕ УНИВЕРСАЛЬНО. Вот что важно. Когда можно 1 раз написать эмулятор который щелкает, скроллит и кликает и он будет работать везде

нету там просиживания, написал - и работает. Если ты не знаешь, как это делать - так и скажи, а не спорь, как бабка “интернет не нужон"

?

Ну, мне ты напоминаешь пхпшника который выучил питон что бы решить задачу сбора эротических текстов с блога соседки зинки)

Поэтому для тебя все просто

в общем все, вопрос закрыт, js-фаната и любителя тыкать мышкой разумными аргументами не переубедить

this ^

подставил браузер и получил результат. да хрен так везде выйдет

просто нет компетенции, так еще и мозгов понять насколько бывают реально сложные ситуации что бы опредить как прикинуться юзером реальным для систем фильтрации

куда по списку чатов не зайдёшь - то лор, то двач

просто нет компетенции, так еще и мозгов понять насколько бывают реально сложные ситуации что бы опредить как прикинуться юзером реальным для систем фильтрации

я это делал много раз

куда по списку чатов не зайдёшь - то лор, то двач

и везде срач

но тебе не понять, ты любишь фантомчик и чтобы не вникать в суть

но тебе не понять, ты любишь фантомчик и чтобы не вникать в суть

какая суть? Я хорошо знаю HTTP 1.* -2.0 стандарты по rfc. Я как раз хорошо знаю суть что бы выбирать инструмент универсальный. Именно это и посоветовал парню что бы он не натыкался на грабли

какая суть? Я хорошо знаю HTTP 1.* -2.0 стандарты по rfc. Я как раз хорошо знаю суть что бы выбирать инструмент универсальный. Именно это и посоветовал парню что бы он не натыкался на грабли

ты правильно посоветовал, можно юзать фантом, а я лишь указал, что можно и не юзать фантом, потому что он тяжелый и нафиг не нужный для многих реальных задач

Бред какой-то то про фантом.

спасибо за вашу беседу) я даже и не думал, что мой вопрос вызовет такую дискуссию)

Задача стояла изначально найти все сайты на определенном движке, на входе допустим все домены Рунета. На том же питоне в десятки раз быстрее сделать 1 запрос на домен чем тоже самое с фантоном

Задача стояла изначально найти все сайты на определенном движке, на входе допустим все домены Рунета. На том же питоне в десятки раз быстрее сделать 1 запрос на домен чем тоже самое с фантоном

а фантом-то здесь зачем? тред не читал

Как раз потому что там нет браузера который выполняет js

Если бы задача стояла спарсить все сайты хотя бы главную страницу, что бы потом делать по нему выборку то фантом круче

писал чекер CMS когда-то. Все cms которые в базу входили можно было распознать по одному запросу. без js&

интересно сколько фантомом парсить все сайты рунета? )

а фантом-то здесь зачем? тред не читал

Я читал, но я в метро - что вы там писали пока еду хз

наверное, есть несколько способов решить задачу) я планировал пропарсить https://yandex.ru/yaca/?text=%D0%BC%D0%B0%D0%B3%D0%B0%D0%B7%D0%B8%D0%BD и найти тут все магазины на престашопе , но есть и другие варианты, наверное

Нет, это бредятина. "копировать запросы из браузера" -упоротость и потеря времени. Подключая фантом и кликай, нажимай, скролль

Очень сильно от задачи зависит. Вот ты поисковик и пишешь краулер. Удачи там с фантомом

там далеко не все сайты рунета)

валидная задача? валидная. Нужен там фантом? Вреден

У рег ру есть выгрузка всех ру доменов

Очень сильно от задачи зависит. Вот ты поисковик и пишешь краулер. Удачи там с фантомом

у нас был фоллбек до фантома на очень маленьком подмножестве сайтов

А уж про эмуляцию поведения юзера молчу

У тебя проф деформация - ты занимаешься серым парсингом сайтов, где тебя вполне резонно банят и считаешь что у всех такие задачи

у нас был фоллбек до фантома на очень маленьком подмножестве сайтов

ну как бы основной парсер будет быстрым и тупым )

ну как бы основной парсер будет быстрым и тупым )

все так.

У рег ру есть выгрузка всех ру доменов

спасибо)

спасибо)

найдешь кинь ссыль плиз)

http://statonline.ru/ ?

даже парся в серую дешевле и быстрее тонну проксей использовать чем фантомить)

http://statonline.ru/ ?

спасибо)

а фантом-то здесь зачем? тред не читал

Сам то читал? Как раз срач про то что Alex утверждал что парсить нужно только на фантоме.

Сам то читал? Как раз срач про то что Alex утверждал что парсить нужно только на фантоме.

я как раз не читал и об этом и написал.

извини что промазал :)

,

,

можно и удалять сообщения, если что )

там же где edit, только delete

Сам то читал? Как раз срач про то что Alex утверждал что парсить нужно только на фантоме.

как раз не утверждал что нужно ВСЕ парсить только на фантоме. Речь идет о парсинге ресурсов тривиальном. На фантоме это сделать легко + не будет расти инфраструктура проекта если на каких то сайтах встанет задача собирать JS данные. Если речь идет о серьезном краулере и в очереди сбора стоит миллиона 2 ресурсов, то здесь резонно уже нужны мощные оптимизашки. с++ + webkit и т.п Вопрос в том, что сборщики должны уметь понимать JS иначе- это не универсальные инструменты

как раз не утверждал что нужно ВСЕ парсить только на фантоме. Речь идет о парсинге ресурсов тривиальном. На фантоме это сделать легко + не будет расти инфраструктура проекта если на каких то сайтах встанет задача собирать JS данные. Если речь идет о серьезном краулере и в очереди сбора стоит миллиона 2 ресурсов, то здесь резонно уже нужны мощные оптимизашки. с++ + webkit и т.п Вопрос в том, что сборщики должны уметь понимать JS иначе- это не универсальные инструменты

> Вопрос в том, что сборщики должны уметь понимать JS это неверное утверждение

надо будет собирать что-то, требующее js - тогда да, а так фантом не нужен

Именно верно, именно универсальное

именно неверно

надо будет собирать что-то, требующее js - тогда да, а так фантом не нужен

"Речь идет о парсинге ресурсов тривиальном. На фантоме это сделать легко + не будет расти инфраструктура проекта если на каких то сайтах встанет задача собирать JS "

не надо плодить сущности

надо будет собирать что-то, требующее js - тогда да, а так фантом не нужен

Видимо твой парсер занимает строк 20 тысяч кода. Поэтому тебя вообще не волнуют архитектурные вопросы. Если бы пришлось js собирать представляю сколько бы там лапшекода было

тривиальный парсинг ресурсов не требует фантома. Если вдруг будет непреодолимая стена из js, которую сложно пробить - тогда да, придется брать фантом

if(ресурс с js) {} else {}

но по дефолту он не нужен

Я за универсальность и минимум переписывания в проектах