поэтому трудно эмулировать

301

что 301?

что 301?

Ошибка такая в протоколе есть

301 всего лишь указыват на новый урл, который надо запросить

точнее код ответа

и все реквестеры умеют ходить по редиректам

я не понял, в чем твоя идея

301 всего лишь указыват на новый урл, который надо запросить

то есть ВНЕЗАПНО, уже не "отправил-получил результат", а надо еще в заголовок пришедший предварительно глянуть

то есть ВНЕЗАПНО, уже не "отправил-получил результат", а надо еще в заголовок пришедший предварительно глянуть

нет, не надо

это уже все сделано за нас

и все реквестеры умеют ходить по редиректам

нет, если это какой нибудь питоновский или пхпшный опен который умеет урлы открывать

нет, если это какой нибудь питоновский или пхпшный опен который умеет урлы открывать

питоновский requests умеет все это с пеленок

тот же фантом не умеет нопример

ну вот я и говорю - фантом не нужен

в большинстве случаев

только если без js никуда

точнее его можно научить конечно, но по умолчанию не редиректицца сам

а таких случаев мало

жабаскрипт сейчас чуть менее чем везде

ну, ты взял косяки фантома и попытался в них обвинить питон :) не надо так

Лучше фантома ничего нет. Подключил jquery и выбираешь нужные данные, scrapy такого удобства не даст+ не известно придетя ли тебе собирать spa приложения. А так уже заточена будет архитектура сбора

жабаскрипт сейчас чуть менее чем везде

последний раз пишу - в 95% при парсинге сайта тебе не нужно выполнять js, даже на современных сайтах

Что сравнивать, это реальный браузер

просто потому что механизм http не меняется от того, через js ты его дергаешь или рукамии

Что сравнивать, это реальный браузер

все верно

реальный браузер, который нафиг не нужен для задач обычного парсинга

просто потому что механизм http не меняется от того, через js ты его дергаешь или рукамии

Я сбором занимаюсь. Часто приходится js выполнять

хочу сказать, Grab - отличная штука, не такой накрученный как Scrapy, есть свой многопоточный модуль

хочу сказать, Grab - отличная штука, не такой накрученный как Scrapy, есть свой многопоточный модуль

устарелый, requests лучше

последний раз пишу - в 95% при парсинге сайта тебе не нужно выполнять js, даже на современных сайтах

Если список сайтов неопределен, то нужно выполнять жс

Если список сайтов неопределен, то нужно выполнять жс

Все верно

Это дальновидно

Иначе придется все переписывать

если список сайтов не определён, что там может понадобится парсить, если всё будет нестандартизировано?

Если список сайтов неопределен, то нужно выполнять жс

если список сайтов неопределен - надо всего лишь посмотреть, какой реквест надо выполнить, чтобы он стал определен

если список сайтов не определён, что там может понадобится парсить, если всё будет нестандартизировано?

поверь мне, попаданий будет процентов 60-70. Проверено

а если он вообще заранее не определен - то там выполнение js не поможет

поверь мне, попаданий будет процентов 60-70. Проверено

я имел ввиду не js, я про парсинг неопределённостей в принципе

если список сайтов неопределен - надо всего лишь посмотреть, какой реквест надо выполнить, чтобы он стал определен

Видно что тебе мало что доводилось нормально парсить. Ты с обычным парсером даже поведение пользователя не эмулируешь, а на некоторых ресурсах уже есть такая защита

отслеживание склорра, кликов

я имел ввиду не js, я про парсинг неопределённостей в принципе

главное цель поставить что именно надо на сайте найти. А там обходим теги, смотрим в классы, читаем ид, рисуем регекспы...

Видно что тебе мало что доводилось нормально парсить. Ты с обычным парсером даже поведение пользователя не эмулируешь, а на некоторых ресурсах уже есть такая защита

мне много что доводилось парсить. И с обычным парсером вполне можно эмулировать, если скопировать запросы из браузера

Видно что тебе мало что доводилось нормально парсить. Ты с обычным парсером даже поведение пользователя не эмулируешь, а на некоторых ресурсах уже есть такая защита

можно подумать что фантом не отловить

мне много что доводилось парсить. И с обычным парсером вполне можно эмулировать, если скопировать запросы из браузера

Что за бред

главное цель поставить что именно надо на сайте найти. А там обходим теги, смотрим в классы, читаем ид, рисуем регекспы...

то есть список сайтов всё-таки определён =)

и ни разу мне не приходилось js юзать при парсинге

Что за бред

факт

или ты придумал свой http?

то есть список сайтов всё-таки определён =)

не список сайтов а список целей что найти на сайтах. Разные вещи, однако

мне много что доводилось парсить. И с обычным парсером вполне можно эмулировать, если скопировать запросы из браузера

Нет, это бредятина. "копировать запросы из браузера" -упоротость и потеря времени. Подключая фантом и кликай, нажимай, скролль

И не теряй времени тонну

Нет, ничего ты толком не парсил и не аггрегировал

Иначе бы такой ахинеи не нес

Нет, это бредятина. "копировать запросы из браузера" -упоротость и потеря времени. Подключая фантом и кликай, нажимай, скролль

не нужен мне фантом, мне тексты со странички достать надо, причем тут “кликай"?

ерунду пишешь

не список сайтов а список целей что найти на сайтах. Разные вещи, однако

ну, термином было "неопределённый список сайтов", что показалось мне странным

Нет, ничего ты толком не парсил и не аггрегировал

может и побольше тебя даже

не нужен мне фантом, мне тексты со странички достать надо, причем тут “кликай"?

Да я вижу, тексты со страничек собираешь

может и побольше тебя даже

По фактам твоим видно уровень компетенции

я даже могу рассказать тебе, как в общем случае делается такой парсинг, там используется алгоритм сравнения содержимого

я даже могу рассказать тебе, как в общем случае делается такой парсинг, там используется алгоритм сравнения содержимого

Да ладно?)))

По фактам твоим видно уровень компетенции

вот именно, это тебе зачем-то мышкой тыкать надо для парсинга сайта

а у меня питон справляется

вот именно, это тебе зачем-то мышкой тыкать надо для парсинга сайта

Затем что я время экономлю и эмуляция поведения пользователя универсальна как процедура

вот именно, это тебе зачем-то мышкой тыкать надо для парсинга сайта

а как ты текст то достанешь, если оно жабаскриптом генерицца во множестве случаев

Затем что я время экономлю и эмуляция поведения пользователя универсальна как процедура

ничего ты не экономишь, успокойся

тебе так или иначе контент парсить надо, с js или без

и без него это делать проще

ничего ты не экономишь, успокойся

Ты невменяем, чувак. Я написал фукнцию и она универсальна для всех сайтов. А ты сидишь и просерая время отслеживаешь заголовки

В том числе и аякс тот же примитивный

а как ты текст то достанешь, если оно жабаскриптом генерицца во множестве случаев

оно не генерится джаваскриптом, джаваскрипт обычно делает форматирование только

А уж про эмуляцию поведения юзера молчу

за исключением упоротых случаев, когда реакт какой-нибудь

а как ты текст то достанешь, если оно жабаскриптом генерицца во множестве случаев

а есть где-нибудь общая статистика, какой процент сайтов сейчас аппендит тексты js'ом?

тогда надо один урл посмотреть и все

а есть где-нибудь общая статистика, какой процент сайтов сейчас аппендит тексты js'ом?

Нормальные ресурсы - около 30%

А уж про эмуляцию поведения юзера молчу

нету никаких проблем с эмуляцией поведениия юзера, вот вообще никаких

нету никаких проблем с эмуляцией поведениия юзера, вот вообще никаких

просер времени, вот какая у тебя проблема

нету никаких проблем с эмуляцией поведениия юзера, вот вообще никаких

в общем сиди часами и лови заголовки дальше)

просер времени, вот какая у тебя проблема

не пиши бред. Все упирается в удобство и умение

я на питончике быстрее распаршу, чем ты текст фантомом достанешь

нету никаких проблем с эмуляцией поведениия юзера, вот вообще никаких

Даладна? Ну подгрузи ленту новостей группы вконтакта без эмуляции юзера

так что не выпендривайся

Даладна? Ну подгрузи ленту новостей группы вконтакта без эмуляции юзера

а для вконтакта зачем парсить html, когда есть api?

я на питончике быстрее распаршу, чем ты текст фантомом достанешь

Эм, фантом типо на вебките, а если ты не куришь тему- он на плюсах написан

Эм, фантом типо на вебките, а если ты не куришь тему- он на плюсах написан

я знаю, как устроен фантом

более нужным он для ежедневных задач от этого не стал

так что не выпендривайся

В общем сиди оправдывайся дальше и парсь динамичные сайты питоном)))

В общем сиди оправдывайся дальше и парсь динамичные сайты питоном)))

я не оправдываюсь, я просто рассказываю, как это удобнее делать

а для вконтакта зачем парсить html, когда есть api?

я для примера чтобы понятно было и не пришлось простыню с объяснением писать

а ты не умеешь - так и скажи

я для примера чтобы понятно было и не пришлось простыню с объяснением писать

это решаемо все, там нету сложности никакой

запрос со смещением это обычно, который выцепляется за минуту и потом просто берешь контент

очевидно, один из вас парсит агрессивно и часто наталкивается на сайты, где за ботовское поведение банят, а другой парсит более щадящим образом сайты, где не банят

я для примера чтобы понятно было и не пришлось простыню с объяснением писать

Короче парню легче просрать время за отслеживанием заголовков чем нажать кнопку и словить хуком данные

Просто не компетентен

Просто не компетентен

просто я этим занимаюсь регулярно, а ты нет