Можно и топ50. Самый жир конечно топ10. С них и трафик можно нормальный получить. Но если Яндекс считает что страница ранжируется и находится в поиске, то и ссылку с такой страницы думаю засчитает плюсом.

Интересный подход, надо попробовать будет) Но всё таки буду на топ50 делать, а то топ10 жирно будет, но небольшая выборка)

У меня было на практике что одна ссылка приносила 2-3 заявки в день по услугам. Но стоила она ДОРОГО ежемесячно.

Всем привет! #вопрос : что нужно, чтобы расклеить похожие страницы в вебмастере? Сейчас загрузили уникальный контент на каждую из склеенных страниц, нужно просто ждать или какие-то манипуляции проводить?

Отправить на переобход через вебмастер.

Ну шо как новый алгортим google ? :)

что за алгоритм?

С 1 авгута google обновил поисковый алгоритм

С 1 авгута google обновил поисковый алгоритм

С 1 авгута google обновил поисковый алгоритм

чёт у всех просадки, никто про рост не пишет)

у меня один сайт хорошо вырос, +30-50 позиций

есть предположения, почему так?

#вопрос: подскажите готовые бесплатные решения для защиты от парсинга своего сайта. Я понимаю, совсем не закроешься, но дабы усложнить жизнь засранцам...

отдать фид порнушных партнёрок, если спалил парсера

из-за кривой реализации отдать это неосновным ботам Яи Г

#вопрос: подскажите готовые бесплатные решения для защиты от парсинга своего сайта. Я понимаю, совсем не закроешься, но дабы усложнить жизнь засранцам...

не вижу проблему

iptables blacklist )

Как и где выследить айпишники парсеров среди всех посетитлей?

Как и где выследить айпишники парсеров среди всех посетитлей?

Вообще я думал в строну решения: заблокать айпи если часто/много обращается

Вообще я думал в строну решения: заблокать айпи если часто/много обращается

кстати, а вы домены под свои нужды покупаете через namecheap или через что-то наше?

Дело в том, что я знаю сайты, на которых лежит клон моего.

чёт у всех просадки, никто про рост не пишет)

@carwiz Боже, да все куда проще. Я как человек который написал неодин десяток парсеров вам скажу: - Парсеры не используют кеш. Все современные браузеры кешируют данные. Все. Даже хром и файрфокс в режиме инкогнито. Парсеры ВСЕГДА грузят много ресурсов с сервера. Значит и делаю миллионы обращений. Посмотрите - за сколько обращений в среднем у вас грузится страница, посмотрите количество просматриваемых страниц. Перемножте данные и умножте на 10. Все что делает большее количество запросов за одну сессию - 20 минут. Должно автоматически баниться. - Парсеры всегда используют одинаковый патерн поведения - дерево с большим количеством ветвлений. В то время как пользователи часто возвращаются на страницы выше. Как с этим бороться - решайте сами. Есть специальные решения, которые отслеживают эти паттерны на уровне логов. Но дорогие. - Парсеры всегда создают равномерную загрузку на сервер в процесе работы. При росте количества запросов нагрузка вырастает прямопропорционально. Когда у пользователей графики нагрузки хаотические.

@carwiz Боже, да все куда проще. Я как человек который написал неодин десяток парсеров вам скажу: - Парсеры не используют кеш. Все современные браузеры кешируют данные. Все. Даже хром и файрфокс в режиме инкогнито. Парсеры ВСЕГДА грузят много ресурсов с сервера. Значит и делаю миллионы обращений. Посмотрите - за сколько обращений в среднем у вас грузится страница, посмотрите количество просматриваемых страниц. Перемножте данные и умножте на 10. Все что делает большее количество запросов за одну сессию - 20 минут. Должно автоматически баниться. - Парсеры всегда используют одинаковый патерн поведения - дерево с большим количеством ветвлений. В то время как пользователи часто возвращаются на страницы выше. Как с этим бороться - решайте сами. Есть специальные решения, которые отслеживают эти паттерны на уровне логов. Но дорогие. - Парсеры всегда создают равномерную загрузку на сервер в процесе работы. При росте количества запросов нагрузка вырастает прямопропорционально. Когда у пользователей графики нагрузки хаотические.

Это просто обновление индекса или изменения какого-нибудь алгоритма?

Что? )

@carwiz Боже, да все куда проще. Я как человек который написал неодин десяток парсеров вам скажу: - Парсеры не используют кеш. Все современные браузеры кешируют данные. Все. Даже хром и файрфокс в режиме инкогнито. Парсеры ВСЕГДА грузят много ресурсов с сервера. Значит и делаю миллионы обращений. Посмотрите - за сколько обращений в среднем у вас грузится страница, посмотрите количество просматриваемых страниц. Перемножте данные и умножте на 10. Все что делает большее количество запросов за одну сессию - 20 минут. Должно автоматически баниться. - Парсеры всегда используют одинаковый патерн поведения - дерево с большим количеством ветвлений. В то время как пользователи часто возвращаются на страницы выше. Как с этим бороться - решайте сами. Есть специальные решения, которые отслеживают эти паттерны на уровне логов. Но дорогие. - Парсеры всегда создают равномерную загрузку на сервер в процесе работы. При росте количества запросов нагрузка вырастает прямопропорционально. Когда у пользователей графики нагрузки хаотические.

обновил пост

Большинство парсеров выполняют js или довольствуются голым html?

Смотря с какой целью он парсит. Большинство - только html. Но если у вас JS сайт, то несоставит труда отрендерить страницу и выдрать оттуда данные.

А где подсчет вести этих перемножений? В php прям или в .htaccess? И как тут обусловить зеленый свет ботам яши и гугла?

А что насчет cookie? как боты к ним относятся?

О каких конкретно ботах речь? Краулеры? Парсеры?

Парсеры

@carwiz Боже, да все куда проще. Я как человек который написал неодин десяток парсеров вам скажу: - Парсеры не используют кеш. Все современные браузеры кешируют данные. Все. Даже хром и файрфокс в режиме инкогнито. Парсеры ВСЕГДА грузят много ресурсов с сервера. Значит и делаю миллионы обращений. Посмотрите - за сколько обращений в среднем у вас грузится страница, посмотрите количество просматриваемых страниц. Перемножте данные и умножте на 10. Все что делает большее количество запросов за одну сессию - 20 минут. Должно автоматически баниться. - Парсеры всегда используют одинаковый патерн поведения - дерево с большим количеством ветвлений. В то время как пользователи часто возвращаются на страницы выше. Как с этим бороться - решайте сами. Есть специальные решения, которые отслеживают эти паттерны на уровне логов. Но дорогие. - Парсеры всегда создают равномерную загрузку на сервер в процесе работы. При росте количества запросов нагрузка вырастает прямопропорционально. Когда у пользователей графики нагрузки хаотические.

парсил авито, кинопоиск, циан еще до того как это стало мейнстримом, банили очень редко

Они сильно отстают от запада. Особенно от Yelp и LinkedIn. Но с каждым годом разрыв уменьшается. Хотя Авито и сейчас парсить очень сложно.

В чем сложность?

Datacol тебе в помощь

Да и авто и Авито и маркет норм парсятся

Я сам с авито не работал, но наслышан.

Да нет никаких там запар особо, успевай только проксю менять)

На уровне вашего apache/nginx. Не уверен, что на shared это можно вообще реализовать. Насколько я помню, то норм боты фильтруются по user-agent и IP. Тут подробнее: https://support.google.com/webmasters/answer/1061943?hl=en

На тостере читал, что поисковики специально ходят с левых ip (наверно, как минимум для проверки клоакинга)

привет всем, у всех просадка по трафу пошла?