пруф есть?

у него не удп флуд, просто делают много валидных запросов с разных адресов. Он выше писал

Угу, много запросов к нескольким тяжелым страницам в секунду и этого достаточно для того чтобы сайт написанный школьником и генерирующий сотню запросов к Бд падал.

да и достаточно сервисов которые палят историю А записей, по ней выичисляется твой дц и дальше простым сканированием большинство сайтов можно найти

пруф есть?

пару клиентов рассказывали

да и достаточно сервисов которые палят историю А записей, по ней выичисляется твой дц и дальше простым сканированием большинство сайтов можно найти

Може школьник и знает куда бить? : ) Это точно ddos?

какой bps?

Може школьник и знает куда бить? : ) Это точно ddos?

Да конечно нет, это не классический ддос.

Угу, много запросов к нескольким тяжелым страницам в секунду и этого достаточно для того чтобы сайт написанный школьником и генерирующий сотню запросов к Бд падал.

это нельзя покэшировать?

на уровне того же nginx'а как динамику

можно локации закрывать limit rate-ом

Нет это же всякие каталоги там вариантов параметров будет очень много

Нет это же всякие каталоги там вариантов параметров будет очень много

ну если хочется быстро то иди к любому из сервисов которые защиту от ДДоСа предоставляют. Тут подскажут точно названия хороших.

и вероятно с ними общайся на эту тему предметно

если всё так плохо с кодом, може балансер поставить ?

да кстати, тоже вариант - взять десятка 3-4 говновпсок по 5 баксов и замутить из них сложную распределенную схему

но в код придется лезть вероятно

если всё так плохо с кодом, може балансер поставить ?

ага, поднять ферму на амазоне из кучи машин чтобы обработать весь паразитный траффик

мы же девопсы

ага, поднять ферму на амазоне из кучи машин чтобы обработать весь паразитный траффик

на самом деле на триальных планах всяких хостеров можно замутить такую что обработает, больше проблема в том чтобы сделать read-only реплики базы но где надо писать в мастер

Спс за советы попробую cloudflare, а там видно будет.

Спс за советы попробую cloudflare, а там видно будет.

у них защита от ддоса вроде со следующего после фри начинается. Но лучше им конкретно написать вопрос с ситуацией.

на самом деле на триальных планах всяких хостеров можно замутить такую что обработает, больше проблема в том чтобы сделать read-only реплики базы но где надо писать в мастер

картинка про троллейбус из хлеба

у них защита от ддоса вроде со следующего после фри начинается. Но лучше им конкретно написать вопрос с ситуацией.

Попробу и бесплатный и платный

https://security.googleblog.com/2017/02/announcing-first-sha1-collision.html

Попробу и бесплатный и платный

про красную кнопку тоже не забывайте

приходилось пользоваться

Я там выбрал Security Level: I'm Under Attack!

Но еще DNS меняются пока не вижу

в ру зоне днс вообще медленно меняются

Может кто еще опыт имел с таким. Допустим я знаю что с конкретной ВПС идет спам пакетами на сайт. Впска Digitalocean, если им написать будет ли какая-то реакция. Или "это обычный краулинг", ничего поделать не можем

Может кто еще опыт имел с таким. Допустим я знаю что с конкретной ВПС идет спам пакетами на сайт. Впска Digitalocean, если им написать будет ли какая-то реакция. Или "это обычный краулинг", ничего поделать не можем

как минимум пиши на abuse

посмори их tos

можно ли, и если да, то можно смело в abuse писать, приложив дамп пакетиков

посмори их tos

Это что для нубов?)

terms of service

или как там эта штука у них называется

ну в общем где написано что можно а что нельзя

Может кто еще опыт имел с таким. Допустим я знаю что с конкретной ВПС идет спам пакетами на сайт. Впска Digitalocean, если им написать будет ли какая-то реакция. Или "это обычный краулинг", ничего поделать не можем

user-agent какой?

user-agent какой?

Когда только началось это был Python-urllib/2.7 ну это само собой понятно. Он был успешно отправлен в бан. Но у питона есть баблиотечки вроде python-grab который позволяют полностью иммитировать юзер агента пользователя

я бы сурикату всё-таки поставил

чтобы стата полная была

Если с конкретного адреса идёт спам, то неужели нельзя заблочить его? Капчу сделать и т.п? Если это обычный спам, то для хостера это равнозначно краулингу. И естественно это уже проблема ваша

Может кто еще опыт имел с таким. Допустим я знаю что с конкретной ВПС идет спам пакетами на сайт. Впска Digitalocean, если им написать будет ли какая-то реакция. Или "это обычный краулинг", ничего поделать не можем

Юзер агента проверять смысла нет, прошлый век

Если с конкретного адреса идёт спам, то неужели нельзя заблочить его? Капчу сделать и т.п? Если это обычный спам, то для хостера это равнозначно краулингу. И естественно это уже проблема ваша

Если бы с контректного адреса это не было бы никакой проблемой.

Значит подсеть надо банить временно что бы имидж ресурса не страдал. Меньшее из зол если реальный спам. Или выводить валидатор типа капчи для клиентов из подсети. Я так понял у вас никакой фильтрации трафика нет. Все ручками

Там не подсеть там большой проксилист, руками все это банить накладно

Проверьте все поля в http заголовке, не только юзер агент

Вижу что в логах nginx или там не весь?

Проверьте все поля в http заголовке, не только юзер агент

Многие валятся на том, что делают правильное содержание, но в неправильном порядке, которое не встречается в реальных браузерах

Если прокси лист то дохлый номер. Заголовки и Вовочки научились проставлять

Я говорю, мало проставить, нужно ещё не забыть про верный порядок

Уважаемые, а где сейчас модно арендовать пару гиг под бекапы?

Хостинг на Хостгатор. $8 в месяц и 15*10^3 писем от супер-мега-йоба пакистанских разработчиков, готовых написать тебе порноигру под айфон.

Ничего не понял, но все есть :)

Почём гигабайт для народа?

Тогда уж лучше на разрешение смотреть и соответствие юзер агенту

Я говорю, мало проставить, нужно ещё не забыть про верный порядок

Все вкупе и все равно не панацея

Панацея есть

Кейчас идет так как только меняетя юзер агент у меня сервер падает

потому чтто сейчас баню по юезр агенту

Я бы тебя спарсил)

Панацея есть

Тогда уж лучше на разрешение смотреть и соответствие юзер агенту

Если уже допускается валидация по js, то вычислить можно очень быстро

Нет панацеи никакой если это паблик

Можно собирать такое внушительное количество параметров, что парсер, реально обходящий такую защиту будет просто не по карману

Суть в том, что если у человека огромный прокси лист и мозги на месте, то он может что угодно собрать. Единственный гемор для спама и парсера- это закрытые страницы. Да и это обходится в раскрутке аккаунтов соц.сетей через привязку бота к ип. Эмулировать поведение юзера научились люди. И заголовки проставлять

Причём так умело что боты живут в соц сетях месяцами

Чего говорить про обычный сайт

Ну значит защищать такие сайты просто не выгодно

Когда люди хотят - они делают)

Я бы от спама капчу поставил интересную какую нибудь

Конверсия вниз, но зато и фейла не будет. За спам ещё и сайт закрыть могут

Удар по имиджу

Суть в том, что если у человека огромный прокси лист и мозги на месте, то он может что угодно собрать. Единственный гемор для спама и парсера- это закрытые страницы. Да и это обходится в раскрутке аккаунтов соц.сетей через привязку бота к ип. Эмулировать поведение юзера научились люди. И заголовки проставлять

Загибай пальцы Координаты окна, координаты смещения окна, доступная площадь экрана, массив координат кликов мыши, массив времени кликов мыши, дисперсия обоих параметров, таймзона и ряд других региональных настроек, фича-детектинг браузера и его соответствие с декларируемым, проверки, на которых валися фантом, проверки на которых валится электрон, наличие do not traсk (какая ирония) список шрифтов в системе, список плагинов в системе и их точные версии, число глобальных переменных в window, поведение при кратковременной высокой нагрузке - уникальный "маркер" системы, про порядок http заголовков и их соответствие реальным браузерам я уже писал - это далеко не полный список того, что тебе придётся достоверно эмулировать, чтобы автоматически спарсить хотя бы десять страниц сайта, серьезно относящегося к защите от краулеров

Что мне загибать пальцы. Что бы это детектировать надо что бы загрузился js. До этого момента можно легко обработать страницу. Так же если у меня динамический лист прокси все не забанишь. Но даже без запаса ты сможешь как клики эмулировать в области меню, скролл, события перехода. Реферер.

Это все делается легко

Составить список пунктов меню, вычислить позицию и сжмулирывать клик

Тебе просто не отдадут никакой инфы пока не пройдёшь вышеописанную валидацию

Составить список пунктов меню, вычислить позицию и сжмулирывать клик

на вторую попытку тебя забанят по банальным координатам кликов мыши

Загибай пальцы Координаты окна, координаты смещения окна, доступная площадь экрана, массив координат кликов мыши, массив времени кликов мыши, дисперсия обоих параметров, таймзона и ряд других региональных настроек, фича-детектинг браузера и его соответствие с декларируемым, проверки, на которых валися фантом, проверки на которых валится электрон, наличие do not traсk (какая ирония) список шрифтов в системе, список плагинов в системе и их точные версии, число глобальных переменных в window, поведение при кратковременной высокой нагрузке - уникальный "маркер" системы, про порядок http заголовков и их соответствие реальным браузерам я уже писал - это далеко не полный список того, что тебе придётся достоверно эмулировать, чтобы автоматически спарсить хотя бы десять страниц сайта, серьезно относящегося к защите от краулеров

Чем это спасёт от селениума?

php

В общем не убедил, это все легко эмулировать

Чем это спасёт от селениума?

Тем что сервис будет знать, что это твой селениум, и когда ты последовательно залогинишься с него из гватемалы и бразилии - тебя забанят

В общем не убедил, это все легко эмулировать

Ты точно прочитал весь список?

Тем что сервис будет знать, что это твой селениум, и когда ты последовательно залогинишься с него из гватемалы и бразилии - тебя забанят

Как сервис это узнает? Это будет простой браузер управляемый через webdriver

Как ты сэмулируешь то, что твой фантом выполнит ряд функций по своему из-за кривой реализации, чем выдаст себя с головой

Я тебе сказал- клиент всегда получит полноценную страницу. Ни кто не валидирует не авторищованого клиента по кликам. Потому что html он получит До этого момента. А дальше бань хоть весь интернет когда за бортом тысяча динамик прокси

Фантом нормально и чётко работает

У вас он даже тек вроде по памяти потому что не научились с ним работать

И фантом здесь не причём. Тот же селениум

Как сервис это узнает? Это будет простой браузер управляемый через webdriver

Список шрифтов в твоей системе, список плагинов браузера и их версии, список реальных возможностей движка браузера и его соответствие тому, кем он прикидывается

Я тебе сказал- клиент всегда получит полноценную страницу. Ни кто не валидирует не авторищованого клиента по кликам. Потому что html он получит До этого момента. А дальше бань хоть весь интернет когда за бортом тысяча динамик прокси

Я тебе повторяю ещё раз, не получит

Я сказал с самого начала- это не панацея все что ты говоришь

Вообще

Для нормального юзера это будет едва заметный белый экран перед окном логина, для тебя - непроходимая головная боль

Это усложняет задачу, но никогда не поможет защититься на 100 процентов