Oleg
Там 3 поля - ip, create, ttl
Aleksey
и что в этом случае делать не понятно.
Aleksey
толи база стара. толи фаер не корректен
Aleksey
плюс понять как не отрезать самому себе яйца тоже не плохо бы
Oleg
select ip where create > время_прошлого_запуска and create + ttl < time()
Aleksey
тогда она расти будет ага
Dmitry
Архитектура приблуды от неспящих
Dmitry
продолжайте
Pavel
тебе надо будет проверять что в базе уже нету а в фаере есть
Погодь. Смотри, аналитики замечают необычную активность, и банят ип на день. Все. Есть ип, есть ttl. Я хочу просто прочитать на другом конце света из реплики это ип, и зобанить его. Все
Oleg
Pavel
Никакой логики, ничего
Aleksey
Погодь. Смотри, аналитики замечают необычную активность, и банят ип на день. Все. Есть ип, есть ttl. Я хочу просто прочитать на другом конце света из реплики это ип, и зобанить его. Все
не всё. что будешь делать когда аналитики свою ноду блокнут ?
Oleg
Никакой логики, ничего
Ну как никакой логики. Тебе надо добавить в фв те ip которых там ещё нет и удалить те, которых уже нет в базе.
Dmitry
как насчет apache pulsar, убивать по expiry?
Pavel
Oleg
как насчет apache pulsar, убивать по expiry?
ну да, Павел с такой идеей сначала и пришел. А я ему начал про create для уменьшения трафика придумывать.
Aleksey
Да, но эт к делу не относится)
хорошо. еще к делу не относится тип бана. конечно же ты всегда будешь делать -j DROP
Aleksey
но потом вдруг нет. и пойдут блекхолы. или блекхолы на балансере. или блекхолы на активке. или даже flowspec
Oleg
Кароч. Три строчки.
1. select всё из kv,
2. ipset destroy set
3. for $ip (@selected) { ipset add set $ip; }
Aleksey
и всё это тоже не относится к делу да
Aleksey
Кароч. Три строчки.
1. select всё из kv,
2. ipset destroy set
3. for $ip (@selected) { ipset add set $ip; }
на втором этапе его взломали.
Pavel
Ну давайте говорить не про iptables, а про цеетрализованные рейтлимиты для пользователя
Dmitry
какой масштаб серверов?
Aleksey
Кароч. Три строчки.
1. select всё из kv,
2. ipset destroy set
3. for $ip (@selected) { ipset add set $ip; }
надо синк. взять 2 списка сравнить. удалить из ipset то чего нет в kv
Dmitry
Dmitry
и какой масштаб обьема юзеров
Oleg
на втором этапе его взломали.
Ой, да я тебя умоляю. В архитектуре где до расползания по миру проходит 15 минут, эти милисекунды неважны.
Dmitry
да хорошо. реальное число.
Dmitry
я бы запилил клиент на golang которые смотрит в pulsar или kafka
Oleg
Как говорит в таких случаях один знакомый
Oleg
Pavel
Кафка может сама записи дропать?
Dmitry
но там вопрос о geo, так что надо подумать. pulsar поновее но с гео вроде получше
Pavel
А геореплики?
Руслан true.sorcerer
А чем тот же редис не зашел? Он ест и отдает все быстро
Руслан true.sorcerer
Но реплики вроде не шифрует, только пас
Руслан true.sorcerer
Да без проблем
Руслан true.sorcerer
В один поток
Pavel
А потом прочти 100 раз по 10000 тыщ
Pavel
Одновременно
Руслан true.sorcerer
в чистую вроде под лям в сек
Dmitry
@caligo8658 а там правила везеде одинаковые или есть желание на разные хосты разные правила вешать?
Dmitry
(мож пропустил, говорилось уже где?)
Oleg
Я бы всё это вообще в memcached держал. Но вы тут слишком модные для моих старпёрских архитектур.
Dmitry
Правила у него везде одинаковые.
короче если те инструкции что уже исполнены не важны кафка ок потянет
Pavel
Dmitry
Я бы всё это вообще в memcached держал. Но вы тут слишком модные для моих старпёрских архитектур.
кафка не сложная вообще. это просто распределенный лог по сути
Dmitry
Я бы всё это вообще в memcached держал. Но вы тут слишком модные для моих старпёрских архитектур.
нужно ведь распределенно, мемкеш упал - и все
Oleg
нужно ведь распределенно, мемкеш упал - и все
И так и так нужно распределённо. А все мемкеши не упадут.
Aleksey
Pavel
@caligo8658 а там правила везеде одинаковые или есть желание на разные хосты разные правила вешать?
Правила в итоге везде одигаковые должны быть, но управлять их экспирацией дико не хочется
Oleg
Dmitry
confluent replicator, вроде не является частью опенсорсной кафки
а, connect replicator, открыт вроде
Dmitry
Правила в итоге везде одигаковые должны быть, но управлять их экспирацией дико не хочется
ну вот кафка и пульсар сами за тебя. но вроде redis и memcache тоже могут это сделать. но там распределенности как таковой не будет ихмо, если ее не запилить
Pavel
А консул?!
Dmitry
Я бы всё это вообще в memcached держал. Но вы тут слишком модные для моих старпёрских архитектур.
у меня стартап. юзаем кафку очень сильно.
Oleg
Aleksey
а почему сбросили со считов mongo ttl index ?
Pavel
Экспирация даж в зукипере есть, но тока в бете)
Dmitry
т.е. по сам ip из россии в штаты не перенеется
Aleksey
запилил коллекцию с ttl index и документ в котором лежит всё чо надо
Aleksey
и добавляй удаляй чо хочу
Aleksey
нагрузка на базу смешная