Есть готовый инструмент для junos - healthbot.
Я не могу скзаать что он хорош, но в нём снимают кол-во bgp префиксов rx/tx как метрику, добавляем максимальное кол-во как красный порог и по формуле 3-sigma считается динамический тресхолд. Например за неделю у тебя было 650к префиксов +- переодически добавлялись и удалялись допустим 1к - это ок, а вот если влетит 20к резко, то это будет превышение динамического тресхолда и будет аларм.
Если нужно дебажить (выполнять тшут скриптом и парсить результат и в соответствии с результатом выполнять следующее действие), то он тоже подойдёт, но нужно будет самому много чего писать.
Там всё на ансибле и питоне + разбор телеметрии и сислог
прикольная штука. но задача немного другая была. у аплинка упало ядро, на сессию и префиксы это не повлияло, но выхода в мир через них не было
Ivan
Ilya
Ivan
нет, fv и оно не изменилось
Ilya
пиздить их надо тогда )
Ilya
ну а вообще - ip sla/eem какой-нибудь
Ilya
но можно выстрелить в ногу
Ivan
пиздить их надо тогда )
надо, два раза такое было за месяц. но забавно что с такой же проблемой я столкнулся и в другой организации. тоесть имеет место было
Ivan
интересно
Ivan
ну вот и я склоняюсь к тому же сделать это просто скриптом
Ivan
самым простым кажется пинговать что-то за аплинком, штуки 4 адресов и если как минимум 2-3 не доступны то тушить
Stanislav
самым простым кажется пинговать что-то за аплинком, штуки 4 адресов и если как минимум 2-3 не доступны то тушить
а завтра после перебалансировки или движений в инете, все что ты пингуешь начнёт ходить через 1 аеспи, а приляжет второй
Ilya
Слова истинного SRE
vitex
самым простым кажется пинговать что-то за аплинком, штуки 4 адресов и если как минимум 2-3 не доступны то тушить
Тогда просто пингуй с хоста через пбр
А сессию роняй вон как Fd написал
Ivan
а завтра после перебалансировки или движений в инете, все что ты пингуешь начнёт ходить через 1 аеспи, а приляжет второй
не совсем понял. вот есть исп1 и есть исп2. я пингую скриптом именно через исп1 адреса и решают по ответам.
Ivan
какая мне разница что там перебалансируется
Alexander
За пункт два!!!
Ivan
мне главное доступность через исп1
Ivan
для скрипта
vitex
На джаве
Stanislav
если ты пингуешь с линкового адреса, то не факт что твои префиксы не перестанут маршртизироваться
Ivan
если ты пингуешь с линкового адреса, то не факт что твои префиксы не перестанут маршртизироваться
тоже верно. поэтому один из вариков был смотреть еще скорость на интерфейсе
Stanislav
воот
vitex
Четное число не надо брать
19 и 37
Ivan
ну в таком случае, pbr на одну свою виртуалку что она всегда ходит через исп1 и мониторить адреса за испом
Stanislav
есессно должны быть триггеры на резкое изменение трафика и\или ппс
Ivan
тогда буду проверять со своих префиксов
Alexander
есессно должны быть триггеры на резкое изменение трафика и\или ппс
Скорее, ниже определенных порогов...
Stanislav
ниже порогов тоже должен быть
Ivan
просто большой дикрейз скорости еще не показатель, на нем автоматизацию лучше не делать, можно сделать триггер и по нему делать руками. но хочется чтобы все работало автоматом, но тут тоже есть вероятность ложных срабатываний
Stanislav
но он не решит такой проблемы, как например "у вышестоящего порвали двдм и все льется резерв"
Stanislav
Stanislav
у тебя было 100 гигов на интерфейсе, А через 5 минут стало 30
Stanislav
наверное что-то произошло
Ivan
ну мне кажется тут просто два состояния тогда, без порогов, либо трафик есть либо он меньше 5%
Ivan
ну вот если стало 30г, то еще не факт что нужно прыгать на другого аплинка
Ivan
проблема может быть глобальнее везде
Ivan
если 30г еще долетает
Ivan
автоматизм не прикрутишь, иначе уйдешь на резерв на котором тоже проблемы
Evgeniy
поэтому автомагия зло
Ivan
и да и нет
Ivan
))
Stanislav
у нас служба мониторинга при такой фигне сразу же поднимала эксплуатацию (свою) и заводила тикет
Evgeniy
ну ты нормальную не напишешь
Ivan
ну а какой сервис если у меня у всех клиентов он разный
Stanislav
иначе получится что твой баш скрипт будет раз в неделю по какой-нить фигне дёргать аплинки туда сюда
Stanislav
и сервис будет в итоге еще хуже
Evgeniy
ну тут интереснее будет если трафик из-за этого перебалансируется
Evgeniy
и будет не оч
Evgeniy
и например там будет стучать в потолок
Ivan
всмысле мониторить из мира?
Ivan
ну тут интереснее будет если трафик из-за этого перебалансируется
согласен, поэтому пока размышляю
Evgeniy
свой залипший лсп
Evgeniy
или линейку
Stanislav
в аеспи эти пробы называются клиенты :)
Evgeniy
или 65ую
Evgeniy
ВОТ!
Evgeniy
спустя таймаут поднимать?
Evgeniy
и иметь проблемы по кд ? )))
Evgeniy
или выключать до утра?
Ivan
возвращаться только руками
Ivan
к примеру
Evgeniy
пизданется вторая и будет четко
Evgeniy
или твой скрипт чонить сделает
Stanislav
если вы там автоматически все тушить планируете - это запас 50% минимум на каждом держать надо (если они поровну)
Ivan
а если сервис у меня находится? контенщик к примеру
Evgeniy
если такую херню делать, то нужно какой-то скоринг продумывать и прочую херню
Evgeniy
иначе можно легко выстрелить в ногу
Ivan
если вы там автоматически все тушить планируете - это запас 50% минимум на каждом держать надо (если они поровну)
не поровну, один исп актив, второй полный резерв
Evgeniy
да не хочет человек ночами телефон брать
Ivan
по обе) ну я смысл понял, что ты предлагаешь мониторить не трафик а сервис. тоесть к примеру стучаться на вэб куда нибудь и принимать решение. это в корне то не меняет схему решения.я хотел пинговать и следить за трафиком, ты предлагаешь проверять конкретно сервис
Ivan
если я правильно понял
Ivan
тоесть смысл остается такой же что я из сети проверяю доступность сервиса в мире
Stanislav
не поровну, один исп актив, второй полный резерв
это вообще плохой вариант
у нас как-то был один апстрим из 3х букв, у которого мы честно брали 2Х (где х наш трафик), так вот, когда у другого оператора из 7 букв произошла авария - оператор из 3х букв приуныл. оказалось что им надо что-то расширять чтобы вместить весь наш трафик
в вашем случае может запросто получиться что резерв вообще не будет работать :)
Ivan
это вообще плохой вариант
у нас как-то был один апстрим из 3х букв, у которого мы честно брали 2Х (где х наш трафик), так вот, когда у другого оператора из 7 букв произошла авария - оператор из 3х букв приуныл. оказалось что им надо что-то расширять чтобы вместить весь наш трафик
в вашем случае может запросто получиться что резерв вообще не будет работать :)
не будет работать потому что просто не уследили т.к. нет трафика?