Vladimir
десятки тысяч это уровень вконтактика, одноклассников и прочих
Vladimir
ну и ща у захудалого стартапа тысячи виртуалок на амазоне
🏳️ Phil
ну тип того
🏳️ Phil
Ну так это гавно
🏳️ Phil
Количество виртуалок Богу количества виртуалок?
Vladimir
ну никто не виноват что если хочешь оптимально тратить деньги то это в лучшем случаи 2xE5-2620
Vladimir
а для говнокода таких железок нужно много )
Vladimir
а для говнокода в Machine Learning еще больше
niko
200к метрик в графит это захудалая машинка же сдержит
niko
Из них 180к никто не читает все равно
🏳️ Phil
ну никто не виноват что если хочешь оптимально тратить деньги то это в лучшем случаи 2xE5-2620
Скромно уполз со своими E5460
niko
Смотря что ты с ними делаешь) если кладешь на хард со скоростью 200к иопс, то да)
Daniel
иопсы прометей тратит правильно
Daniel
грфит, правда, тоже можно научить
Daniel
так что проблем нет
🏳️ Phil
кроме ррд все норм тратят иопсы
Daniel
и не читает дам никто 199К метрик
Vladimir
работал я как-то в стартапе где любиымым занятием менеджера было вывести на 1 график 200 метрик
Vladimir
и чо то в этой каше искать
Daniel
ну вот поиск ответа на вопрос “почему тормозит” превращается в поиск подходящей метрики, которая покажет корреляцию
niko
А еще их аггрегировать можно:)
Daniel
а вот это надо с умом делать
🏳️ Phil
Так. Вот посмотрел прометеус алертинг. Расписания не нашел. Достаточно муторно. Как подключить свой плагин сходу не понял. И можно ли вообще кроме как через ещё один сервис и вебхук. Как например простую задачу "пингуем 20 хостов, алертим состояния" решить я даже сходу не знаю
Vladimir
А еще их аггрегировать можно:)
люди иногда делают странные вещи типа 4 ретеншн периода где делают среднее от среднего от среднего от среднего
Vladimir
и потом удивляются почему оно не то показывает
niko
И все разъезжается красиво
niko
Мм
🏳️ Phil
Так. Вот посмотрел прометеус алертинг. Расписания не нашел. Достаточно муторно. Как подключить свой плагин сходу не понял. И можно ли вообще кроме как через ещё один сервис и вебхук. Как например простую задачу "пингуем 20 хостов, алертим состояния" решить я даже сходу не знаю
Как сделать host/service dependicies тоже не очень понимаю
Daniel
я тоже ведь не знаю, че как
Daniel
у меня к прометею роман интерфейс обеспечивает
🏳️ Phil
Я просто подозреваю, что как алертер мало что до nagios-clone дотягивает. Вот есть ещё sensu и bosun. Но сходу тоже не понятно, потому что они все заводят сначала песню о метриках
Vladimir
Daniel
девопсный
Daniel
measure, блеать!
🏳️ Phil
подход чего? я вообще про метрики не интересуюсь - мне алертер состояний нужен. и кстати вам тоже, потому что любой доклад заканчивается "и тут я начал настраивать алерты"
Denis 災 nobody
я в ирц до сих пор посиживаю
Ну например это самый простой способ пообщаться с разрабами фрисвича или камаилио
Vladimir
🏳️ Phil
мониторить сервис а не хосты или софт
В чем 10 отличий? Отрицание мониторинга хостов это вообще какое-то поветрие
Vladimir
В чем 10 отличий? Отрицание мониторинга хостов это вообще какое-то поветрие
когда их у тебя тысячи то смерть какого-то процента тебя не волнует
Vladimir
а деградация сервиса волнует
🏳️ Phil
Тебя не может не волновать смерть процента. Она может быть не критична и волновать мало, но просто не волновать не может. Про 10000 мы уже говорили - мы все их знаем в лицо. А остальные?
Vladimir
Тебя не может не волновать смерть процента. Она может быть не критична и волновать мало, но просто не волновать не может. Про 10000 мы уже говорили - мы все их знаем в лицо. А остальные?
зачастую смерть все равно надо расследовать руками или полуруками
🏳️ Phil
Это другой вопрос. Но о ней надо знать что ли
Vladimir
ну ты можешь о ней знать из графиков
Vladimir
нет данных - надо пойти на хост и попырить
Daniel
если их 4, как у меня - смерть одного повод для алертов
Daniel
если их будет 10 - я даже отключу sms, оно до утра прекрасно подождет
Vladimir
Это другой вопрос. Но о ней надо знать что ли
с тем же графитом, меня волнует процентиль времени ответа пользователю, колличество "не 200", потери в любой точке инфраструктуры. А остальное в общем не шибко беспокоит
Vladimir
а, ну физические проблемы с железом еще
🏳️ Phil
Так. Верните меня на место. А зачем все эти оправдания, если можно просто мониторить состояния. Деградация это в конечном итоге тоже состояние
Vladimir
просто такие состояния удобно описывать метриками
Daniel
потому что хер ты поймешь по состояниям, как оно себя в целом чувствует
🏳️ Phil
потому что хер ты поймешь по состояниям, как оно себя в целом чувствует
Эм, а по чему ты это поймешь? По шумам в голове? Ты ведь метрики анализируешь и всё равно даёшь состояние.
Vladimir
мониторинг от SLA удобно описывать метриками
Vladimir
мониторинг от железа удобно чеками
🏳️ Phil
Тип того
Vladimir
проблема в том, что реально одно не заменяет другое, хотя все пытаются
Vladimir
а, ну и имея метрики можно делать простенький анализ
🏳️ Phil
Правда мониторинг от SLA в итоге тебе всё равно дает состояние, которое можно смотреть чеками. Я вот где не понимаю разницы. Только получение состояния разное
🏳️ Phil
Я не отрицаю метрик
🏳️ Phil
У меня недопонимание с отрицанием чеков в том числе и хостов
Vladimir
У меня недопонимание с отрицанием чеков в том числе и хостов
нет отриация их необходимости. Но объективно мне не очень важно почему у меня дропы - потому что сервис упал или хост упал
🏳️ Phil
Мы из каких-то разных миров. У меня упала сеть и я хочу об этом знать и не хочу получить 100 смс от сервисов за этой сетью. У меня есть резервы и они тоже иногда помирают, знать о них чуть ли не важнее, чем об основном сервисе. Есди у меня 10 серверов и один из них упал, то я как бы хочу послать туда замену. Я об этом должен знать. Ну и да. Я утверждаю, что 100% HA вширину не бывает. Всегда узкие места и единые точки отказа типа БД или стораджа.
🏳️ Phil
послать замену даже если это не влияет на текущую работу. или есть какое-то волшебство, позволяющее на все это забить?
Daniel
есть волшебство, которое позволяет генерить эти алерты из метрик
Vladimir
есть места где метрики прям удобно использовать
Vladimir
пример выше - дропы
Denis 災 nobody
У заббикса что-то было на тему, что если упал гейт, не надо слать о падениях серверов за этим гейтом
🏳️ Phil
Сеть это отдельная штука
Да чем она отдельная, если от нее зависит вообще могу я получить метрику или нет?
Vladimir
прогноз "место кончится через месяц"
Vladimir
Да чем она отдельная, если от нее зависит вообще могу я получить метрику или нет?
Для разных кусков оправдан свой подход
Vladimir
меня не волнует сколько фронтов живо, пока юзеры получают ответ за "в пределах СЛА" и есть 2х избыточность
🏳️ Phil
есть волшебство, которое позволяет генерить эти алерты из метрик
Оно называется - проанализировать, понять состояние. А алертер чекает его и отправляет алерт. Так или иначе этот алгоритм сохраняется вне зависимости от реализации
Vladimir
точнее оно меня волнует днем
Vladimir
но не волнует ночью
Vladimir
поэтому об этом можно не орать