🏳️ Phil
Евгений
не его задача.
А чья? Он же за нотификации отвечает. Или ты предлагаешь раз в n времени ходить и менять конфиг?
🏳️ Phil
9 строка
Не, не лейбл. А как по лейблам эскалация и выбор кому
Aleksey
А отсылка?
https://github.com/prometheus/alertmanager#example в
Aleksey
А чья? Он же за нотификации отвечает. Или ты предлагаешь раз в n времени ходить и менять конфиг?
если отсаваться в канве пром + am то ничья. некоторые делают на основе того что в правиле учитывается время в которое его нужно расчитывать метрику
Aleksey
но в целом это задача третьей системы которая будет заниматься доставкой в человека
Aleksey
стек прометея имеет для каждого комопнента четко опеределенную задачу. и ребята яросно придерживаются концепции
🏳️ Phil
Я не очень кстати понимаю о каком вы расписании
🏳️ Phil
Пока я не вижу эскалации
Aleksey
Я не очень кстати понимаю о каком вы расписании
вася дежурит в пятницу, васе удобнее получать алерты в телеграм, а пете в слак и телефон
🏳️ Phil
вася дежурит в пятницу, васе удобнее получать алерты в телеграм, а пете в слак и телефон
А. Ага. Я до этого просто ещё не дошёл. Но тут вопрос интересный и спорный
Sergey
Ну т.е. что в проме умеет делать следящую систему, имеющую на выходе стейты
Ничего, всё правильно. Состояния сервисов как first class citizens умеет именно что исинга, плюс поддерживает их зависимости. Поэтому свои нотификации в продукте я сделал на исинге. Кстати, во второй версии у неё реально отбитый (в хорошем смысле) язык конфигурирования, который можно и не использовать, но если использовать - жизнь очень сильно упрощается.
Евгений
но в целом это задача третьей системы которая будет заниматься доставкой в человека
Ну АМ именно доставкой и занимается так-то. Если писать что-то третье, то можно прямо пром в это третье и направлять, а АМ выкинуть как убогое г
Aleksey
его задача получить от множества промов информацию об алертах сгруппировать их и отправить в нужном направлении
Sergey
вася дежурит в пятницу, васе удобнее получать алерты в телеграм, а пете в слак и телефон
Вот эта вся хрень в исинге поддерживается, и по ней даже чатик есть.
Aleksey
Вот эта вся хрень в исинге поддерживается, и по ней даже чатик есть.
я очень рад за ицингу. правда. но считаю алерт по стейту где расчет стайта в плагине плохой логикой.
Aleksey
мне кажется что клиент должен быть тупой а мозг умный
Aleksey
но это тракой вот трейд
🏳️ Phil
@freeseacher спасибо за экскурс, без этого спора я бы не посмотрел. Я без иронии. Но возращаясь к нашим баранам...
Aleksey
в ицинге логика поднятия события в плагине тоесть разбросана по милиону мест. мне так было бы не удобно.
Sergey
в ицинге логика поднятия события в плагине тоесть разбросана по милиону мест. мне так было бы не удобно.
Зато интерфейс между плагином и опросом не хрупкий. Соответственно, плагину может быть 10 лет, но он работает ровно также, как и работал 10 лет назад.
🏳️ Phil
Вот смотри. digitalocean: - srv1: - https - ssh - внутренний mysql без доступа наружу - проверка сертификата - проверка диска - LA - swap usage - srv2: - https - ssh - внутренний mysql без доступа наружу - проверка сертификата - проверка диска - LA - swap usage vscale: -srv3: -ssh -LA -swap usage Давай мы прикинем, во что мне выльется настроить это в проме. Чтобы мне круглосуточно в телегу и почту, а сотруднику в телегу только в рабочее время
Aleksey
ээээ? Там не так как в нагиосе?
в нагиосе так же. и это на мой взгляд не удобно
🏳️ Phil
Это кстати вообще самая главная штука
Евгений
его задача получить от множества промов информацию об алертах сгруппировать их и отправить в нужном направлении
Если у тебя будет приёмник алертов из АМ, который будет организовывать логику, то что мешает туда все промы уж направить? Это какая-то бессмысленная задача получается. Делать то, что будет уметь твоё собственная алертилка просто из коробки
Aleksey
я не защищаю пром с точки зрения простоты. он оооооочень сложный.
Aleksey
и в нем что бы всё работало ровно нужна бездна компонентов.
🏳️ Phil
Мне просто кажется стейты это вообще не его задача
Aleksey
но компоненты можно заменять. и скейлить независимо.
Aleksey
вот пришли парни с викторией и решили еще одну не большую боль. долговременное хранилище
🏳️ Phil
У меня аж глаз задергался
Aleksey
У меня аж глаз задергался
что? ну диаграма состояний и что ?
Aleksey
это то что внутри кода происходит
🏳️ Phil
вот пришли парни с викторией и решили еще одну не большую боль. долговременное хранилище
Вот кстати. Я вот думаю тут не поиспользовать ли его для данных с метками времени. Вместо timescaledb так сказать
🏳️ Phil
Aleksey
хочешь брать ицингу — бери.
Dmitry
Я намекаю на то, что я не совсем понимаю, зачем это вымучивать из прома. Пром может быть источником данных для этого. Но и всё
а какие кстати есть сейчас штуки, которые могут понимать алерты описанные в promethteus конфиге, но накрутить эскалации и расписание
Dmitry
никакие ;)
эм, тогда о чем разговор? Я то думал тут альтернативу алерт менеджеру предлагают, но с эскалациями
Aleksey
из опенсорсных приемников есть например алерта
Aleksey
alerta.io
Aleksey
эм, тогда о чем разговор? Я то думал тут альтернативу алерт менеджеру предлагают, но с эскалациями
нет. тут фил при помощи тактики отстоя пытается разобраться в том как работает прометей
🏳️ Phil
а какие кстати есть сейчас штуки, которые могут понимать алерты описанные в promethteus конфиге, но накрутить эскалации и расписание
А зачем алерты из конфига? Брать прсото из базы и самому всё строить. Прямо вот с той первой строчки
Dmitry
из опенсорсных приемников есть например алерта
ну я бы тогда вот ее и взял бы. Мне нравится стек прома. С заббиксом я слишком много занимался сексом
🏳️ Phil
хочешь брать ицингу — бери.
Я начал с того, что спросил "есть чо?". Оказалось, что нет
Aleksey
он реально самый огонь
Aleksey
не то что всратая ицинга
Dmitry
А зачем алерты из конфига? Брать прсото из базы и самому всё строить. Прямо вот с той первой строчки
не, мне нравтися когда все это в гите. А вот эти алерты из базы не надо, я запарился поддерживать в своей IaC такие алерты, и через API их создавать
Aleksey
не, мне нравтися когда все это в гите. А вот эти алерты из базы не надо, я запарился поддерживать в своей IaC такие алерты, и через API их создавать
на самом деле тут сложнее всё. есть следующий уровень отказа. когда отказ привёл к тому что ты не можешь отправить сообщение об отказе
Aleksey
по этому мне очень нравится логика того что система занимающаяся доставкой алерта должна быть за пределами моего контура
Aleksey
но это услуга. а значит стоит денег
🏳️ Phil
по этому мне очень нравится логика того что система занимающаяся доставкой алерта должна быть за пределами моего контура
А они есть? И да, ты понимаешь, что система должна обратно разворачивать что ты там шлёшь и иметь дублирующую конфигурацию? Ну мне насрать на "скоро протухнет сертификат" в выхи. А вот "он протухнет завтра" - нет
🏳️ Phil
А при эскалации строгая доставка и не нужна
Dmitry
Ничего не понял
ну если алерты в базе настроены, значит их туда что-то заносит. Какая-то система, следовательно, тебе чтобы продолжать хранить свои алерты в IaC, вместо банальной генерации конфига, надо такие алерты создавать через API системы мониторинга. Я про это. Ну я так с заббиксом делал
Aleksey
А при эскалации строгая доставка и не нужна
я не знаю что ты вкладываешь в понятие "эскалация"
🏳️ Phil
я не знаю что ты вкладываешь в понятие "эскалация"
Это значит он мне стреляет например первые три раза через 3 минуты, а потом раз в час. Если я acknowledge на пару часов не поставил. Тогда он молчит по этой проблеме
Dmitry
Не понял повторно. Что такое IaC? Какие в попец алерты в базе? Заббикс изначально и архитектурное и реализационное говно, примеры из заббикса всегда плохие
> Какие в попец алерты в базе Ты выше писал, а зачем алерты в конфигах описывать, когда можно в базе. IaC - инфраструктура как код > Заббикс изначально и архитектурное и реализационное говно Да > примеры из заббикса всегда плохие Да
🏳️ Phil
> Какие в попец алерты в базе Ты выше писал, а зачем алерты в конфигах описывать, когда можно в базе. IaC - инфраструктура как код > Заббикс изначально и архитектурное и реализационное говно Да > примеры из заббикса всегда плохие Да
IaC - инфраструктура как код - для меня пустое звукосочетание. я не знаю, что именно это значит > а зачем алерты в конфигах описывать Да наплевать где их описывать. Не понимаю к чему это.
Aleksey
вообще сейчас канонический стек прома выглядит для меня так вот
Magistr
IaC - это когда у тебя больше 3х серваков и вся конфигурация их и вокруг их описывается в коде
Dmitry
я не знаю что ты вкладываешь в понятие "эскалация"
Или через минуту отправляем сообщение тебе в slack Через 10 минут смс Через 30 минут звонок Через 40 минут отправляем смс какой-то группе людей
Dmitry
IaC - инфраструктура как код - для меня пустое звукосочетание. я не знаю, что именно это значит > а зачем алерты в конфигах описывать Да наплевать где их описывать. Не понимаю к чему это.
ну все описанные алерты хранятся и настраиваются из твоего инфраструктурного репозитория. Понятно что такое можно сделать в том же zabbix, просто с промом это делается очень просто, так как там все конфигурится через yaml конфиги. Вот это я конкретно и имел в виду