Грязный хак, как прикрутить алерты к шаблонам в графане: https://github.com/grafana/grafana/issues/6230#issuecomment-349061670

грязненько да

масштабируется не оч.

Вдруг кому интересно.

Я кстати правильно понял, что если influx - это порождение зла, то telegraf - норм, и вообще благородные доны предпочитают его?

инфлюкс писан криво.

телеграф разумное зло

с ограниченным применением

Всё фигня, кроме пчёл. Я к тому, что универсального решения под все задачи так и не придумали. Вот и выбираем постоянно, то одно, то другое

Более того, пока до определённых нагрузок не дорастаешь, можно вообще что попало выбирать. В смысле - что удобнее/что знаешь/что посоветовали. :) Один фиг потом переписывать.

алерты переписывать и дашики довольно неприятно

а от сборщика зависит нейминг метрик

согласен. но бывает всякое.

да. на до 3 серверах годится мунин и нетдата

телеграф разумное зло

Надо сказать что дополненный до ума телеграф много чего хорошего умеет. У нас допилили его до чтения хостов из файла и он не напряжно мониторит 400 + хостов по snmp

Всем привет! Помогите пожалуйста разобраться с алертингом в прометее. в Alerting rules есть annotations: summary и description https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/ Далее я пытаюсь использовать эти summary и description в default.tmpl : {{ define "slack.summary.text" }}{{ .Annotations.SUMMARY }}{{ end }} {{ define "slack.descrip.text" }}{{ .Annotations.DESCRIPTION }}{{ end }} Но при попытке отправить алерт, алертменеджер вали в логи ошибку, что он не понимает .Annotations.SUMMARY в версии прометея 1.5 это работало - конфиги у меня от него. сейчас у меня прометей 2.0 и я не нашёл в его документации даже упоминания о том, как использовать .Annotations.SUMMARY

Надо сказать что дополненный до ума телеграф много чего хорошего умеет. У нас допилили его до чтения хостов из файла и он не напряжно мониторит 400 + хостов по snmp

И как он себя ведёт когда какие-нибудь хосты недоступны? Там же вроде последовательно хосты опрашиваются. Т.е. он на каждом недоступном хосте тупить должен до таймаута. Или не так?

И какие у вас типичные задержки до хостов?

Нормально себя ведет, типичные задержки от 30 до 250мс нужно пользовать последнюю версию телеграмма - там очень сильно поправили работу с СНМП

*телеграфа

Нормально себя ведет, типичные задержки от 30 до 250мс нужно пользовать последнюю версию телеграмма - там очень сильно поправили работу с СНМП

Значит надо будет дать ему второй шанс. А то я уже начал в сторону toni-moreno/snmpcollector склоняться. Там больше движухи и 100% работает асинхронно.

*телеграфа

Есть кнопка "редактировать" у сообщений :)

Есть кнопка "редактировать" у сообщений :)

Действительно :)

Значит надо будет дать ему второй шанс. А то я уже начал в сторону toni-moreno/snmpcollector склоняться. Там больше движухи и 100% работает асинхронно.

У нас исходный кейс - писать в графит, на toni-moreno/snmpcollector смотрели но он только для инфлюкса - его вообще придется переписать, а телеграф умеет в графит

Вообще в телеграфе очень не хватает возможности писать в 2 базы немного разные сеты данных с разными интервалами - вообще был бы супер сборщиком

Джентельмены... Что выбрать из алертов для небольшой инсталяции на 6 серверов?? Influx vs Prom ?

Джентельмены... Что выбрать из алертов для небольшой инсталяции на 6 серверов?? Influx vs Prom ?

Про оба есть в факе инфа

У нас исходный кейс - писать в графит, на toni-moreno/snmpcollector смотрели но он только для инфлюкса - его вообще придется переписать, а телеграф умеет в графит

Это и меня тормозит - мне тоже инфлакс не нужен.

пром, разумеется

тут инфлюкс принято хейтить)

заббикс :trollface:

бгг Zabbix/Nagios не предлагать )

Инсталляция мелкая, хочется что-то новое попробывать

6 серверов и с нетдата можно.

о, я думал что вы тут про influx’овый оф фак, пока не глянул топик канала xD

@AS12389 если не считаешь что недостатки описанные в факе критичны то пофигу что

о, я думал что вы тут про influx’овый оф фак, пока не глянул топик канала xD

Я про топик

я тут на одном из старых проектов апнул заббикс до 3.4 и как бы лучшей борды пока нет ни у кого ))

Это что же такое в 3.4 появилось? Я не заметил особых перемен.

я тут на одном из старых проектов апнул заббикс до 3.4 и как бы лучшей борды пока нет ни у кого ))

а я думал тут нельзя произносить это слово.

Пром уже есть в проде

а вот Графита и Инфлакса нет

Это что же такое в 3.4 появилось? Я не заметил особых перемен.

Зеленый цвет убрали)

а вот Графита и Инфлакса нет

Повторю в третий раз - в факе канала есть основные негативные моменты про всех трёх и заббикс

Если тебя устраивают минусы - ну ставь

Это что же такое в 3.4 появилось? Я не заметил особых перемен.

ну хотя бы борды собираемые

Я впрочем автоматом всех кто осознанно выбрал инфлакс после прочтения фака или тестов мысленно заношу в список профнепригодных :)

Всем привет! Помогите пожалуйста разобраться с алертингом в прометее. в Alerting rules есть annotations: summary и description https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/ Далее я пытаюсь использовать эти summary и description в default.tmpl : {{ define "slack.summary.text" }}{{ .Annotations.SUMMARY }}{{ end }} {{ define "slack.descrip.text" }}{{ .Annotations.DESCRIPTION }}{{ end }} Но при попытке отправить алерт, алертменеджер вали в логи ошибку, что он не понимает .Annotations.SUMMARY в версии прометея 1.5 это работало - конфиги у меня от него. сейчас у меня прометей 2.0 и я не нашёл в его документации даже упоминания о том, как использовать .Annotations.SUMMARY

Кто нибудь делал алертинг в прометее 2.0 ? поделитесь рабочими конфигами, плиз!

Конфигами чего именно? как алертманагер в конфиге указать?)

Или темплейты?)

Или темплейты?)

да, правильные темплейты, чтобы .Annotations.SUMMARY передавать

Я впрочем автоматом всех кто осознанно выбрал инфлакс после прочтения фака или тестов мысленно заношу в список профнепригодных :)

Владимир, у вас вроде графит/карбон в проде был ?

Владимир, у вас вроде графит/карбон в проде был ?

Да

И адекватность его под мониторинг тоже спорная

Спасибо Не буду эксперименировать Поставлю пром

Може ещё blackbox'ом заменить эластик?

Спасибо Не буду эксперименировать Поставлю пром

графит пока лучше всего подходит если у вас много чтений и при этом все же много записи. Но из-за отсутствия тегов ИМХО на нормальной инфраструктуре на нем мониторинг делать неудобно.

ну и плюс для мониторинга это баш-скрипты, босун, мойра и еще кто-то и на этом все

у каждого свои особенности

а на чём то иначе ?

есть алертилки поверх чего то хорошие уже ?

есть алертилки поверх чего то хорошие уже ?

ну вроде у прома оно самое вменяемое

ERROR: S client not available

есть алертилки поверх чего то хорошие уже ?

graphite + moira очень не плохо - не грузит систему хранения метрик (пока не умеет показывать алерты в графане - но это мы поправим)

ну вроде у прома оно самое вменяемое

там вроде нет темплейтинга на самим "чеки", тольк на нотифаи. нет ?

графит пока лучше всего подходит если у вас много чтений и при этом все же много записи. Но из-за отсутствия тегов ИМХО на нормальной инфраструктуре на нем мониторинг делать неудобно.

А вот что мешает например их запилить - взять реализацию на КХ, его отдельную таблицу использовать для тегов

graphite + moira очень не плохо - не грузит систему хранения метрик (пока не умеет показывать алерты в графане - но это мы поправим)

ужасно. в тегах рано или поздно вы начинаете путаться, и не имея ничего "сверху" нельзя изменить какие то значения для всех алертов в группе тегов

если вам нужно добавить алерт на некую группу метрик находящуюся по тем или иным причинам по несольким "путям", рано или поздно вы промахиваетесь и "недовешиваете"

это скорее беда графита

вот например свежий пример

ну да. но мойра же алертилка к графиту )

есть коллектор в collectd он собирает vm истансы как instance-XXXXXX

хочется его поименовать по тенантам и именам ВМ

на файловых базах был скрипт который все это безобразие резолвил через апи openstack и и делал симлинки - получалось в меру красиво - но это костыль

теги бы здесь прям дико зарешали

в реализации с КХ это пока никак не решено

а в чем проблема коллектд не резолвить красивое имя и отсылать с ним метрику ?

А вот что мешает например их запилить - взять реализацию на КХ, его отдельную таблицу использовать для тегов

Можно, но отсутствие апдейтов и делитов делает кх не шибко подходящим хранилищем тегов.

запилил бы кто к босуну борду хорошую цены б ему не было

Можно, но отсутствие апдейтов и делитов делает кх не шибко подходящим хранилищем тегов.

Да хоть реляционную бд

запилил бы кто к босуну борду хорошую цены б ему не было

А босун с чем то кроме OTSDB умеет работать ?

Можно, но отсутствие апдейтов и делитов делает кх не шибко подходящим хранилищем тегов.

Хотя есть идея под это дело использовать словарь

А босун с чем то кроме OTSDB умеет работать ?

ну с графитом кое как. получше чем мойра\кабот теже.

говорят в ес умеет, но кажется в ес стеке родного сейчас уже достаточно

Печаль Давно на босун смотрю

Это ж и есть фреймворк Рисуй любые борды

Это ж и есть фреймворк Рисуй любые борды

коненчо, только кому на себя брать этот долг хочется

Ага и StackOverflow не делятся )

там и апишечка у него есть. всё можно сделать.

Там один землекоп на весь проект

2 )

В issue ничего не фиксится (

Обидно