А, чёрт, это же alertmanager'а template.

А не rule Prometheus'а.

ага

@kvaps будет жить. Поприветствуем!

Тогда вот этот документ, конечно. https://prometheus.io/docs/alerting/notifications/

Там нужно range'ом ходить, потому что define'отому template'у передаётся массив alert'ов.

Возможно CommonLabels подойдут

А можно ли как-то в графане засунуть переменную в название метрики?

можно

А как? Метрика промовская. Что-то я пляшу, а не работает

Через [[ var_name ]]

имя метрики - тоже лейбл

ты всегда можешь указать {__name__="metric_name"}

@Hustlerser будет жить. Поприветствуем!

lomik/prometheus-png was tagged: v0.2 Link: https://github.com/lomik/prometheus-png/releases/tag/v0.2 Release notes: * Added new GET parameter `pixelRatio`. It is usable for render clear image for displays with "device pixel ratio" != 1.0

Через [[ var_name ]]

не работает так

ты всегда можешь указать {__name__="metric_name"}

а вот это то, что надо. Спасибо

@Ujaslonastyi будет жить. Поприветствуем!

@Icewild будет жить. Поприветствуем!

Я прошу прощения, добавьте сюда @sc0rp10 говорит, что какой-то глюк и никак не может зайти, будто забанили Спасибо

Я прошу прощения, добавьте сюда @sc0rp10 говорит, что какой-то глюк и никак не может зайти, будто забанили Спасибо

А он и был забанен

Теперь разбанен

Люди добрые, ткните навскидку носом, где норм рассказывают что можно использовать в legend format в grafana? где-то пишут что прям JS можно, где-то -- html. у меня ничего из этого не работает. а задача вообще - для начала, укоротить слишком длинные имена pod-ов на cadvisor дашборде) (бэкенд - пром)

imho ничего из этого использовать нельзя

если переменная слишком длинная можно только страдать

буду рад узнать что не прав и что в {{ var }} в легенде можно использовать {{ var | lower }} что нить типа jinja. но чот подозреваю нет

@alexanderzobnin

я вот тоже вчера начал страдать - у меня имена хостов длинные

чот есть тут https://github.com/grafana/grafana/issues/3545

думаю все теперь знаеют как пользоваться github issues

о!

если переменная слишком длинная можно только страдать

можно захакать через label_replace :D

можно захакать через label_replace :D

смех смехом, а вариант рабочий

ну хаком это не перестанет быть

@alexanderzobnin

Я в отпуске :) по-моему, там go style подстановки

Неа. Там js же

vlad kulak будет жить. Поприветствуем!

Ты scope перетираешь, сейчас объясню.

в общем, так и не разобрался я что такое scope . я считаю, что основной проблемой является range. не понятно, как он работает. точнее, непонятно, почему он работает только в одну сторону - выдаёт все возможные значения и не позволяет выбрать одно или несколько реально нужных. с синтаксисом жопа - мало того, что в мануалах про range вообще ни одного упоминания, так ещё и методом подбора не удалось найти способа выдрать нужное значение (( https://prometheus.io/docs/alerting/notifications/ https://prometheus.io/docs/prometheus/latest/configuration/template_reference/

А ещё конструкция: {{ range .Labels.SortedPairs }} - {{ .Name }} = {{ .Value }}{{ end }} которая присутствует в дефолтном конфиге, то работает, то нет. и непонятно от чего это зависит - в одном и том же месте может работать а потом перестать

да, зря алертменеджер так замудрили с этим конфигом. надо было взять и использовать формат прометея - не было бы геморроя

какой формат?

А ещё конструкция: {{ range .Labels.SortedPairs }} - {{ .Name }} = {{ .Value }}{{ end }} которая присутствует в дефолтном конфиге, то работает, то нет. и непонятно от чего это зависит - в одном и том же месте может работать а потом перестать

оно может работать или нет в зависимости от количества посылаемых алертов в одном сообщении: 1 или несколько

какой формат?

наверное, имелся в виду ямл

сообщение генерит прометей всегда одно и то же. с одним алертом

и он всегда только один?

наверное, имелся в виду ямл

вот тут не знаю. даже не знаю, как посмотреть. знаю только, что прометей отдаёт данные алертменеджеру, а тот формирует из них письмо по этому шаблону. вот с этим шаблоном я и воюю.

в прометее тоже можно гошные шаблоны юзать в алертах

в аннотациях

всем привет. есть 1,5к вм с 4к дисков, с них собираются данные по перформансу дисков. как сделать в графане график, чтобы в нем выводилось топ 100 по определенному параметру?

и он всегда только один?

да, я убиваю под и на это событие генерится алерт в прометее

всем привет. есть 1,5к вм с 4к дисков, с них собираются данные по перформансу дисков. как сделать в графане график, чтобы в нем выводилось топ 100 по определенному параметру?

в прометее есть topk()

даже под я убиваю каждый раз один и тот же. только имя у него разное т.к. деплоймент его каждый раз пересоздаёт с новым именем

данные собираются в заббикс.

даже под я убиваю каждый раз один и тот же. только имя у него разное т.к. деплоймент его каждый раз пересоздаёт с новым именем

это разные поды значит

и наборы лейблов разные

смотря что такое наборы лейблов. если речь о тех, которые прописаны в деплойменте - то они наследуются подами и значит они всегда одинаковые

ERROR: S client not available

набор лейблов у временного ряда

дименшнс, измерения

называй как хочешь

а ,тогда я не знаю, что это такое

ну у тебя убился один под, запустился новый, с другим именем

это уже другой под, у него свой набор лейблов и свои временные ряды

сможешь воспроизвести посылание алертов в обоих видах?

ну вот например

чтобы посмотреть на то работает, то нет.

ну вот это выглядит норм

да, параметр instance каждый раз разный т.к. новому поду даётся новый айпишник

можешь сделать скриншотов "как выглядит алерт в прометее", "как выглядит алерт в алертменеджере", "как выглядит письмо" для обоих случаев "всё ок" и "не всё ок"?

но список параметров всегда один и тот же - т.е. не бывает такого, что параметр instance то есть, то его нет

да, я понял

сможешь сделать скриншотов?

ну это всё для случая, когда рэнж сработал

попробуем разобраться

а если он не сработал, то там просто пусто

как в это время выглядит алерт в прометее и в алертменеджере

а задача у меня не весь список лейблов выводить а выборочно. например северити мне вообще в письме не нужен.

чтобы посмотреть на то работает, то нет.

вот

ого, настолько пуcтое

просто белое письмо, да

можешь сделать скриншотов "как выглядит алерт в прометее", "как выглядит алерт в алертменеджере", "как выглядит письмо" для обоих случаев "всё ок" и "не всё ок"?

в прометее и в алертменеджере они выглядят всегда одинаково. и это нормально - ведь я колдую над конфигом алертменеджера и если что то менаю - то это касается только его

Немного наброса, но отправлять алерты письмами - не очень толковое занятие :)