Владимир, добрый день. Мы принимаем ваш доклад в программу Highload++ 2018, 8 и 9 ноября. Выйду и скажу: всем привет, я адепт Церкви метрик

главное, что бы потом урлу на видос кинули

мы за лайкаем

слов много - смысла нет

по-моему очевидно, что надо смотреть почему твой кусок конфига не подключается

но кажется в этом смысла нет

по-моему очевидно, что надо смотреть почему твой кусок конфига не подключается

если вы не работали с ситемой и не знаете как она работает - вы можете думать что угодно. смысла от этого не добавиться

если вы не работали с ситемой и не знаете как она работает - вы можете думать что угодно. смысла от этого не добавиться

не работал с системой и не понимаю как работает - разные вещи, к.м.к.

не надо уметь работать с системой, чтобы понимать в какую сторону стоит посмотреть, когда ошибка настолько явно написана

надо всего лишь уметь включать логику

есть логика и опыт, а есть юношеский максимализм, застрявший в одном месте

вот если б нжинкс сказал "не знаю чо за переменная", а она у тебя в куске конфига опеределна, ты бы куда посмотрел?

есть логика и опыт, а есть юношеский максимализм, застрявший в одном месте

живущий там. что характерно - другие проверки также описанные не генерерируют ошибку

конечно же в то место, где этот кусок конфига должен подключаться

живущий там. что характерно - другие проверки также описанные не генерерируют ошибку

значит не так же

покажи соседние команды, покажи директиву include где они подключаются

покажи соседние команды, покажи директиву include где они подключаются

в этом кусе нет инклуде. тут именно проблема вызова команды с хоста. а не на сервере

сунь свою команду в тот же файл где работающая

просто проверить

/subscribe lomik/prometheus-png all

Сам на себя?)

Сам на себя?)

да чот бот не реагирует

@bandikoot будет жить. Поприветствуем!

короче есть у меня прометей в кубенях, у него в джобе вписано - action: labelmap regex: __meta_kubernetes_pod_label_(.+)и есть у меня поды у которых есть лейблы job, который становится лейблом job в прометее

как бы мне сделать чтобы лейблы job приехавшие из подов игнорировались?

сразу напомню что в прометее юзается гошные регэкспы re2 не умеющие в негатив матч

Всем привет! У прометея (алертменеджера) есть конфиг default.tmpl который описывает формат сообщения. В нём есть такие строки: {{ range . }} Labels: {{ range .Labels.SortedPairs }} - {{ .Name }} = {{ .Value }}{{ end }} {{ end }} Которые шлют в алерте такой текст: Labels alertname = Consul app = consul-exp instance = 10.4.2.13:9107 job = kubernetes-service-endpoints kubernetes_name = consul-exp kubernetes_namespace = monitoring node = kafka1-test service_id = kafka service_name = kafka severity = slack Подскажите пожалуйста, можно ли как-то вытащить отдельно какое то одно значение, например node?

Можно, это гошные шаблоны, можешь вытащить чо хочешь

а как? я не понимаю ((

методом тыка не получается ((

мне кажется, что мне надо избавиться от range, но тогда вообще ничего не приходит

Ты можешь просто залезть в мапу по ключу, без итерации через рейнж

Не вспомню щас как это сделать

Ты можешь просто залезть в мапу по ключу, без итерации через рейнж

вот это меня как раз и интересует ))

Ну блин, погугли

Go template map value

вот это меня как раз и интересует ))

{{ $labels.node }}

Вроде просто .Labels.alertname

Или с долларом

Хер поймёшь эти гошные шаблоны

https://prometheus.io/docs/prometheus/latest/configuration/template_reference/ https://golang.org/pkg/text/template/ И всё сложится в жизни, @beatlejyse

а я нагуглил только это https://prometheus.io/blog/2016/03/03/custom-alertmanager-templates/

https://prometheus.io/docs/prometheus/latest/configuration/template_reference/ https://golang.org/pkg/text/template/ И всё сложится в жизни, @beatlejyse

спасибо

Я на этой неделе такую жуть с Markdown в Alerting template Prometheus воротил, что всегда готов показать ворота в этот ад.

ща проверю ))

подскажите куда копать, тестовый пром+алерт на одном хосте. до алертменеджера алерты от прома доходят (по http) а вот алертменеджер в слаку слать не хочет: alertmanager[26815]: level=error ts=2018-09-27T13:34:29.359255247Z caller=dispatch.go:280 component=dispatcher msg="Notify for alerts failed" num_alerts=1 err="Post $slack_api_url: unsupported protocol scheme \"\""

Он же пишет в чём ошибка

У тебя какая-то хрень вместо адреса куда слать запрос

global: resolve_timeout: 3m slack_api_url: https://chat.my.site/hooks/xgssssssssss receivers: - name: slack slack_configs: - api_url: $slack_api_url

Ну

Чо за хрень с долларом вместо адреса

переменная ж

Что за переменная в ямлях?

ERROR: S client not available

Пхпшник что ли

С чего ты вообще взял что так будет работать?

Ну то есть реально интересно, что тебя натолкнуло на такую мысль

sec

https://github.com/cloudalchemy/ansible-alertmanager/blob/master/defaults/main.yml#L53

Это же комментарий

{{ $labels.node }}

не прокатило (( level=error ts=2018-09-27T13:43:32.003480708Z caller=main.go:325 msg="Loading configuration file failed" file=/etc/prometheus/alertmanager.yml err="template: default.tmpl:32: undefined variable \"$labels\""

не прокатило (( level=error ts=2018-09-27T13:43:32.003480708Z caller=main.go:325 msg="Loading configuration file failed" file=/etc/prometheus/alertmanager.yml err="template: default.tmpl:32: undefined variable \"$labels\""

Так ты в range это делаешь, наверное, там же scope меняется.

нет, без рэнжа

Можно полностью template?

да https://gist.github.com/beatlejuse/22976fc84ad6eae6eaadce8eb620d27a

Это же комментарий

спасибо. понял, что тупил

Ну ваще да, по тому куску можно подумать что такие конструкции работают

ну я и подумал :)

Лучше родную доку читай :)

попробовал {{ labels.node.Name }} та же ошибка

Попробуй то что я указал

.Labels.node

запустился. сейчас посмотрим, что придёт в алерте

не пришло письмо. в логах: template: default.tmpl:32:14: executing \"email.default.html\" at <.Labels.node.Value>: can't evaluate field Labels in type *template.Data"

и следом: level=error ts=2018-09-27T14:05:43.471263839Z caller=notify.go:332 component=dispatcher msg="Error on notify" err="cancelling notify retry for \"email\" due to unrecoverable error: executing email html template: template: default.tmpl:32:14: executing \"email.default.html\" at <.Labels.node>: can't evaluate field Labels in type *template.Data"

получается он не умеет без рэнжа вытаскивать значения... хотя странно, должно бы работать.

Ты scope перетираешь, сейчас объясню.

получается он не умеет без рэнжа вытаскивать значения... хотя странно, должно бы работать.

Умеет, прост не могу вспомнить как

получается он не умеет без рэнжа вытаскивать значения... хотя странно, должно бы работать.

А как ты вызываешь email.default.html?