@ProdElbars будет жить. Поприветствуем!

всем привет, кто использует prometheus мониторинг? Подскажите, какой опцией в правилах алертов можно задать единоразовый алерт. а не постоянный? .Т.е чтоб один раз оповещение пришло за сутки и всё. кейс такой. Ночью снимаю бэкап и мониторию его на экзит код, соотвенственно мне не хотелось бы получать алерт ночью, а один раз днем, когда код отличный от нуля.. Т.е алерт может быть до следующего снятия бэкапа правило алерта в данный момент выглядит так ALERT create_devdb_backup_failed IF cb_common_code{instance="<myhostname>:9991",job="devdb_backup"} > 0 and ON() (hour() >= 11 and hour() <= 23) FOR 10m ANNOTATIONS { summary= "Create devdb backup failed.", description= "Exit code is not equal to 0. {{ $labels.instance }} .", }

отключи для него автоповтор в алертменеджере да и всё

отключи для него автоповтор в алертменеджере да и всё

а что в алертмэнеджер не лазить? такой нет опции? сейчас поищу, конечно, спасибо

ну всегда для таких алертов можно вешать специальный лейбл и уже по лейблу ловить в алертменеджере

ну всегда для таких алертов можно вешать специальный лейбл и уже по лейблу ловить в алертменеджере

понял, благодарю за ответ

@inish777 будет жить. Поприветствуем!

@godbless0success будет жить. Поприветствуем!

ну всегда для таких алертов можно вешать специальный лейбл и уже по лейблу ловить в алертменеджере

а по job , так понимаю, тоже можно отключить репит

т.е , не только по лейблам

job это тоже лейбл

понял, хорошо. благодарю

@ermilov1988 будет жить. Поприветствуем!

Oleg будет жить. Поприветствуем!

@saladar будет жить. Поприветствуем!

Я думаю, здесь несколько другое имеется ввиду (что они будут окрашены в зависимости от настроек цвета и трешхолдов)

@abcooper будет жить. Поприветствуем!

почему трешхолд, если трешолд (trashold)?

Зависит от акцента, американское произношение - трэшхолд

Я думаю, здесь несколько другое имеется ввиду (что они будут окрашены в зависимости от настроек цвета и трешхолдов)

Ну такое...

Ну такое...

https://github.com/grafana/grafana/issues/8679

Всем доброго вечера! Возможно, кто-нибудь сталкивался с такой проблемой и может подсказать. Alertmanager 0.15.0, настроены уведомления в slack. При создании вебхука был указан дефолтный канал, который переопределен в slack_configs. Если включить send_resolved: true, тогда уведомления приходят в дефолтный и переопределенный канал. Отключаешь send_resolved: true - уведомления начинают приходить как и положено в переопределенный канал.

прикольно, похоже на баг

посмотри в трекере

Я единственное что нашел, что в 15 версии как раз правили в этом направлении

https://github.com/prometheus/alertmanager/pull/1408

откати :)

Спасиб)

если откат поможет, то пожалуйста напиши им issue

Да, конечно

Хм, а на 14 версии также =)

всем привет , подскажите пожалуйста кто федерацию у прометеуса настраивал , я сделал 2 инстанса slave1 и slave2 , перед ними поставил master , в конфигах у мастера указал : global: evaluation_interval: 15s external_labels: prometheus_location: global1 scrape_interval: 15s scrape_configs: - job_name: datacenter_federation honor_labels: true metrics_path: /federate params: match[]: - '{__name__=~"^job:.*"}' # - '{job="prometheus"}' # - '{__name__=~"job:.*"}' static_configs: - targets: - prometheus-slave1:9090 - prometheus-slave2:9090 как правильно запрашивать метрики с тех слейвов ? пробовал "up" выдавало только что эти прометеусы доступны

нашёл в документации на https://www.robustperception.io/federation-what-is-it-good-for/ что нужно некие "правила" на slave серверах создавать , вида : job:node_memory_MemTotal:sum = sum without(instance)(node_memory_MemTotal{job="node"}) но с этими записями они (слейвы) не стартуют

на официальной странице документации достаточно поверхностно описано , не смог найти примеров конфигов для "слейвов"

нашёл в документации на https://www.robustperception.io/federation-what-is-it-good-for/ что нужно некие "правила" на slave серверах создавать , вида : job:node_memory_MemTotal:sum = sum without(instance)(node_memory_MemTotal{job="node"}) но с этими записями они (слейвы) не стартуют

на «коллекторах» просто делаешь сбор метрик, на «мастер» создаешь правило федерации

по ссылке устаревший формат правил аггрегации

почитай доку про новый формат, который начиная с 2.0 используется

yaml-based

ок понял , благодарю

на «коллекторах» просто делаешь сбор метрик, на «мастер» создаешь правило федерации

тоесть "правила" создавать не нужно ?

можно и без правил аггрегации

вот например как выглядит мой конфиг у слейва1 : global: evaluation_interval: 15s external_labels: prometheus_location: dc1 scrape_interval: 15s #rule_files: # - node.rules scrape_configs: - job_name: node scrape_interval: 60s # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ['10.0.0.2:9100'] labels: nodename: app1.com project: someproject

просто я не совсем понял - как на мастере запрашивать эти метрики , я думал что они просто с разными лейблами появятся

это не мастер и слейв

да , я просто условно так их назвал

по ссылке устаревший формат правил аггрегации

погоди, там у него вроде все правильно. Это синтаксис для федерации, у меня такой же.

запрашивать селектором метрик который ты указываешь

match[]: - '{__name__=~"^job:.*"}' # - '{job="prometheus"}' # - '{__name__=~"job:.*"}'

вот как раз с селектором не совсем разобрался (наверное надо ещё доку почитать ...)

вот это тебе вернёт все метрики которые имеют имя совпадающее с регэкспом ^job:.*

ERROR: S client not available

но у тебя таких нет, потому что они по ссылке создаются правилами аггрегации

но у тебя таких нет, потому что они по ссылке создаются правилами аггрегации

ааа да. все заметил. Ухх глазастый. Да я тупо забираю все

мне пора деньги брать за подсказки по прометею лол

тоесть например если я хочу "аггрегировать" метрики например "up" то в match [] нужно запихнуть чтото вида : match[]: - '{__name__=~"^up:.*"}'

не

если ты хочешь _собирать_ метрики с именем up

то тебе достаточно вписать {__name__="up"}

ок понял , спасибо большое, сейчас буду пробовать

и это будет работать без каких-либо дополнительных правил аггрегации

получилось , спасибо

правильно ли я понимаю - что для того чтобы вобще всё забирать нужно использовать конструкцию вида : match[]: - '{__name__=~".*"}'

Ага

Но лучше агрегировать и собирать агрегирваные

``` match[]: - '{__name__=~".+"}' ``` вот так вот надо было ) разобрался , спасибо большое

Да, точно

yandex/ClickHouse was tagged: v1.1.54394-stable Link: https://github.com/yandex/ClickHouse/releases/tag/v1.1.54394-stable Release notes: Auto version update to [54394]

Такс, а для того чтобы собирать метрики с другой машины, на ней должен быть запущен node_exporter?

Еще телеграф можно

Я за телеграф топлю как за самое универсальное средство передачи метрик

и самое проблемное

Ну, расскажи чем?

Он тупой как бревно

И написан на гошке - что еще нужно?

у нас он регулярно зависал

Ну, расскажи в каком ключе