там есть что-нибудь интересное?

более структурированая подача материала

а еще есть node_boot_time, label_values(node_boot_time{job=~"prometheus"}, metadata_site_name)

а еще есть node_boot_time, label_values(node_boot_time{job=~"prometheus"}, metadata_site_name)

строго говоря каждый экпортер пихает свои мета

да, это уже специфичное для экспортера

сеньк

чет гугл говорит, что нельзя, но вдруг можно Хочу вынести scrape_config в отдельный файл, так можно?

нельзя

Нет

но можно список таргетов вынести в file_sd_configs

А зачем?

а, у тебя же и там какой-то sd есть

Вот уже подсказали

у меня dns

@fishhead108 лучше перестань конфиг писать руками

и жизнь сразу наладится

Sd может быть несколько

Одновременно

@fishhead108 лучше перестань конфиг писать руками

сейчас руками, чтобы понять

а автоматизация 2ым шагом

Единственное в случае нескольких sd аккуратно с релейбингом

Единственное в случае нескольких sd аккуратно с релейбингом

а что может пойти не так? яж не глобально его делаю

Ну если у вас в job несколько sd то если laibels совпадают то для рейлбинг примениеться ко всем

Но мета лейбы у каждого sd свои

А стандартный node_exporter может, отправлять кастомную метрику? Что хочу: У серверов есть некие роли (веб, бд, стор), хочу чтобы экспортер отдавал эту роль, а я бы в графане по ролям агрегировал. Или есть более простой способ?

сам спросил, сам ответил - через jobname?

они для этого наверное нужны ? ))

textfile_collector

https://github.com/prometheus/node_exporter#textfile-collector прямо пример с ролью

https://github.com/prometheus/node_exporter#textfile-collector прямо пример с ролью

??

https://www.robustperception.io/how-to-have-labels-for-machine-roles

посоны, а есть экспортер для mssql?

(ещё не гуглил)

https://github.com/awaragi/prometheus-mssql-exporter во нашёл

что?

Не туда ткнул, вопрос был про экспортёра. Я не увидел и решил, что это для выгрузки в мсскл

коллеги, а как лучше реализовать алерт по нескольким пиковым значениям за определенный промежуток времени в prometheus (1 пик, нормальные значения, 2 пик - за 5 минут скажем), метрика - probe_http_duration_seconds

topk (5, (sum(probe_http_duration_seconds)by (instance) ) ) > 2 - нужный алерт)

Kirill Volkovich будет жить. Поприветствуем!

Nikita Sokolov будет жить. Поприветствуем!

Поделитесь cвоей конфигурацией прома, в разрезе - сервер(CPU,RAM,DISK), ноды(число)

кто-нибудь знает, умеет ли пром работать с именами метрик, в которых есть символ "."?

проблема такая - у меня есть метрики, которые присылает collectd, у них есть точки в именах метрик

соотв. я хочу забирать их в пром через remote read, но пром не может в точки в именах метрик

на самом деле многие коллекторы так делают (netdata и tcollector)

кто-нибудь знает, умеет ли пром работать с именами метрик, в которых есть символ "."?

в документации написано какие имена метрик валидны

а точки в именах метрик приняты в графите, не знаю где ещё такое есть

Всем привет! Могу в прометее --storage.tsdb.retention как-то затолкать в его конфиг? или всегда ключом запускается ?

проблема такая - у меня есть метрики, которые присылает collectd, у них есть точки в именах метрик

https://collectd.org/wiki/index.php/Plugin:Write_Prometheus

Всем привет! Могу в прометее --storage.tsdb.retention как-то затолкать в его конфиг? или всегда ключом запускается ?

в конфиг пихается то что прометей может поменять на ходу, остальное флагами запуска

в конфиг пихается то что прометей может поменять на ходу, остальное флагами запуска

Понял, спасибо!

@rstarik будет жить. Поприветствуем!

@to_major_tom будет жить. Поприветствуем!

Всем привет, а не подскажите, в графите на кликхаузе, чтобы дропнуть определённые метрики нужно лезть в консоль кликхауза и вычищать оттуда? или может есть какой волшебный метод типа /metric/metric_path/delete?

из кликхауза нельзя удалять данные

ERROR: S client not available

из кликхауза нельзя удалять данные

в мастере можно ;)

Воу-воу

Подрыв устоев!

синтаксис ALTER UPDATE / ALTER DELETE

не пригодно для частных апдейтов/делетов

при выполнении будет полный прогон по всем кускам и пересоздание всех кусков без указанных данных.

то есть по сути это не удаление. По сути это копирование базы в саму себя без некоторых кусков

примерно так я делал удаление, но честно, это такая порнография...

по сути это удаление. но механика организована как rollup да

по факту это просто выполнение GDPR

спс

С тем учётом что точки весят по 5байт, а метрики можно исключить из индексации, то удаление метрик это очень редкое действие. А если ещё и роллап учесть...

точки в каком виде весят 5 байт ?

одна на строку ?

Всем привет, подскажите, есть ли рулс на прометей который проверял бы отсутствие метрик ? т.е если экспортер упал и не отдает ничего?

Всем привет, подскажите, есть ли рулс на прометей который проверял бы отсутствие метрик ? т.е если экспортер упал и не отдает ничего?

- alert: service_down expr: up == 0 for: 2m labels: severity: page annotations: summary: "Instance {{ $labels.instance }} down" description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 2 minutes. ты про такое?

Это не "отсутствие метрик", но суть та же

Отсутствие можно проверять функцией absent

Это не "отсутствие метрик", но суть та же

да, это отсутсвие экспортера по сути

- alert: service_down expr: up == 0 for: 2m labels: severity: page annotations: summary: "Instance {{ $labels.instance }} down" description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 2 minutes. ты про такое?

попробую, юзал absent , но не совсем то, что хотелось бы. применяется только на конкретный инстанс.

- alert: service_down expr: up == 0 for: 2m labels: severity: page annotations: summary: "Instance {{ $labels.instance }} down" description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 2 minutes. ты про такое?

т.е в моем случае expr: pgbouncer_up{job="pgbouncer-exporter"} == 0 в выражении

Всем привет, подскажите, есть ли рулс на прометей который проверял бы отсутствие метрик ? т.е если экспортер упал и не отдает ничего?

https://www.robustperception.io/absent-alerting-for-jobs https://www.robustperception.io/absent-alerting-for-scraped-metrics

https://www.robustperception.io/absent-alerting-for-jobs https://www.robustperception.io/absent-alerting-for-scraped-metrics

спасибо. Почитаю, похоже на то, чт онужно

Хм... из постгреса можно как-то вытащить перцентили по скоросто выполнения запросов или только на потребителях мерять?

Ну или еще можно слоулог анализировать через мтаил, но это не все захватит

думаю с постгресом проще логи парсить