ща пример покажу

давай

$ cat /etc/prometheus/rules/service_is_unreachable.rules ALERT service_is_unreachable IF sum by (node, service)(consul_catalog_service_node_healthy == 0 and (consul_catalog_service_node_healthy{node !~ ".*beta.+"} or consul_catalog_service_node_healthy{service = "blackbox-exporter"})) FOR 3m LABELS { severity = "critical" } ANNOTATIONS { summary = "ALARM! service \"{{ $labels.service }}\" on node {{ $labels.node }} is unreachable", description = "Wake up and shine" }

так и ?

если node !~ ".*beta.+" или service = "blackbox-exporter", то колотить в рынду

у тебя вместо node !~ ".*beta.+" будет $labels.env == "prod"

или я не так понял твой вопрос?

видимо да, не понял

я могу сделать это так вот

ALERT disk_usage_percent_critical IF disk_used_percent{env="infrastructure",fstype!="rootfs"} > 95 LABELS { service = "disk", severity = "minor", value = "{{$value}}", environment = "infrastructure" } ANNOTATIONS { summary = "Disk alert triggered", description = "{{$labels.host}}:{{$labels.path}} have {{$value}}", } ALERT disk_usage_percent_critical IF disk_used_percent{env="prod",fstype!="rootfs"} > 85 LABELS { service = "disk", severity = "minor", value = "{{$value}}", environment = "Production" } ANNOTATIONS { summary = "Disk alert triggered", description = "{{$labels.host}}:{{$labels.path}} have {{$value}}", }

но это жесткое дублирование кода

ALERT disk_usage_percent_critical IF disk_used_percent{env="infrastructure",fstype!="rootfs"} > 95 or disk_used_percent{env="prod",fstype!="rootfs"} > 85 LABELS { service = "disk", severity = "minor", value = "{{$value}}", } ANNOTATIONS { summary = "Disk alert triggered", description = "In environment {{$labels.env}} {{$labels.host}}:{{$labels.path}} have {{$value}}" }

не?

IF prod_case or infra_case а дальше все одинаковое вроде

абля, ты там еще env длинно пишешь

пропустил

вообще можно убрать

там будет в дескрипшне

ну тоесть логику понял да

усложняем If

ну зато не дублируем остальное

логично да. спасибо.

https://github.com/prometheus/prometheus/releases/tag/v1.1.0

прекрасная новость

не понимаю поведение функции rate

она мне для counter rate(net_bytes_recv{host="$host"}[25s]) отдает в 10 раз ментшгие значения чем реальность

сумму забыл небось

хм

а при чем тут сумма ?

у меня ровно одна метрика

ну ты описание к рейту читал?

https://prometheus.io/docs/querying/functions/#rate

Note that when combining rate() with an aggregation operator (e.g. sum()) or a function aggregating over time (any function ending in _over_time), always take a rate() first, then aggregate. Otherwise rate() cannot detect counter resets when your target restarts.

не, я не об этом

выше

> rate(v range-vector) calculates the per-second average rate of increase of the time series in the range vector.

per-second average rate

теперь сложи их

эм

не понимаю логики

у меня есть каунтер

он растет

он изменяется

иногда

ну да

нет он все время ростет

ну он не монотонно меняется

я понимаю, что уменьшаться он не может

он же каунтер

ну так вот

он иногда подрастает

а rate монотонно регистрирует его изменение раз в секунду за заданный интервал

ну короче

вот держи пример

sum (rate (container_network_receive_bytes_total{kubernetes_io_hostname=~"^$Node$"}[10m])) by (kubernetes_pod_name)

sum(rate(net_bytes_recv{host="XXX"}[25s]))

вооот

you get the idea

теперь должно стать правильно

но в результате я получаю тот же самый график

ну чуть более сглаженный

отличия от реального положения дел ровно в 10 раз

абля

а с каким интервалом ты эту метрику снимаешь-то?

10s

я про scrape_interval

да

10s

поставь у рейта отрезок побольше

минут десять

так же

а с чем сравниваешь?

сравниваю с nload на интерфейсе

nload говорит у тя есть 20мегабит, чувак

нене

погоди

а prom говорит что 2,8

вот у тебя есть net_bytes_recv

да

без сумм, рейтов и всего говна

там цифра получена хорошая

и ее порядок верный

если ты руками возьмешь показатели несколько раз с примерно равными интервалами, ты получишь примерно верный рейт?

уверен что да.

а я не уверен

ибо эти же цифры кладутся тем же телеграфом в influxdb

и там рисуются верно

ну ты попробуй засечь

эксперимент же интереснее, чем тупняк

https://www.youtube.com/playlist?list=PLoz-W_CUquUlCq-Q0hy53TolAhaED9vmU

пронкон ))

ну ты попробуй засечь

попробовал 1457483011240-1457510637082 1457510637082-1457537699861 1457537699861-1457566716138 1457566716138-1457596700841 1457596700841-1457596700841 1457625703386-1457657536805

нормально растет

как раз ~27000000

нормально растет - это запредельная точность

как оно с реальностью-то пересекается?

да