Ручная проверка заработала

Но, я так понял, сам прометеус туда с моим конфигом не ходит

на самом деле я не знаю, можно ли file_sd_configs юзать для экспортера

в доке статичный конфиг указан

Статичный конфиг устанешь править

графики "клонированы" настройки граифков идентичны, скорее всего на ноде надо смотреть, но н езнаю что и где

потому что у тебя стоит автомасштаб

в какой влезает такой и ставится

в какой влезает такой и ставится

меня терзают сомнения. как может быть разница такая... там у меня 6 делений по вертикали а в последнем 2500 делений

этот график - отображает IO диска, так вот я захожу на 1 и начинаю поиск по дисковой системе find . -name *

и оно не поднимается по разному

у кого прометеем куб мониторится, подскажите - пром способен увидеть какие-то аннотации кроме "своих"? потому что я добавил в деплоймент аннотацию, а она не дисковерится в "before relabeling"

каких "своих"?

каких "своих"?

prometheus.io/scrape prometheus.io/path prometheus.io/port

он видит такие какие у тебя в конфиге указаны

можешь открыть /targets в гуе прометея?

он видит такие какие у тебя в конфиге указаны

А разве он не все должен показывать в before relabeling?

В гуях как раз

он там "металейблы" не показывает

он там "металейблы" не показывает

Ну вообще, я вижу там аннотацию прома одну

Т.е. ты думаешь что она есть, просто не показывает?

Товарищи

Как прометею БД чистить?

Как прометею БД чистить?

https://prometheus.io/docs/prometheus/latest/querying/api/#delete-series

Сама почистится, если ретеншн не запредельный)

https://prometheus.io/docs/prometheus/latest/querying/api/#delete-series

Усложняя задачу: прометей управляется гитлабом. Отожрала сволочь 11гб на диске

Усложняя задачу: прометей управляется гитлабом. Отожрала сволочь 11гб на диске

Ретеншн настройте меньше, не собирайте не нужные метрики. Если 11гб это много для вас.

подскажите пжс чем мне заменить 4 в запросе?

sum(node_cpu{mode="user", instance="10.0.2.250:9100"}) by (instance) / 4

у меня сейчас 4 едра, но если будет больше то будет опа

у тебя есть метрика про количество ядер

да?

sum(node_cpu{mode="system", instance="10.0.2.250:9100"}) by (instance) / machine_cpu_cores{instance="10.0.2.250:10250"} вообще все пропало, не строится график

если заменить на 4 товсе ок

у тебя справа и слева от / должны быть одинаковые лейблы

идентичный набор лейблов

идентичный набор лейблов

может вопрос покажется глупым, а что такое лейблы?

mode="system" - лейбл со значением

метки у метрик

ааа

но справа у меня в метрике нет такого лейбла

если ты справа добавишь sum(...) by (instance) то всё сработает

знаю, что неочевидно

у тебя слева делается sum(...) by (instance) и остаётся только лейбл instance

справа надо сделать так же

нет

у тебя instance разные

разное значение имеют

мне кажется вообще я делаю что-то не то.

мне надо сделать графики cpu - system, user для конкретной ноды

а разве node_exporter не возвращает кол-во ядер?

а разве node_exporter не возвращает кол-во ядер?

не нашел там такого

там есть node_cpu, он возвращает метрики по всем ядрам

а разбивка по ядрам есть?

но как взять количество непонятно

а разбивка по ядрам есть?

да

посчитать количество метрик?

count(...) by (instance)

воооо

сек

sum(node_cpu{instance="10.0.2.250:9100", mode="system"}) / count(node_cpu{instance="10.0.2.250:9100"}) by (node_cpu)

ERROR: S client not available

вроде так

по крайней мере оно делает то же что и 4

by (node_cpu)

вообще убери тогда

если ты в обоих вражениях вставляешь instance, то тебе by(..) не надо ни там ни там

вообще убери тогда

убрал, ничего не изменилось, вроде победа, попробую дальше настроить

если ты в обоих вражениях вставляешь instance, то тебе by(..) не надо ни там ни там

буду знать

Не проще avg by mode или как-то так

а если тебе в алерте например надо будет считать для вообще всех нод, то и справа и слева сделай by (instance)

никак, у тебя запрос возвращает 0 лейблов

Не проще avg by mode или как-то так

отличная мысль, надо попробовать

впринципе можно и так упростить avg(node_cpu{instance="10.0.2.250:9100", mode="idle"})

Господа, никто не знает про какие-либо неявные ограничения у influx_exporter, пропадает гдето треть точек из батча в 16к штук.

а что в логе?

Гробовая тишина

Гробовая тишина

либо эти точки не записываются, либо они не создаются, либо не передаются надо везде прочекать

Возьмите уже https://grafana.com/dashboards/405

Потому что метрика типа counter, надо сверху делать rate()

нашел классную статейку, всем рекомендую кто настраивать будет CPU usage

https://letsclearitup.com.ua/debian/prometheus-razbiraemsya-s-cpu-usage.html

В стандартной поставке графаны есть дашборд Grafana metric

Почти везде там есть job="grafana"

Что только люди не придумают, лишь бы не читать документацию.

Но я не могу нагуглить примеров этого job для прометеуса

Есть у кого этот кусок конфига?

Есть у кого этот кусок конфига?

какой кусок?

job="grafana" же должен быть описан в конфиге прометеуса?

Есть у кого этот кусок конфига?

Это внутренние метрики grafana