А по аптайму? В логах не очень может быть видно

Да , возможно действительно стоит пересмотреть подход

Просто он прям ровно через 5 суток повторяется

А по аптайму? В логах не очень может быть видно

По аптайму тоже порядок

Попробую обновится , и там посмотрим , спасибо

Тогда кроме ресолва идей нет. Если что, то ресолв по умолчанию не приходит

люди, а кто-нибудь видел вменяемую реализацию а-ля lxc_sd_config для prometheus?

как ты себе это представляешь?

lxc не предоставляет апи для дискавери

но ты можешь сделать руками через file_sd_configs

ну вот я сейчас прихожу к мысли, что придётся костыли через file_sd, да

а хотелось бы не костыли, ведь lxd полноценный есть.

там вон пишут: https://prometheus.io/docs/operating/integrations/#file-service-discovery

мол, делайте через костыли с file_sd, если нет нативной интеграции.

и что тебе lxd выдаст?

адреса всех хостов какие тебе нужны?

хотя если демоны между друг другом соединены, то выдаст

выдаст, конечно.

ну тогда напиши фич-реквест

Возможно, да.

Или сразу pull, насколько времени найдется

парни, как такое может быть? добавил в prometheus новую жертву (на node_exporter’е) - в самом прометеусе вижу метрики, и curl’ом тоже, а в графане не вижу, при всем этом data source тот же и "ничего не менялось"?

значит либо датасорс не тот, либо временной интервал не тот либо запрос не тот

тот датасурс, он единственный)

А не видишь где? В переменной шаблона?

У них надо логику обновления ставить, может в этом проблема?

если есть переменные , советую попробовать просто график без переменных сделать (за последние минут 15) и там просто метрику добавить без указания лейблов

А не видишь где? В переменной шаблона?

да, в переменной не вижу

если есть переменные , советую попробовать просто график без переменных сделать (за последние минут 15) и там просто метрику добавить без указания лейблов

просто графиками работает, а в переменной не видит… бред какой-то

просто графиками работает, а в переменной не видит… бред какой-то

У переменной есть поле Refresh, оно отвечает за то, как часто перечитываются переменные. По умолчанию, вроде, никогда

о_0

F5

on dashboard load (стоит такое), есть еще Never и On time range change

Значит F5 должен помочь. Если нет, может быть еще такяа фигня, что запрос почему-то отсекает значение, можно тогда запрос продебажить

значит либо датасорс не тот, либо временной интервал не тот либо запрос не тот

.

Всмысле, разобрать, глянуть на то, что выдает пром и то, что графана внизу, в поле редактирования запроса.

ну вот не помогает refresh...

ты выполни в прометее тот же запрос что графана выполняет сначала

который в темплейте, имеешь в виду?

нет, который тебе график рисует

просто графиками работает, а в переменной не видит… бред какой-то

советую тогда использовать для дебага если в лейблах переменную указывать соответвие регулярке , наприм metric_name{my_custom_label=~"$grafana_variable"}

ну вот взять например

странно, оно уже и тут не видит instance… если вручную прописать

попробуй без агрегаций

просто метрика для начала , с переменной в лейбле

нажми кнопку "перейти в прометей"

node_cpu{instance=~"$node"}

да, нет его

count(node_cpu{instance=~".......", mode="system"})

ну значит его нет в прометее

node_cpu нет в centos 6? :D

centos6?

centos 6 -> node_exporter 0.16.0 -> prometheus

centos 6 -> node_exporter 0.16.0 -> prometheus

читайте чейнжлог Many metrics have been renamed/modified to include base units, for example node_cpu is now node_cpu_seconds_total.

благодарю)

понадобавляли _bytes ?

не обновляйтесь без чтения чейнжлогов :)

почему прометеус может так отображать метрику?

таже самая метрика через графану выглядит норм

опрос стоит раз в секунду

В графане может быть включено сглаживание

Колеги, требуется помощ. Использую icinga2 и nscp для снятия данных с win hosts. Интересует вопрос с сheck_uptime ( https://docs.nsclient.org/reference/windows/CheckSystem/#check_uptime) в частности не могу понять как изменить дефолтные алерты warning uptime < 2d critical uptime < 1d

Похоже

это у тебя в графане выставлено "null as connected" прост

это у тебя в графане выставлено "null as connected" прост

благодарю. Null point mode. оно?

хз, у меня старая графана

у меня называется "Null Value" и там дропдаун со значением "null"

и варианты "connected" и "null as zero"

оно

но что-то он не порвал мне график

хотя если Bars включить, более наглядно разрывы видно

хотя если Bars включить, более наглядно разрывы видно

какой смысл собирать посекундно и отображать 14 часов?

Ну как правило час отображаю

И ли 30 мин

у вас экран 4К?

Нет. Я зумирую)

3600 точек не влезет на экран, при посекундных данных более 20 минут не особо имеет смысл отображать. Графана ставит maxDataPoints в запросе и бэкенд проведет аггрегацию (по умолчанию average) превращая ваши данные в кашу

Ну да не суть, просто не замечал что у меня данные не собираются пока не полез проверять

для таких рваных данных можно оставить connected, но включить точки (размер только поменьше поставить)

В нормальном режиме они не рваные. Оказалось клиент тупил

вот интересно когда в телеге запилят треды по аналогии со слаком, а то мозг ломается когда 3-4 разговора по разным темам одним потоком идут

ну вот у меня все быстрые метрики коннектед, но хоть в 1 месте на дашбордах хоть одна с мааахонькими точками - чтобы если что быстро понимать что начались "разрывы", но при этом не смущать пользователей дырками в графиках

Кстати, для быстрых метрик на сколько правильней не опрашивать, а пушить?

у меня не пром... пушить или пуллить это как тупоконечники и остроконечники

и там и там можно ловить грабли или сделать относительно норм

ну и сильно зависит от внутреннего ТЗ

у меня не пром... пушить или пуллить это как тупоконечники и остроконечники

А с пушем какие видишь грабли?

ну мало кто из пушеров умеет в перепосылку и проверку что оно долетело, а без этого + пуша только в том что проще сетевые дырки до системы записи метрик делать

у меня вот одним из тихих условий в ТЗ было что мы низафто и никада не должны потерять метрику (а то потом непонятно куда смотреть) в итоге по этой + еще ряду причин я воткнул в стек кафку

Кафка это пуш же?