упаришься без discovery

с чего-то надо начинать. до этого телеграф вообще нельзя было использовать.

А тебе обязательно, что бы говорило еще что сломалось?)

ну желательно :)

и еще такой момент, что конфигов можно несколько нагенерить.

:/etc/telegraf/telegraf.d# ls cisco3850.conf switch1.conf

ну желательно :)

Но зачем?

Но зачем?

окей, если не будет говорить, тогда что?

есть простой вариант?

окей, если не будет говорить, тогда что?

Да пусть просто звонит. Пиздецовых алертов то 1-2

я думал может у тебя какие предложения есть :)

в смысле конкретный тул посоветуешь

накидайте подводных граблей

Оператор может лежать, давать задержку сообщений и ваще если все упало и тебе нужно отправить 1000 смс - можно попасть на деньги

Да, еще если это гейт хттп, то может лежать сеть в дц или еще что и он быть недоступен

я ж описывал задачку, звонков мало, смс тоже :)

я ж описывал задачку, звонков мало, смс тоже :)

А... Ну подводные грабли я про смс могу сказать. Про говорение вот не знаю. По-моему ту проще написать приложение под андроид в которое впихнуть ттс

И чтобы оно говорило, а не звонки были

Впрочем со звонками - VoIP, text to speech и тоже будет работать как то. Но как - надо реализовывать и смотреть. Опять же минус в том что телефония может сдохнуть

поцоны

вобщем пишу свой экспортер для прометея. Экспортер один, но он собирает метрики с кучи серверов. Как поступить с instance?

Я сейчас адрес ноды с которой экспортер собирает метрики положил в лейбл node

Я вижу два варианта: 1) оставить в node и дать всем желающим сделать relable в instance 2) сразу писать в instance

В доке они пишут что Each exporter should monitor exactly one instance application

instance - это про экспортер, имхо

а вдруг я решу поставить его два, на всякий случай и иметь два инстанса экспортера, каждый про все ноды?

для redundancy

вобщем пишу свой экспортер для прометея. Экспортер один, но он собирает метрики с кучи серверов. Как поступить с instance?

Instance - сам експортер Exported_instance - целевая нода

Так родной push_gateway делает, например

хай народ!

подскажите с реализацией, как лучше сделать

есть приложение, которое выполняет таски. надо отмониторить количество их по времени

думал в прометей слать просто статус, что задачка выполнена, типа task:1

только не знаю, может ли прометей агрегировать сумму как-нибудь

Увеличивайте счетчик успешно выполненных

Чтобы не случилось увеличивайте счетчик

хм. а каким образом мне это потом показать? rate юзать?

Что показать?

графики. типа вечером вот сколько задач выполнилось

утром столько

Количество задач в единицу времени - rate() или irate() Количество задач с трех до пяти - changes()

понял, спасибо!

попробую

Количество задач в единицу времени - rate() или irate() Количество задач с трех до пяти - changes()

а подскажи еще, как этот changes() юзать, не пойму чет вот этого changes(v range-vector)

changes(metric[2h])

?

Котаны, а кто чем делает алерты по телефону?

У нас специально обученные люди были:)

Зато они и чинить могли сами, если что. Или по протоколу ssh-over-cellphone

специально обученые люди — добро. отлично скриптуются.

понимают намеки и могут позвонить другому если чувствуют что ты в дрова

а есть какая-нибудь функция, которая бы в ноль обрубала график если не было изменений, но при этом не пересчитывала значения?

всмысле?

ну вот есть, например, метрика времени ответа сервиса, обновляется на каждый запрос

когда запросы прекращаются, то график застывает на последнем значении

и рисует прямую

в чём хранится?

rate(service_response_time[1m]) будет рисовать прямую на нуле, если за минуту ничего не случилось

прометей, Gauge

и пересчитывать там будет нечего тоже

rate(service_response_time[1m]) будет рисовать прямую на нуле, если за минуту ничего не случилось

ща гляну

а почему gauge?

потому что респонс_тайм

как ты туда каунтер приделаешь?

и пересчитывать там будет нечего тоже

все же пересчитывает

а, в проме каунтеры неубывают..

ERROR: S client not available

было 1.38, стало 0.00205

ну показывай только два знака после запятой

да не, на графике отображается 0.00205, хотя ответ был за 1.38

а если два знака только показывать, то вообще нули

https://pracucci.com/prometheus-understanding-the-delays-on-alerting.html

случайно получилась инвентаризация цисок новым snmp плагином телеграфа [[inputs.snmp]] interval = "1h" agents = [ "A", "B", ..] version = 2 community = "public" [[inputs.snmp.field]] name = "hostname" oid = "RFC1213-MIB::sysName.0" is_tag = true [[inputs.snmp.table]] name = "inventory" inherit_tags = [ "hostname" ] oid = "ENTITY-MIB::entPhysicalTable" [[inputs.snmp.table.field]] name = "entPhysicalSerialNum" oid = "ENTITY-MIB::entPhysicalSerialNum" is_tag = true

в общем, не нашел я ничего подходящего в доках. а можно как-то прометей клиенту (самописный экспортер) сказать чтобы он следил за данными и обнулял по условию?

экспортер ничего на сервере обнулить не может

он же даже не знает, что где-то там есть какой-то сервер

это понятно, но вот когда ты через клиента задаешь какое-то значение, то у тебя оно не меняется до того времени, пока ты новое значение туда не запишешь

что-то типа ttl можно выставить? типа VAR.labels(lab).set(value).ttl(2s)

нет

жаль. а как такую ситуацию правильнее разрулить?

чот я затрудняюсь ответить

а в чем вообще цель?

ну, зачем такое поведение?

хочется видеть реальное время ответа определенных апишек. только вот службы, которые дергают их, не всегда выполняются, а с какой-то периодичностью

соответственно когда службы не выполняются, то по идее в метрике должен быть 0

а не предыдущее значение

либо я не правильно прометей юзаю

ну так если там последнюю минуту был ноль, то и rate(...[1m]) вернет ноль, нет?

вернет, только он значения в графике пересчитывает

по своей формуле

или ты хочешь получить среднее значение за, например, час, по всем ненулевым значениям?

нет, в данном случае хочется абсолютные значения

неудобство, в общем

получается это надо в либо в экспортере реализовывать обнулятор, либо в сервисе отправлять нули, если нет запросов

можно попробовать сделать rule, в котором объявить еще одну метрику, в которую писать только ненулевые значения из этой

https://prometheus.io/docs/querying/rules/

да не ) экспортер же запоминает у себя последнее значение, и там будет какой-то response time