У меня не валятся на это события

нет таки указать его надо

ALERT service_down IF up{job!~"prod|stage"} == 0 LABELS {environment="Production", resource="{{$labels.instance}}", service="Prometheus", severity="Critical", value="{{$value}}"} ANNOTATIONS {description="Prometheus client down", summary="Prometheus client down"}

в оригинале он немного проще

Черт, спасибо большое)

Я так и знал что там есть какая-то метрика на этот счет, но не мог найти

по слову ALERT рулесы неплохо гуглятся на гитхабе

Спасибо!

Пчолы не гавно

зацепило то как

А все современные мониторинги сосут у заббикса по одному критерию, это статистика и представление тригерных эвентов

В остальном он какуля

кстати, тут оно как то мельком на днях проскочило, а я правильно понял, что прометеус просто физически нынче не приспособлен хранить что то долго? а как решается, ну да с одной стороны старые метрики ни о чём, но иногда ж интересна динамика и статистика :)

ремот_сторажи для этого придуманы

кстати, тут оно как то мельком на днях проскочило, а я правильно понял, что прометеус просто физически нынче не приспособлен хранить что то долго? а как решается, ну да с одной стороны старые метрики ни о чём, но иногда ж интересна динамика и статистика :)

а кто способен то? в заббиксе тоже если больше 7-10 дней держать данные всё плохо будет

ну у заббикса-то сзади вполне понятный сикуель

не то что неназываемый и тут обделается, сомнения нет, ну вот инфлюкс тот же вроде там даже как то "уплотнять" может старое, а можно тупо забить и оно вроде как просто собирается

хотя у нас как-то было такое, что база заббикса подрастала на 30гб в сутки

Пчолы не гавно

Это неправильные пчолы просто :)

и у них неправильный мед

хотя у нас как-то было такое, что база заббикса подрастала на 30гб в сутки

а потом врубался хаускипер и график начинал походить на плохую расческу

Интересно, а у prometheus есть какой-то remote_storage, который умеет в read и write, и не influx?)

Интересно, а у prometheus есть какой-то remote_storage, который умеет в read и write, и не influx?)

вроде как анонсировали кликхауз, но это альфа

Статьи про написание плагинов для телеграфа https://www.influxdata.com/blog/how-to-write-telegraf-plugin-beginners/ https://www.influxdata.com/blog/building-better-telegraf-plugin/

https://github.com/o0ste0o/MyZabbixTemplates/tree/master/Zabbix_IIS8_monitoring

кто такое пробовал?

Прекрасное сочетание - забикс и иис

законченное великолепие

шедевр

не хватает оракла

Друзья, стартую пока что standalone sensu сервер

mssql

в uchiwa упорно не отображаются клиенты

Интересно, а у prometheus есть какой-то remote_storage, который умеет в read и write, и не influx?)

-storage.local.engine=none -storage.remote.graphite-address=graphiteHost:graphitePort

не?

в uchiwa упорно не отображаются клиенты

а в логи постоянно вижу - Connection failed to the datacenter Site 2

Коллеги ?

@troschinsky А клиент до rmq достучался?

https://sensuapp.org/docs/0.24/installation/install-rabbitmq-on-ubuntu-debian.html#create-a-dedicated-rabbitmq-vhost-for-sensu Этот момент не забыт?

ну и у редиса был нюанс с ipv4 https://github.com/sensu/uchiwa/issues/483

-storage.local.engine=none -storage.remote.graphite-address=graphiteHost:graphitePort

В доке прома написано, что в graphite он пока умеет только читать, писать ни-ни. Или там старая инфа?

https://sensuapp.org/docs/0.24/installation/install-rabbitmq-on-ubuntu-debian.html#create-a-dedicated-rabbitmq-vhost-for-sensu Этот момент не забыт?

указывал везде ручками 127.0.0.1

в конфиге uchiwa что нужно указывать ?

Всем привет. Нужна помочь с prometheus. Дано: есть метрика типа SummariesVector "rpc_server_full_duration_seconds", в ее labels есть "call_name" и "http_status_code" Есть alert следующего вида IF delta(rpc_server_full_duration_seconds_count{call_name=~"5[0-9]{2}"}[5m]) > 0 Проблема: допустим, как-то call_name выкинул 500-ку С точки зрения prometheus такой метрики не было, она появилось вот только что. Условие alert'а не срабатывает, потому что delta между undefined и 0 равна нулю Алерт высвечивается только в ситуации, когда ошибка повторяется второй раз Каким образом мне изменить условие alert'а так, чтобы 1) ловить изменения значения метрики (текущее условие это уже умеет) 2) ловить ситуации вида undefined => 0 (текущее условие такое не ловит) ?

в конфиге uchiwa что нужно указывать ?

валидный json) { "sensu": [ { "name": "Site 1", "host": "127.0.0.1", "port": 4567 } ], "uchiwa": { "host": "0.0.0.0", "port": 3000 } }

валидный json) { "sensu": [ { "name": "Site 1", "host": "127.0.0.1", "port": 4567 } ], "uchiwa": { "host": "0.0.0.0", "port": 3000 } }

сейчас проверю, спасибо!

Есть же готовая роль для ансибла с документацией для установки и конфигурирования сенсу, зачем страдать руками?

Есть же готовая роль для ансибла с документацией для установки и конфигурирования сенсу, зачем страдать руками?

Я страдал для того, чтобы понять как оно внутри работает. Для чего страдает коллега - незнаю.

Всем привет. Нужна помочь с prometheus. Дано: есть метрика типа SummariesVector "rpc_server_full_duration_seconds", в ее labels есть "call_name" и "http_status_code" Есть alert следующего вида IF delta(rpc_server_full_duration_seconds_count{call_name=~"5[0-9]{2}"}[5m]) > 0 Проблема: допустим, как-то call_name выкинул 500-ку С точки зрения prometheus такой метрики не было, она появилось вот только что. Условие alert'а не срабатывает, потому что delta между undefined и 0 равна нулю Алерт высвечивается только в ситуации, когда ошибка повторяется второй раз Каким образом мне изменить условие alert'а так, чтобы 1) ловить изменения значения метрики (текущее условие это уже умеет) 2) ловить ситуации вида undefined => 0 (текущее условие такое не ловит) ?

Насколько я знаю - никак. Вот похожий вопрос - https://stackoverflow.com/questions/39141052/how-to-write-a-rule-to-notify-about-metric-updates Надеюсь меня поправят, если я не прав.

Насколько я знаю - никак. Вот похожий вопрос - https://stackoverflow.com/questions/39141052/how-to-write-a-rule-to-notify-about-metric-updates Надеюсь меня поправят, если я не прав.

Уже пробовал, changes такое не ловит

Я страдал для того, чтобы понять как оно внутри работает. Для чего страдает коллега - незнаю.

Большое спасибо! Взлетело

Вот так выглядит запрос changes(rpc_server_full_duration_seconds_count{http_status_code=~"5[0-9]{2}"}[48h])

Нужно как раз отличить undefined от 0

Вот так выглядит запрос changes(rpc_server_full_duration_seconds_count{http_status_code=~"5[0-9]{2}"}[48h])

я знаю, что changes такое не ловит. По-крайней мере в первый раз. Поэтому и линканул SO, где есть похожая проблема и совет от разработчика использовать другие способы

Вот жопа же!

Как я понял, я всегда устанавливаю просто sensu. на клиенте или на сенсу-сервере - разницы нет. а задействуется у сенсу то, что имеет конфиг , верно ?

именно

ну и запускаешь ты клиента или сервер, конфиги в одном месте лежат

не хватает оракла

он тоже есть

mssql

и он тоже есть

он тоже есть

нет-нет, это все должно быть на одной машине. Я один раз запустил заббикс на оракле и уложил довольно–таки мощный сервер

и он тоже есть

легких путей не ищешь ?

легких путей не ищешь ?

куда говорят, туда и иду

https://github.com/rapidloop/sop

ERROR: S client not available

все уже видали?

Long-term archiving: downsample and store metrics for a configurable retention period. Stored data can be queried anytime with Grafana and APIs.

mature project!

целых семь коммитов, чо тебе не так

?

у меня некоторые initial длиннее...

Всем привет! Кто как мониторит mysql в docker-контейнерах? есть каки-нить бест-практикс почитать? :)

да. бестпрактис докера не пихать туда базы

что имеем, то имеем. скажем в моем случае данная реализация оптимальна

база или движок базы у тебя там?

ридонли база. но это не суть. мониторить то нужно подключаясь к mysql внутри контейнера, вот и интересно, вдруг кто уже таким занимается и поделится опытом

ридонли база. но это не суть. мониторить то нужно подключаясь к mysql внутри контейнера, вот и интересно, вдруг кто уже таким занимается и поделится опытом

прям строго внутри контейнера подключаться и больше никак нельзя?

можно поднять еще один контейнер - подключаться из него :)

Добрый вечер я хотел бы попросить помощи делаю по примерам kapacitor алерты но они не работают почему-то уже делаю через telegraf видно что значение попадает чтоб сработал алерт но он не приходит что делать?

я понимаю что экстрасенсов нет я могу предоставить TICKscript если есть у кого желание помоч

Don't ask to ask. Just ask.

Добрый вечер я хотел бы попросить помощи делаю по примерам kapacitor алерты но они не работают почему-то уже делаю через telegraf видно что значение попадает чтоб сработал алерт но он не приходит что делать?

а куда делаешь, что за сервис

О! Уважаемые люди в чатике. Скажите, а как из grafana вытащить сырыми данными линии с графика? Я могу через firebug взять строчку с запросом, но для этого нужен браузер, а я хочу все графики так опросить.

эмм... а зачем это делать с графаной?

Есть ES. В нем данные за неделю. Самый простой способ агрегировать только то что нужно и в нужном виде - вытащить из графаны и положить в другой игдекс ES. В grafana все графики есть.

самый простой. окей.

на графике посмотреть f12 в браузере посмотреть дата запрос

подделать запрос curl -ом

тот случай когда чуство юмора сильнее чем желание помочь

Вот вы шутите, а меня тоже интересовало как из графины годый график подучить

ну графики то там экспортятся довольно на ура, а вот зачем там данные тырить, когда это в общем тупо система отрисовки, это вопрос

ну графики то там экспортятся довольно на ура, а вот зачем там данные тырить, когда это в общем тупо система отрисовки, это вопрос

А где об этом можно почитать?

графики экспортируются на раз

читать об этом не надо.

в смысле? http://docs.grafana.org/reference/sharing/

надо просто тыкнуть share