у нее ж и так авторизация есть

не забудь выключить sign up, иначе к тебе можно будет сделать sign up, создать датасурс и получить доступ к метрикам (как-то так совпало, что дефолтные параметры у графаны разрешают sign up, либо его нужно настроить так, чтобы sign up требовал аппрува руками)

господа, пробую tick стек. вопрос по kapacitor'у. эта штука умеет в какое-то подобие макросов, как в заббиксе? а то очень неудобно в тик скрипте прописывать условия для отдельных тэгов

господа, пробую tick стек. вопрос по kapacitor'у. эта штука умеет в какое-то подобие макросов, как в заббиксе? а то очень неудобно в тик скрипте прописывать условия для отдельных тэгов

умеет шаблоны

шаблоны тут не подходят. зачем мне плодить проверку для каждого хоста, который не подходит под стандартные условия. я додумался пока только до хранения словаря в тик скрипте с исключениями.

Тем временем, в параллельной вселенной

пусть проверит с виндовс

Народ, а как кто делает alert в графане, когда у тебя хосты появляются и исчезают (autoscale в aws). В теории мне нужны алерты, когда данные null или unavailable. Так как если хост сдох, мне нужен алерт. Но если хост был убран скейлером, тут как поступить? В заббиксе у меня был хук и я удалял хост при scale down. В графане такого походу нет.

Тебе нужен такой же хук но который ремувнит / переместит метрики в архив. А в самом алерте (метрике) у тебя в каком то узле будет вайлдкард по имени хостов или еще как то. Не ?

Тебе нужен такой же хук но который ремувнит / переместит метрики в архив. А в самом алерте (метрике) у тебя в каком то узле будет вайлдкард по имени хостов или еще как то. Не ?

Да у меня дашборды с * мониторингом которые алертят. Посмотрим как поведет себя графана, если я удалю метрики к определенному хосту.

оу, так grafana не алертит если одной метрики не хватает

If no data or *all* values are null

SELECT MEAN(usage_system) + MEAN(usage_user) + MEAN(usage_irq) AS cpu_total FROM "cpu" WHERE $timeFilter GROUP BY time(10s), "host", "host_ip" fill(null)

при таком запросе, если 1 хост уйдет, алерты не будет :/

Мне кажется это если маппим поламается

Типа юзер тайм есть а систем тайма нет для хоста

Если целиком метрику выпилить как он узнает то про нее

Если целиком метрику выпилить как он узнает то про нее

она даже не алертит, если не выпиливать метрику

просто остановил хост и он больше не пишет данные в influx

когда 100% usage было, алерт пришел, при остановке хоста - нет

Поидее nodata условие сработать должно

Что в nodata указано в алерте ?

Alerting

А период в алерте какой ?

минута

Тогда косяк :(((

Артур, который мониторинг используешь ?

а кто как оверолл состояние системы смотрит?

в графане

зацените https://www.packetmischief.ca/2017/02/15/why-i-enthusiastically-switched-from-cacti-to-zabbix-for-system-monitoring/

zabbix detected )

ну и дебил

зачем ты это сделал? разве не знаешь что таких мест уже много?!

а что еще кроме заббикса для адекватного мониторинга с алертингом?

с алертингом в графане играюсь и пока ей до прода как до луны. Prometheus.io? pull концепт нам к сожалению не подходит

icinga?

icinga?

о, точно, как же я про нее забыл

просто да, после 5 лет с заббиксом, его не хочется, но он работал и алертил когда надо

просто да, после 5 лет с заббиксом, его не хочется, но он работал и алертил когда надо

Прометей?

Прометей?

хосты ходят туда-сюда и сервис дисковери нет

там же пулл насколько я знаю

Пусть ходят. Ты же их не руками носишь

Пусть паппет пример носит

т.е. при старте, у меня на хосте запускается паппет и регистрирует в прометее?

а когда хост дохнет, shutdown скрипт уберет регистрацию

Как пример

так возможно?

У Прометея есть файл кого опрашивать

По hup он его перечитывает

По hup он его перечитывает

а если это статический file_sd_config - то прометею даж перезапуска не нужно, выкатил сервер(группу) -> положил в /etc/prometheus/file_sd_configs/ ещё один отдельный yaml файлик (на сервер или на группу) -> через пару минут прометей уже сходил за метриками ?

Привет! Кто нибудь пробовал телеграфом метрики в грейлог или пром слать?

в пром нормально шлется, только телеграфом имеет смысл слать узкий набор метрик, которые не снимает кто-то ещё, потому что просто нет смысла.

например, http_response или dns_response в две команды, отличный вариант telegraf -> prometheus -> grafana (а i/o latency с этих же серверов выгоднее снять через node_exporter -> prometheus -> grafana)

А телеграф умеет в вебсокеты?

Есть просто желание собрать стек с удобным: а)алертингом, б)хранением "состояний недоступности" для всяких sla в будущем. И все это с упором на мониторинг виндовых машин и мс sql. Сейчас подружил telegraf, nxlog-to-logstash-> influxdb-> grafana. Но желания пока особого алертить ни графаной (пока они не запилили свой обещанный гибкий мониторинг групп) ни капаситором нет, про "периоды недоступности" тоже пока не совсем ясно. Вот и думаю что-нибудь припердолить к этому стеку

А телеграф умеет в вебсокеты?

https://github.com/influxdata/telegraf/tree/master/plugins/inputs/http_response он умеет вот так

Есть просто желание собрать стек с удобным: а)алертингом, б)хранением "состояний недоступности" для всяких sla в будущем. И все это с упором на мониторинг виндовых машин и мс sql. Сейчас подружил telegraf, nxlog-to-logstash-> influxdb-> grafana. Но желания пока особого алертить ни графаной (пока они не запилили свой обещанный гибкий мониторинг групп) ни капаситором нет, про "периоды недоступности" тоже пока не совсем ясно. Вот и думаю что-нибудь припердолить к этому стеку

лично я использую везде alertmanager, потому что он отлично управляется через ansible и поддерживает много переменных и условий, не нужно мышью натыкивать.

лично мне думается, алертинг графаны задумывался под другие задачи, а именно, под визуализацию проблем на дашбордах. а не как промышленное управление алертами.

Он неплох под маленькие сетапы

ERROR: S client not available

лично я использую везде alertmanager, потому что он отлично управляется через ansible и поддерживает много переменных и условий, не нужно мышью натыкивать.

А как у него с языком запросов? Я тут босун попробовать решил и от таких вот новостей вообще прифигел: https://github.com/bosun-monitor/bosun/issues/1298

А как у него с языком запросов? Я тут босун попробовать решил и от таких вот новостей вообще прифигел: https://github.com/bosun-monitor/bosun/issues/1298

https://prometheus.io/docs/alerting/rules/ проще некуда.

Спасибо! Попробую его тогда, тем более раз grouping есть

Крутое описание у группы :)

А, чего :)?

Ребят, салют

подскажите, чо не так. настраиваю alertmanager для прометея. указываю global: resolve_timeout: 5s

роут slack

но приходит резолв все равно через 5 мин

так а алертманагер тут не при чем может быть

скрап тоже 5c

ты уверен, что это его прометей не через пять минут оповещает?

ээ

не знаю :)

кого его?

вот алерт

ALERT host_down IF up == 0 FOR 15s ANNOTATIONS { description = "Instance {{ $labels.instance }} DOWN", }

скрап каждые 5сек

что еще где?)))

ну так а group_wait у тебя сколько?

5 минут?

я не выставлял этот параметр

# When a new group of alerts is created by an incoming alert, wait at # least 'group_wait' to send the initial notification. # This way ensures that you get multiple alerts for the same group that start # firing shortly after another are batched together on the first # notification. group_wait: 30s # When the first notification was sent, wait 'group_interval' to send a batch # of new alerts that started firing for that group. group_interval: 5m

посмотри вот тут пример: https://prometheus.io/docs/alerting/configuration/ покажи gist с конфигом может быть

просто если у тебя алерт группировался, резолв тоже сгруппируется, поэтому тут могут влиять настройки группировки.

сейчас

https://gist.github.com/anonymous/85491a90eb2d77aa3da7df286b5fe7d9

выставил group_wait 5s но ничего(

сам алерт быстро прилетел DOWN, а резолва до сих пор нет

и есть подозрение что через 2 мин он придет, то есть через 5 мин ровно