и макросы запилили

причём помоему в офф доке макросы есть, а собранная версия которая у них на сайте лежит в них не умеет

я год шарахался по всем этим алертилкам и выводы какие то неутешительные

Печаль Давно на босун смотрю

не смотри на босун

я год шарахался по всем этим алертилкам и выводы какие то неутешительные

нагиос всё ищё? :)

Работает все ещё

Вот кстати нагиос

исинга - живее всех живых

А босун с чем то кроме OTSDB умеет работать ?

Графит, эластик

короче походу прометей 2.0 сыроват пока...

поторопился я с переходом...

надо возвращаться на 1.5

а что не так?

алерты не работают как надо

подробнее?

точнее алерты работают, но там текст сообщения только дефолтный, типа: [FIRING:1] NodeMemoryUsage 10.1.29.23:9100 (prometheus node-exporter kubernetes-service-endpoints prometheus-node-exporter monitoring slack)

а чтобы указать, какое именно значение превышено и само это значение - не работает

Эм

если начинать указывать .Annotations.summary и .Annotations.description то прометей не поднимается

я поспрашал тут и на форумах - никто не объявился, у кого бы это взлетело

и в мануалах этого пока нет

- alert: FreeRam95 expr: 100 - ((node_memory_MemAvailable * 100) / node_memory_MemTotal) > 95 for: 10s labels: severity: Critical annotations: description: on {{$labels.instance}} free ram in {{$labels.mountpoint}} is {{ $value }}%.

вот. да. именно так я и думал заюзать.

И да из первого прома можно конвертнуть во второй

При помощи promtool

А босун с чем то кроме OTSDB умеет работать ?

Умеет писать в Akumuli :)

- alert: FreeRam95 expr: 100 - ((node_memory_MemAvailable * 100) / node_memory_MemTotal) > 95 for: 10s labels: severity: Critical annotations: description: on {{$labels.instance}} free ram in {{$labels.mountpoint}} is {{ $value }}%.

это в alert.rules пишется. у меня примерно так же сделано. а далее, когда из default.tmpl пытаешься это использовать - болт

там по дефолту написано так: {{ define "slack.default.title" }}{{ template "__subject" . }}{{ end }} {{ define "slack.default.username" }}{{ template "__alertmanager" . }}{{ end }} {{ define "slack.default.fallback" }}{{ template "slack.default.title" . }} | {{ template "slack.default.titlelink" . }}{{ end }} {{ define "slack.default.pretext" }}{{ end }} {{ define "slack.default.titlelink" }}{{ template "__alertmanagerURL" . }}{{ end }} {{ define "slack.default.iconemoji" }}{{ end }} {{ define "slack.default.iconurl" }}{{ end }} {{ define "slack.default.text" }}{{ end }}

если начинать указывать .Annotations.summary и .Annotations.description то прометей не поднимается

причём поначалу он хоть ошибку писал... а сейчас даже признаваться не хочет, что его не устраивает... просто зависает. в логах: kubectl -n monitoring logs -f prometheus-54968887c9-nlbnb level=info ts=2017-12-11T08:45:17.090768698Z caller=main.go:215 msg="Starting Prometheus" version="(version=2.0.0, branch=HEAD, revision=0a74f98628a0463dddc90528220c94de5032d1a0)" level=info ts=2017-12-11T08:45:17.090826524Z caller=main.go:216 build_context="(go=go1.9.2, user=root@615b82cb36b6, date=20171108-07:11:59)" level=info ts=2017-12-11T08:45:17.090850279Z caller=main.go:217 host_details="(Linux 4.13.9-coreos #1 SMP Thu Oct 26 03:21:00 UTC 2017 x86_64 prometheus-54968887c9-nlbnb (none))" level=info ts=2017-12-11T08:45:17.151170756Z caller=web.go:380 component=web msg="Start listening for connections" address=0.0.0.0:9090 level=info ts=2017-12-11T08:45:17.151201426Z caller=main.go:314 msg="Starting TSDB" level=info ts=2017-12-11T08:45:17.151224788Z caller=targetmanager.go:71 component="target manager" msg="Starting target manager..." и при этом урл в браузере не открывается

нагиос всё ищё? :)

исинга как алертилка поверх графита. Кажется что лучшая из морд. И не нужно ничего выдумывать как с сенсой

хотя сам пишет - Start listening for connections" address=0.0.0.0:9090 а на самом деле нифига не listening...

Умеет писать в Akumuli :)

Босун чтец, а не писатель

А в пром 2.0 масштабирование человеческое из коробки есть ?

я хз... пока не разбирался. тут бы хоть запустился вообще, пока не до масштабирования)))

я год шарахался по всем этим алертилкам и выводы какие то неутешительные

А что в итоге? Работает ?

работет чеб не работать.

везде трейдофы.

тут кто-то железную инфраструктуру мониторит?

san свичи например

Босун чтец, а не писатель

Там есть агент для сбора метрик.

Надо сказать что дополненный до ума телеграф много чего хорошего умеет. У нас допилили его до чтения хостов из файла и он не напряжно мониторит 400 + хостов по snmp

а вы же не возвращаете да ?

- alert: FreeRam95 expr: 100 - ((node_memory_MemAvailable * 100) / node_memory_MemTotal) > 95 for: 10s labels: severity: Critical annotations: description: on {{$labels.instance}} free ram in {{$labels.mountpoint}} is {{ $value }}%.

кстати, а ты не знаешь, что такое record? что оно делает? в мануале так выглядит: groups: - name: example.rules rules: - record: job:request_duration_seconds:histogram_quantile99 expr: histogram_quantile(0.99, sum(rate(request_duration_seconds_bucket[1m])) BY (le, job)) - alert: FrontendRequestLatency expr: job:request_duration_seconds:histogram_quantile99{job="frontend"} > 0.1 for: 5m annotations: summary: High frontend request latency

тут инфлюкс принято хейтить)

А что с ним не так, кроме убого капазитора?

http://bit.ly/2AHQRa9

http://bit.ly/2AHQRa9

Можно ещё про sensu написать, если его кто-то ещё использует. Что требует много-много допиливания и не поддерживает сторадж по умолчанию

@freeseacher ты кстати в топик прям сделай

не я автор сего фака

Можно ещё про sensu написать, если его кто-то ещё использует. Что требует много-много допиливания и не поддерживает сторадж по умолчанию

это явно не frequently asked question

это явно не frequently asked question

Ок

Мне телеграф нравится все больше. Fielddrop, tagdrop и как следствие меньше данных в influx, т.е. шустрее работает ;) таблицы с кучей полей стараюсь больше не писать. output можно в разные базы делать с разными rp. Для небольших объемов мне хватает. У вас, разумеется, объемы другие и проблемы тоже.

телеграф что-то иногда выжирает всю память на серваке

со стабильностью у него не очень да

Мужики, расскажите что вы с телеграфом делаете чтобы он жрал память/проц и работал нестабильно? ))

ничего. он так себе ведет в зависимости от погоды

я телеграф со стандартными настройками раздаю как часть самомониторинг самитемы

половина пользователей жалуется половина нет

У меня только раз при перезапуске, т.к. мибы читает. Дальше стабильно.

У меня просто 250 хостов с телеграфом на разных осях и стабильно хорошо все, есть чуток багов, но они их бодро фиксят.

http://bit.ly/2AHQRa9

у прометея вроде заявлено хранилище долговременное

найн

только в сторонние бд

у прометея вроде заявлено хранилище долговременное

У него есть API для возможности ретеншена посерийно, как я понимаю. И ... все.

хорошо, хрен с ним с хранилищем но - "Нет возможность вешать Action на Alarm'ы" - есть же web hook на alert, пишешь своего демона который ждет обращение и вперед)

хорошо, хрен с ним с хранилищем но - "Нет возможность вешать Action на Alarm'ы" - есть же web hook на alert, пишешь своего демона который ждет обращение и вперед)

да. так можно. но это всё костыли.

ERROR: S client not available

так весь девопс сплошная костылизация

баши, скриптики, хуки, вейты

ну как бэ да.

пакетных менеджеров никто нормальных так и не написал

если я что-то установил, то не факт, что через пол года пакет с темже именем не изменит своего поведения

Или кровавый ынтерпрайз, где все прибито гвоздями, а некоторые еще и под напряжением

если я что-то установил, то не факт, что через пол года пакет с темже именем не изменит своего поведения

Что ты имеешь ввиду пакетный менеджер, и какой пакет?

apt, yum

ну норм

любой пакет

версии надо пинить, однако

yum вроде уже все, нет? Там вроде dnf юзается

парни тут про метрики.

да

любой пакет

это норма

про потрепаться не тут

пакетных менеджеров никто нормальных так и не написал

Portage

про потрепаться не тут

ок

версии сборщиков метрик тоже надо пинить. Я был несколько доволен node_exporter-ом 0.15, который взял и дописал по минусу ко всем параметрам

Но правда, давайте в @devops_ru или лучше в @ru_devops

версии сборщиков метрик тоже надо пинить. Я был несколько доволен node_exporter-ом 0.15, который взял и дописал по минусу ко всем параметрам

что за минусы?

что за минусы?

У них раньше было -option, а затем переделали в --option

У них раньше было -option, а затем переделали в --option

запомню, спс

ничего. он так себе ведет в зависимости от погоды

Это из-за маппинга и рефлексии, данные неконсистентные наливаете в него в больших объемах. Точно так же, как и в ELK.

Собственно, не юзайте json, юзайте influx inline

плюс, не пишите в него на прямую, юзайте очередь

Можно ещё про sensu написать, если его кто-то ещё использует. Что требует много-много допиливания и не поддерживает сторадж по умолчанию

если есть что написать - кидай, я допишу

Про какти ни слова нет

это конечно динозавр но кое где используется - могу про него написать

можно, я добавлю тогда в фак

если есть что написать - кидай, я допишу

хорошо.

можно, я добавлю тогда в фак

Куда кинуть про какти?