Именно.

тогда херач их через статик конфиг.

товарищи, а графану можно научить алертить не только по графикам?

не надо пока учить графану алертить. кури пока.

тогда херач их через статик конфиг.

То есть иметь сервис, который - как в нормальных приложениях - расскажет сразу всё про все процессы - западло? Единственная причина, которую я вижу - их грёбаная лень. Ну типа неохота возиться с shared memory, неохота что-то внешнее делать, прочее всякое. Проще сговнякать ещё один маршрут в HTTP-хэндлере и сказать - на, забирай.

То есть иметь сервис, который - как в нормальных приложениях - расскажет сразу всё про все процессы - западло? Единственная причина, которую я вижу - их грёбаная лень. Ну типа неохота возиться с shared memory, неохота что-то внешнее делать, прочее всякое. Проще сговнякать ещё один маршрут в HTTP-хэндлере и сказать - на, забирай.

либо твоя лень либо их.

не надо пока учить графану алертить. кури пока.

т.е. агрегатор и алертер это пока не про нее ?

т.е. агрегатор и алертер это пока не про нее ?

нет.

пичаль.

графана графики рисуте вообще агонь!

а кто чем орет в случае проблем?

alerta

alertmanager / kapacitor

В графане вроде же прикрутили алертинг

его прикрутили да

В графане вроде же прикрутили алертинг

он не работает с темплейтами, и вообще не для того

для статических дашей

и его можно юзать в простых случаях

и даже хочется юзать. ибо ну клева же. глазками выбрал и бахнул

Ну так же мы и не знаем случая

но я бы предпочел что бы графана мне рулесы просто сформировала ;)

для прома.

но я бы предпочел что бы графана мне рулесы просто сформировала ;)

А вот это да здорово

графана графики рисуте вообще агонь!

Хочется странного, а именно чтоб статичные картинки без js и отображения точек. Как в старой mrtg, короче говоря.

Привет! Мож я не в курсе, но что, в InfluxDB нельзя так просто получить разницу метрик?

Подскажите как правильно ((( Есть куча хостов, хочется использовать алерты в графане, но я настроил через templates, что бы метрики можно было выбирать по одному хосту, однако теперь мне нельзя использовать алерты, приходится использовать alertmanager, но он не такой удобный как в графане. Может как то можно настроить что бы была разбивка по хостам (не сваливать все данные в 1 график) и при этом работали алерты в графане

типа diffseries() ?

https://github.com/influxdata/influxdb/issues/3552

Хочется странного, а именно чтоб статичные картинки без js и отображения точек. Как в старой mrtg, короче говоря.

так она умеет же. Png делает

@Alexey_Tihonov : Не, нельзя. Могу дать тоже сслылку на иссью, где народ фрустрирует

Эту ссылку я знаю ))) Однако может я не тем путем пошел, хочу стать джедаем )) научите - типа того ))

@vnsoldatov : http://docs.grafana.org/reference/sharing/#direct-link-rendered-image

Не, ну это какой то позор. Серьезно, нет diffseries в инфлаксе? гыг

настраиваю графаню из опыта заббикса и нагиос. Вот может делаю что то не логично, может как то удобнее можно, но что бы хосты сами анонсировались (у меня консул)

@Alexey_Tihonov: Ну тут вопрос в том что алертинг в графане пока на поиграться. Для серьеза нужно что то стороннее - алертманагер для прома, мойра для графита етц

Да я так и настроил, но плагин для графани алертманагер - плакать хочется

$value - не округляется, так же value забирается только 1 раз ,severiry - только цифрами

@Alexey_Tihonov: Ну тут вопрос в том что алертинг в графане пока на поиграться. Для серьеза нужно что то стороннее - алертманагер для прома, мойра для графита етц

мойра - можете уточнить, что то найти не могу

Она graphite-specific - https://github.com/moira-alert/moira

Не, ну это какой то позор. Серьезно, нет diffseries в инфлаксе? гыг

Умеет он.

Только не через редактор в графане

каг? прочитал про джойны так их убрали в 0.9

хрен с ним с редактором. :)

Мы исингу вкрячиваем

вторую? И как она?

Она graphite-specific - https://github.com/moira-alert/moira

Спасибо, мне походу не подойдет. По всей видимости придется представлять алерты как данные в графане ) Денис вы так пробовали ? Схавает ли графаня если итем будет появляться на время. Например батч задание которое выгружает данные из алертманагера и через пуш загружает обратно в прометей (это что бы не удалялось). Как такой вариант ?

Спасибо, мне походу не подойдет. По всей видимости придется представлять алерты как данные в графане ) Денис вы так пробовали ? Схавает ли графаня если итем будет появляться на время. Например батч задание которое выгружает данные из алертманагера и через пуш загружает обратно в прометей (это что бы не удалялось). Как такой вариант ?

звучит адовенько

звучит адовенько

не спорю, но до боли не хочется иметь несколько панелей - одна под алерты, вторая под графики. Плагин - видишь сам, сыроват

всем приве

А здесь уже пытались формализовать набор требований к идеальной системе мониторинга? Такой запрос не очень хорошо ищется по чатику. Понятно что у всех разные кейсы, и поэтому везде есть свой зверинец разношерстых систем, но все же? Или пром серебрянная пуля для 80% случаев?

в телеграфе хочу снимать через inputs.snmp с разных устройств разные оиды. это возможно?

agents принимает только в самом начале

В ./telegraf.d/ файлы .conf создай для каждого хоста. Или одним файлом, но агенты списком

А здесь уже пытались формализовать набор требований к идеальной системе мониторинга? Такой запрос не очень хорошо ищется по чатику. Понятно что у всех разные кейсы, и поэтому везде есть свой зверинец разношерстых систем, но все же? Или пром серебрянная пуля для 80% случаев?

ИМХО это не возможно, у всех совсем разные кейсы.

в телеграфе хочу снимать через inputs.snmp с разных устройств разные оиды. это возможно?

решено - можно сделать несколько секций inputs.snmp

вот у меня тоже через templates настроено чтобы в дашборде отображались данные по выбранной ноде. оно показывает все что надо с node exporter и с cadvisor но как блин теперь в эту же морду добавить отображение статусов самих сервисов, что находятся в контейнерах

я недавно уже задаавал вопрос этот тут. проблема в том как опеределить на какой ноде этот сервис, чтобы отдать это имя blackbox exporter для проверки

как вообще это делается по нормальному?

неужели только у меня такая задачка есть - отслеживать статус сервисов что в swarm запущены, и имеют несколько реплик

так она умеет же. Png делает

Я бы не называл это "умеет": запускать на каждый запрос png отдельный процесс phantomjs на сервере (да ещё с гвоздями в коде прибитым timeout) - это не "умеет", а "делает через *опу". При том, что у пользователя броузер уже всё загрузил и простаивает.

я недавно уже задаавал вопрос этот тут. проблема в том как опеределить на какой ноде этот сервис, чтобы отдать это имя blackbox exporter для проверки

Consul IO, зайдет как для сервисов в контейнерах так и для железных серверов, в связке с registrator - вообще жизнь облегчает

Consul IO, зайдет как для сервисов в контейнерах так и для железных серверов, в связке с registrator - вообще жизнь облегчает

похоже это единственное направление, куда стоитть продолжать копать? добавить еще в мониторинг стек нового зверя - Consul? по другому видимо никак. cadvisor для метрик докера, а Consul уже для самих сервисов

у Consul exporter встроенный для прометус

Если у вас прометеус

просто через метрики того же cadvisor я могу отобразить в дашборде нужные мне сервисы. но как их потом передать в конфиг blackbox exporter для проверки - не понимаю

ERROR: S client not available

да, у меня пром

хотя стоп, я его не мониторю )))

Через регистратор, ставите агента консул на гипервизор, регистратор туда же (я ставил в контейнерах), описываете сервисы через env или labels, в прометеусе через relabel забираете из консул

consul_sd_configs: - server: '10.0.18.72:8500' services: ['nginx-exporter', 'monitoring'] relabel_configs: - source_labels: ['__meta_consul_node'] regex: '(.*)' target_label: 'instance' replacement: '$1'

вот так, далее графаня и темплейт )) Ну просто мега удобно

а зачем еще регистратор?

при чем в monitoring у меня node-exporter и cadvisor

ну вы же не знаете на каком порту будет висеть. Я явно не задаю, забираю эти данные из консул

для прокси

А сорри - регистратор регистрирует сами сервисы

Он берет. %PORT и ENV. Можете и сами ходить в консул и регистрировать, но мне удобнее так

хм.. если я правильно все понял то я знаю какие порты у моих сервисов. они статичные же. мне просто надо в дашборде при выборе ноды через templates - отображать статусы только тех сервисов, которые живут именно на этой ноде. несмотря на то, что на других нодах работают точно такие же сервисы - это же реплики.

Прикол в том что теперь не нужно запоминать порты. Пускай докер, ранчер или что ещё отдают любой свободный бэкенду, для прокси вы заберете вместе с портом

в итоге можете много инстансов держать на 1 хосте и прокся будет каждой трафик кидать

И порты помнить не нужно, можно ещё дальше пойти, консул умеет http чекать, проверяет жив ли контейнер, и если мертв - удаляет из себя и дальше удаляет из проксей балансеров мониторингов и т.д.

спасибо за совет, но видимо я слоупок.. пока нифига не понял. пойду читать про консул и как его ставить-конфигурить.

Ребят, привет. Скажите, можно ли в графане отобразить почасовой график из прометея, если я в прометей кладу данные раз в минуту? Нечто вроде group by hour().

В гугле был, и в доках тоже

Это я плохо объясняю )) Читайте - очень крутая штука, но я и от неё хочу уйти, ранчер для себя открыл, там все в одном флаконе )

А можно поподробней про ранчер?

Ребят, привет. Скажите, можно ли в графане отобразить почасовой график из прометея, если я в прометей кладу данные раз в минуту? Нечто вроде group by hour().

Конечно можно

Конечно можно

А можешь носом ткнуть в команду? Не могу найти никак

Это я плохо объясняю )) Читайте - очень крутая штука, но я и от неё хочу уйти, ранчер для себя открыл, там все в одном флаконе )

В чем профит помимо наличия всего из коробки?

sum(rate(nginx_http_response_count_total{instance=~"$proxy"}[1h])) by (status)

В чем профит помимо наличия всего из коробки?

Меньше следить нужно, регистраторы и все остальное, там балансеры в openstack стиле настраиваются. Плюс прод не готов, есть время выбрать как будет удобнее. ИМХО когда много мелочей что нить не документированным да останется

поэтому чем меньше всяких управлялок - ИМХО лучше.

угу поэтому и не хотелось добавлять в свою кухню еще какойто контейнер с запчастями для мониторинга

уже есть и node exporter и cadviser и blackbox eще надо и тут выясняется что еще и Consul..

Если нет оркестратора контейнеров - Consul имхо не заменим !

Тебе нужен не конкретно консул, а любой service discovery

И для твоей схемы он нужен в любом случае. Проблема в том, что в Prometheus не поддерживает нормально Swarm

И судя по всему и не будет