В случае если нод много

если докер - то и для DNS

зачем тогда агент вообще нужен..

масштабирование чтения

базу удобно искать, только докеру нужно сказать что бы DNS запросы уходили в агента

Можно и на прямую регистрироватся, но поверьте там агент консула вообще ничего не весит.

после дня истового гугления и нескольких дней пассивного гугления я уже немного сомневаюсь, гавно ли забикс ? мне начинает вкрадываться в душу сомнение.

Если нет заморочек с партишингом и хватает производительности и не планируется овер 1к хостов - то заббикс норм

нет.

Но вся эта система несколько больше, разрабы используя либы делают мониторинг приложения изнутри

Очень много значений нужных для них отдают

В заббиксе тоже можно это делать ))) Но там этот LLD и все остальное. Ну не знаю, прометей реально круче

прометей круче да.

но я не могу понять как чинить аварии.

в смысле ? там алертманагер - вполне обладает заббиксовым функционалом. А КНОПКА ТИШИНЫ

вообще респект !

в смысле ? там алертманагер - вполне обладает заббиксовым функционалом. А КНОПКА ТИШИНЫ

а кнопка починить где ?

sum(nginx_http_response_count_total[1h])

sum_over_time нужен тут

чинить это взять и запустить что то что сходит и починит

sum_over_time нужен тут

Это понятно, но я не пойму как это чинить

Это имя функции. Вместо sum

sum по измерениям суммирует, а не по рядам

нужно именно ряд сложить

Но за час

Потому что изменения в нуль уходят

то есть значения там вот так прилетают 0 0 0 2 5 6 0 2 0 5

sum_over_time должен сложить все элементы в ряду(рядах)

Там я так понял ересь начинается если именно нули есть

К счастью проблема не у меня

{"status":"error","errorType":"bad_data","error":"parse error at char 30: expected type vector in aggregation expression, got matrix"}

Мм, значит, там несколько серий попадает под выражение. Прометей умеет либо агрегировать по одной серии, либо агрегировать серии, но не оба сразу.

sum_over_time должен сложить все элементы в ряду(рядах)

sum_over_time это для range-vector, а не для instant vector

Короче мы сваливаем в бОльшей степени с Influx

как tsdb идеи у influx правильные

на сама реализация коенчно уг

Мм, значит, там несколько серий попадает под выражение. Прометей умеет либо агрегировать по одной серии, либо агрегировать серии, но не оба сразу.

Спасибо

так, объясните плиз еще раз - как Consul на хосте узнает о контейнерах и сервисах в них?

например так https://github.com/gliderlabs/registrator

я могу запустить бинарник Consul и откуда он будет знать об оверлейно сети, которая из host сtти просто недоступна

то есть cadvisor для снятия метрик самого контейнера, а кegistrator - для снятия инфы о сервисах в контейнерах? и то и то нужно для мониторинга получается

а зачем катвисор ?

и Consul для оркестрации этой инфы, чтобы прометей ее скрапил и графана для отображения

катвизор был нужен покадокердемон сам не умел отдавать

сейчас сам умеет он всё еще нужен разве ?

ну а как мониторить состояние контейнеров?

омг.. что я пропустил

там что то уникальное есть ?

докер с 17,05 имеет ендпоинт для прома

а как в прометей скормить то, что отдает докер демон? я видимо читал какието старые мануалы

старые

сказать докер демону слушать порт

и порегать демона в консуле

у меня счас так: в конфиге прома есть только одна job - job_name: 'all' scrape_interval: 5s file_sd_configs: - files: - /opt/prom/config.yml и в этом конфиге я перечисляю руками все свои ноды, так: { "targets": ["192.168.1.12:9100","192.168.1.12:8888"], "labels": { "job": "srv1_node", "instance": "srv1:9100" } }, { "targets": ["192.168.1.17:9100","192.168.1.17:8888"], "labels": { "job": "srv2_node", "instance": "srv2:9100" } },

9100 - это node exporter 8888 - это cadvisor

ну и в графане уже дашборд настроен на это все

получается надо убирать cadvisor и переделывать дашборд..

как tsdb идеи у influx правильные

Вообще исключаем/минимизируем пока TSDB в пайплайне метрик

получается надо убирать cadvisor и переделывать дашборд..

да. я выше кидал как делать дискавери через consul что бы тоже один джоб остался

это об этом? https://docs.docker.com/engine/admin/prometheus/#use-prometheus

тут же написано, что Currently, you can only monitor Docker itself. You cannot currently monitor your application using the Docker target. разве это значит что это аналог cadvisor, который умеет измерять все, что относится к конкретному контейнеру?

Как бы вот это https://github.com/otm/networkmap.js к графане прикрутить как panel plugin с меппингом значений, полученных от датасорса на цвета и лейблы линков и узлов на weathermap. Получилась бы супер-пупер крутая статустная панель. Просто через Text Panel этот weathermap c заранее сгенерённым json файлом с данными легко присобачить, но хочется большего ? - не всё же на кактус смотреть...

Как бы вот это https://github.com/otm/networkmap.js к графане прикрутить как panel plugin с меппингом значений, полученных от датасорса на цвета и лейблы линков и узлов на weathermap. Получилась бы супер-пупер крутая статустная панель. Просто через Text Panel этот weathermap c заранее сгенерённым json файлом с данными легко присобачить, но хочется большего ? - не всё же на кактус смотреть...

оно слегка мертвым выглядит

If the file is currently empty, paste the following: { "metrics-addr" : "127.0.0.1:9323", "experimental" : true } смущает это experimental

оно слегка мертвым выглядит

Ну и что? Лишь бы работало. Да и написано, на первый взгляд, достаточно культурно. Diagram panel плагин такого простора не даёт.

Ну и что? Лишь бы работало. Да и написано, на первый взгляд, достаточно культурно. Diagram panel плагин такого простора не даёт.

ну обидно запилить будет и понять что на 30 объектах оно работает так что ест весь браузер

ну обидно запилить будет и понять что на 30 объектах оно работает так что ест весь браузер

Согласен. Хочу на досуге его сначала в чистом виде погонять, проверить на вшивость с картой-пустышкой, но достаточно большой.

ERROR: S client not available

ну обидно запилить будет и понять что на 30 объектах оно работает так что ест весь браузер

этим судя по показаниям top нынче никто не заморачивается :(

да. я выше кидал как делать дискавери через consul что бы тоже один джоб остался

не нашел. счас надо отлучиться, вернусь - продолжу тиранить опять..

не нашел. счас надо отлучиться, вернусь - продолжу тиранить опять..

https://kb.nocproject.org/pages/viewpage.action?pageId=29982977

тут же написано, что Currently, you can only monitor Docker itself. You cannot currently monitor your application using the Docker target. разве это значит что это аналог cadvisor, который умеет измерять все, что относится к конкретному контейнеру?

Аналога cadvisor нет, и вроде как и не будет, потому что куб и сварм вроде умеют отдавать метрики и так. А чисто докер мало кому из крупных нужен.

@Zlokot >>проблема в том как опеределить на какой ноде этот сервис, чтобы отдать это имя blackbox exporter для проверки мне кажется что весь велосипед растет из docker-swarm. В кубере сервис дискавери из коробки, соотвественно пром сам все находит, и снимает метрики со всех сервисов, которые обозначены в аннотациях.

Sergey @Zlokot А вот если пойти по пути активного пуша? типа statsd?

push далеко не для всех задачь. Если есть возможность pull (а в k8s оно есть из коробки) то лучше pull.

push далеко не для всех задачь. Если есть возможность pull (а в k8s оно есть из коробки) то лучше pull.

Я не против, расскажите подробнее, почему не push?

Ну, кроме очевидного - тихой смерти

так push надо имплементировать значит в сервисы мои? врядли счас девелоперы пойдут на такое

Аналога cadvisor нет, и вроде как и не будет, потому что куб и сварм вроде умеют отдавать метрики и так. А чисто докер мало кому из крупных нужен.

блин а чем докер метрики отличаются от сварм метрик?

у меня же swarm - значит ли что это: https://docs.docker.com/engine/admin/prometheus/ мне не подойдет вместо cadvisor?

чет я в чайной ложке счас прям утоплюсь - не пойму разницу

If the file is currently empty, paste the following: { "metrics-addr" : "127.0.0.1:9323", "experimental" : true } смущает это experimental

один фиг похоже прийдется это убрать - мои сервисы не стартуют после добавления

А зачем ты вообще начал это добавлять, чем cadvisor-то плох?

а чем хорош ?

А зачем ты вообще начал это добавлять, чем cadvisor-то плох?

увидел мнение, что он уже не нужен, так как докер "из коробки" отдает метрики уже

Он отдает свои метрики, а не контейнеров

@freeseacher - м?

так и катвизор отдает метрики свои

Он отдает свои метрики, а не контейнеров

что значит "свои"

Docker Engine

А не запущенных в нем контейеров

Currently, you can only monitor Docker itself. You cannot currently monitor your application using the Docker target.

я блин именно на этом споткнулся еще с месяц назад и просто перестал дальше читать но седня вот усомнился

application - по идее это то, что В контейнере

а не сам контейнер

Нет, потому что как бы докер не хотел, он не сможет просто так взять и мониторить приложение внутри контейнера

там нету docker stats ?

Нет, потому что как бы докер не хотел, он не сможет просто так взять и мониторить приложение внутри контейнера

это объясняет почему "you can only monitor Docker itself" но не "You cannot currently monitor your application"

Docker itself - Docker Engine

ну это понятно но вот уже термин application - он же относится не к статсам контейнера все таки.. я вижу три уровня мониторинга: 1 - нода - это сам сервер, OS - тут работает node_exporter 2 - docker layer - это докер и контейнеры в нем - тут нужен cadvisor 3 - service - это то, что крутится внутри контейнера - апликуха. вот тут уже варианты - или blackbox или если у app есть /metrics - то снимать их оттуда