А порты случайные устанавливаются сервисами?

{ "targets": ["xx.xx.xx.xx:9100","xx.xx.xx.xx:8888"], "labels": { "job": "node1_node", "instance": "node1:9100" } },

у каждого сервиса, что работает в контейнере свой статический порт.

"instance": "node1:9100" то есть в дашборде я вижу список этих инстансов

9100 - это node exporter 8888 это cadvisor

таким образом пром "видит" метрики ноды и контейнеров на всех нодах, что есть в env.yml

может можно сделать как-то красивее, но так исторически сложилось, что конфиг такой. думаю это не оч принципиально. главное что cadvisor снимает все метрики. осталось вот разобраться с этой задачкой и мониторинг кухни моей будет готов

Вот это не попадалось? https://github.com/ContainerSolutions/prometheus-swarm-discovery

неа, читаю.. пока чет не пойму как это мне применить

ох, похоже надо раскуривать этот relabeling.. мутная хрень

Вот это не попадалось? https://github.com/ContainerSolutions/prometheus-swarm-discovery

тут не очень понятно как часто будет обновляться этот конфиг для прометея..

Там в настройках есть интервал обновления

А Prometheus автоматически перечитывает файл, как я понял

А точно сварм нужен, тут кто то на днях говорил что как его там кубернетс вроде побеждает

а не тут, в чятике докера

Это отдельный вопрос, но поддерживаю эту мысль

пока сварм.. даже не сварм, а докер стек. но про кубер тоже думаем, или даже про опеншифт

С кубером там вообще весело

Они уже и свой рантайм пилят

И проект который отдельно containerd припилили

кстати, а никто не делал мониторилку "протухания" ssl сертификатов, в виде метрик, чтоб оно потом той же графане красивенько скармливать? ну или линк мож попадался? оно конечно ближе к алертам наверное, но вдруг что полезное в виде метрик есть :)

Blackbox exporter у prometheus посмотри, там есть http check. И там может возвращаться время экспирации сертификата.

Blackbox exporter у prometheus посмотри, там есть http check. И там может возвращаться время экспирации сертификата.

Да, у меня так и мониторится

С алертами и прочим

1) Не обязательно пользоваться telnet есть tcp проверки 2) Есть какой-нибудь sd? DNS, Consul 3) Откуда такие хостнэймы монструозные? 4) И да, графана тут вообще ни при чем.

traefik.io

А причём он здесь?

sd

Привет. А кто нибудь с прометеусом квест на реверс-прокси прошел? Как эти два web параметра задать, я так и не пробился чтобы нормально работал

наверное, все.

это мне ответ?:)

@alexanderzobnin https://community.grafana.com/t/heatmap-using-prometheus-histogram/1936 не поменялось ?

ага. поменялось.

Time series buckets Each time series already represents a Y-Axis bucket. The time series name (alias) needs to be a numeric value representing the upper interval for the bucket. Grafana does no bucketing so the bucket size options are hidden.

Пока еще руки не дошли

но пром пока мимо да

я тут mtail раскуриваю. там прикольно можно из логов понаделать гистограм

У прометея, кажктся, похожий на StatsD формат гистограмм, мы с самого начала хотели добавить, но как-то все времени не хватает.

ну я в форматы не лез пока. панелька четко возвращает пустоту.

ладно потыка варианты

вроде ковер умеет

Какой ковер?

https://grafana.com/plugins/petrslavotinek-carpetplot-panel/installation

не

он про другое

вроде ковер умеет

С carpet plot непонятна область применения - у него же по Y только 24 часа вроде. Или что-то поменялось?

да не. я затупил

https://github.com/influxdata/influxdb/issues/6451 мде :)

thanx gods i'm not using influxdb

бывает похожее, но не из-за инфлюкса. например, в класс политики добавляю еще одну и при этом счетчики класса ведут себя странно. в этом случае non_negative_derivative или non_negative_difference покажут всякое.

не более 2мбит должно было быть..

если на графике ось можно как-то ограничить, то со значениями приходится мириться.

Кстати, не видел, чтобы тут пролетало: вышел collectd 5.8 (https://collectd.org/news.shtml)

а кто-нибудь юзает пром + collectd? как оно?

живые пользователи stackstorm в чате есть ?

ух. морда для прома https://github.com/line/promgen

вдруг надо кому

зачем то

Господа хорошие, у меня вопрос. Если в двух словах - разрабы пишут код на Питоне, хотят мониторит каждый процесс. При этом они отказываются запиливать единый endpoint сбора метрик, предлагая вместо этого опрашивать каждый процесс в отдельности по его личному endpoint-у. Интуитивно я понимаю, что это - полное говно, потому что не масштабируется от слова "совсем".

так и надо

разрабы правы

ERROR: S client not available

+

единый ендпоинт решает другую задачу

Накидайте, пожалуйста, ещё аргументов против такого подхода (я у них запрашивал изначально абсолютно другой вариант: один компонент - один ендпойнт, отдаётся список с данными по каждому процессу данного компонента)

Да они правы

единый ендпоинт годен для сбора метрик не процесса а системы

И как раз-таки отлично масштабируется

С sd конечно

у меня сейчас такая же беда. я с каждого процесса собираю метрики. а вот общесистемные приходится прогонять через башскриптики и телеграф.

а так да. сведи всё в консул, скажи прому забирать процессы из консула.

могу скинуть как у меня такое настроено

у меня сейчас такая же беда. я с каждого процесса собираю метрики. а вот общесистемные приходится прогонять через башскриптики и телеграф.

Общесистемные я собираю через collectd, разрабов это вообще не касается.

Да они правы

Мотивация?

ты хочешь странного

Общесистемные я собираю через collectd, разрабов это вообще не касается.

регай коллектд в консуле

Мы же в два голоса мотивировали)

могу скинуть как у меня такое настроено

а покажи пожайлуста

Причём тут нафиг консул? Это k-v хранилка, сами процессы ничего никуда не отдают и не собираются.

Консул это service discovery, чтобы пром знал куда ходить собирать.

Причём тут нафиг консул? Это k-v хранилка, сами процессы ничего никуда не отдают и не собираются.

консул это ервис дискавери в первую очередь

А, ведь там может быть не пром)

а покажи пожайлуста

https://kb.nocproject.org/pages/viewpage.action?pageId=29982977

А, ведь там может быть не пром)

Потому что тут не пром, да. Сервис дискавери нет, и масштабирования, и работает всё на железках. Я не спрашиваю, как надо делать, я спрашиваю, может ли кто набросить аргументов _против_ 1 ендпойнт=1 процесс. У меня в одном компоненте имеет место до десятка приложений, и каждое приложение через supervisord запускается в несколько процессов.

сергей, аргументов нет. разрабы правы. но ты к их правоте не готов. увы грусть.

То есть это нормально - видеть в конфигах сотню ендпойнтов и занимать этим две сотни портов?

да. вполне.

но у меня например порты динамические

и их можно только дискаверить

главное конфиги руками не писать, в остальном - почему нет?

так что ты разрабам скажи что готов к их схеме. но надо что бы они писали факт сервиса в консул

Архитектура на данный момент не предполагает консула.