Ребята а у prometheus есть возможность изменить scrape interval если alert сработал ? или в каких то случаях , проверка раз в пять минут , но хочется если проблема то он стал бы чаще проверять

Нет

/stat@combot

combot.org/c/-1001068522817

Ребята а у prometheus есть возможность изменить scrape interval если alert сработал ? или в каких то случаях , проверка раз в пять минут , но хочется если проблема то он стал бы чаще проверять

Можно сделать запрос в алерте который будет учитывать горение другого алерта, но это закат солнца вручную

/leave

Можно сделать запрос в алерте который будет учитывать горение другого алерта, но это закат солнца вручную

ага ну тогда дальше буду думать как делать

Ребята а у prometheus есть возможность изменить scrape interval если alert сработал ? или в каких то случаях , проверка раз в пять минут , но хочется если проблема то он стал бы чаще проверять

пишешь нечто, принимающее вебхук из алертменеджера, чтобы оно меняло конфиг прометея для конкретной точки и дергало прометей перечитать конфиг

Ну то есть scrape у тебя останется тот же, но алерты можно чтобы зависимые были

И например чтобы считались чаще-реже

Но это странное

пишешь нечто, принимающее вебхук из алертменеджера, чтобы оно меняло конфиг прометея для конкретной точки и дергало прометей перечитать конфиг

это пока что слишком

пишешь нечто, принимающее вебхук из алертменеджера, чтобы оно меняло конфиг прометея для конкретной точки и дергало прометей перечитать конфиг

Отличный костыль, мне нравится

Отличный костыль, мне нравится

серьзено нравится ?

По меркам костыльности он очень хорош

ну мы так self-healing делали

чтобы ночью не вставать из-за фигни

Звучит как self-ignoring

ага

ignoring это заглушить алерт. а собрать всю диагностическую информацию и правильно перезапустить приложение это немного другое

специалисты по исинге и nsp++ клиенту есть? не могу, блин, мониторить сетевой интерейс на венде (

Evgeny, почитывая парней из m3 встретил мнение что remote_read в проме сделан не лучшим образом. помню что ты тоже ругался. поделись подробностями ?

remote_read не умеет в агрегацию, он просто говорит - дай мне данные за такой-то интервал, даже если в этом интервале миллиарды точек

т.е. адаптер должен заранее знать как даунсэмплить данные, это не очень реалистично

ага. спасибо.

Ну альтернатива этому - адаптер должен уметь интерпретировать пром

парни из m3 умеют заглядывать в разные namespace для разных данных.

через namespece у них реализованы retention policies к примеру

Ну альтернатива этому - адаптер должен уметь интерпретировать пром

могли бы просто передавать step и функцию, чтобы адаптер смог сделать правильный запрос к базе адаптеру неоткуда узнать, какие серии как нужно даунсэмплить, где-то нужно использовать max, где-то avg, где-то вообще бессмысленно даунсэмплить, эта информация обычно есть в дашборде, дашборд отправляет эту информацию в пром, а вот пром ее дальше не передает

могли бы просто передавать step и функцию, чтобы адаптер смог сделать правильный запрос к базе адаптеру неоткуда узнать, какие серии как нужно даунсэмплить, где-то нужно использовать max, где-то avg, где-то вообще бессмысленно даунсэмплить, эта информация обычно есть в дашборде, дашборд отправляет эту информацию в пром, а вот пром ее дальше не передает

Передавать функцию и есть то что я сказал

Ну альтернатива этому - адаптер должен уметь интерпретировать пром

Ну так работают все вменяемые решения для апскейла прома - и Thanos, и M3 и Cortex – в каждый мучительно впиливается пром...

Танос шлёт запросы ваще во все сайдкары

Свои минусы есть

Мне еще не понравилось в remote read следующее - оно запрашивает все точки, а потом как-то их сжимет до меньшего количества внутри прома. В результате при просмотре графика за длительный период рисуется не линия, а отдельные редкие точки. Я так и не понял по какому принципу он это делает

Адепты, подскажите, в пром в аннотации алерта такую конструкцию поместить нельзя? {{ reReplaceAll "slave_(.*)" "${1}" .Labels.id }}. У метрики есть лейблы вида id="slave_1".

Хочу эту самую единичку вырезать и подставить в сообщении. Но пром ругается.

Передавать функцию и есть то что я сказал

функцию он и отправляет, но не функцию для даунсэмплинга, а то что было в запросе (например rate или deriv), т.е. получается, что TSDB должна повторять семантику прома, чтобы это использовать, но хинт для даунсэмплинга оно не отправляет, поэтому для даунсэмплинга это совсем бесполезно

т.е. это явно делалось для федерации прома, но не для интеграции с TSDB

Ребят подскажите можно ли мониторить systemd сервисы с помощью prometheus? инфы не могу найти на уту тему

Ребят подскажите можно ли мониторить systemd сервисы с помощью prometheus? инфы не могу найти на уту тему

в node-exporter есть systemd коллектор

Встроенный? То есть мне нужно только алертинг настроить

да

а

Disabled by default

https://github.com/prometheus/node_exporter

Disabled by default

ну там ключик запуска есть.

запусти с ключиком

Ребят подскажите можно ли мониторить systemd сервисы с помощью prometheus? инфы не могу найти на уту тему

а telegraf'ом такое можно?

Ребят подскажите можно ли мониторить systemd сервисы с помощью prometheus? инфы не могу найти на уту тему

Netdata

Слава Ибрагимов будет жить. Поприветствуем!

Всем привет! Посоветуйте как быть. Есть условное приложение, у которого 10-18 тредов с custom names. В зависимости от конфигурации количество тредов может меняться. Есть TICK, которым хочется мониторить каждый тред в плане потребления CPU time & RAM. Есть ли хороший способо решить подобную задачу без костылей? OS = Linux

Всем привет! Посоветуйте как быть. Есть условное приложение, у которого 10-18 тредов с custom names. В зависимости от конфигурации количество тредов может меняться. Есть TICK, которым хочется мониторить каждый тред в плане потребления CPU time & RAM. Есть ли хороший способо решить подобную задачу без костылей? OS = Linux

Отдавать метрики из самого приложения.

Aleksandr Bagaev будет жить. Поприветствуем!

@lAionl будет жить. Поприветствуем!

@AlAnisimov будет жить. Поприветствуем!

1111 members

ERROR: S client not available

можно поднять бокалы

А кто и как мониторит постгрю? Что надо мониторить? Какой лучше экспортер использовать?

экспортер использую тот, что на оффсайте. мониторю пока минимум. Если кто-то выложит свой файл с метриками - будет здорово

У меня вот вопрос по этому экспортеру, он воспринимает параметры подключения через переменные окружения... И как с этим жить? Как секретные данные не использовать... (((

И если создавать отдельного юзера, какие ему права надо накинуть?

У меня вот вопрос по этому экспортеру, он воспринимает параметры подключения через переменные окружения... И как с этим жить? Как секретные данные не использовать... (((

Если речь идёт об k8s, то возможно делать envFromSecret

Вот в том то и дело, что я запускаю как обычный сервис системд (((

Не в контейнере

а без энв ты бы как сикрет передал?

А с чего вдруг env стал пригоден для секретов больше чем файл?

cat /proc/333/environ и всё

Так даже проще

да ни с чего, так же слабо пригоден

Тут можно сделать подпорку в виде изоляции но там шаредхостинг начинается и я туда не ходил

Мне тут подсказали немного другой выход, я все равно на локалхосте запускаю экспортер и можно спокойно коннектиться через юникс сокет... Завтра попробую.

У меня вот вопрос по этому экспортеру, он воспринимает параметры подключения через переменные окружения... И как с этим жить? Как секретные данные не использовать... (((

файлик. а в енв переменную где брать файлик

А файлик же тоже должен быть plaintext и ничего не мешает его посмотреть?

ну там ключик запуска есть.

C таким? ExecStart=/usr/local/bin/node_exporter --collectors.enabled systemd

Остальные отключатся

Надо указывать все какие надо

У меня и этот не включился

Есть пример у когонибудь как запустить node_exporter с systemd

У меня и этот не включился

Потому что флаг --collector.systemd

Остальные отключатся

Не отключатся

C таким? ExecStart=/usr/local/bin/node_exporter --collectors.enabled systemd

да

Надо указывать все какие надо

не должны

Потому что флаг --collector.systemd

Спасибо вот так запустился