@krakazyabra будет жить. Поприветствуем!

Возможно да, но иногда надо почистить кучу всякого ауна )))

удали всю историю. не думаю что ты успел насобирать больше чем хотел бы удалить

Дык я на будущее ))

а набудущее неудаляй.

У меня впереди еще много экспериментов ?

само уйдет. подожди retention

А удаление через api не очень хорошая идея что ли?

само уйдет. подожди retention

Ну нееее, ждать 365 дней, как в одной известной компании????

эм. 365 ?

гдето у меня был крутой смайлик про фейлпалм. не могу найти. там где сразу полчата фэеспламнуло

может у @Nklya есть

а набудущее неудаляй.

Это чем обусловлено?

Это чем обусловлено?

тем что базы tsdb append only по архитектуре. и удаление в них - по факту костыль

лучше ждать ретеншн да

тем более что ртеншены в контексте прома довольно коротки.

Я думаю цифра в 365 дней родилась из Z

может это просто число дней в году?

год слишком плавающая константа

псс

парни

а заббикс научился прометеус читать

тут, кстати, в description-е чата опечатка > Атуальный список TSDB

тут, кстати, в description-е чата опечатка > Атуальный список TSDB

спасибо

а заббикс научился прометеус читать

андрей, есть 2 канала на которых эту новость стоит и нужно обсуждать. предлагаю делать это там. спасибо.

Тут про алертманагер рассказывают? Можете кидануться той частью доки где рассказывают как правильно дергать переменные в алертах?

{{$labels.instance}}

{{$value}}

это всё

я могу сделать value: time() - {{ $value }}? или же {{ $value }} / 1024? на резнноый вопрос "чеб не проверить" отвечу что возможности пока нет, а знать нужно бы

там юзаются гошные шаблоны

можно так вот например annotations: description: '{{$labels.host}}: {{$labels.path}} disk usage is above 90% (current value is: {{ $value | printf "%.2f"}})' summary: '{{$labels.host}}: Low disk space'

андрей, есть 2 канала на которых эту новость стоит и нужно обсуждать. предлагаю делать это там. спасибо.

он там в ro ?

я могу сделать value: time() - {{ $value }}? или же {{ $value }} / 1024? на резнноый вопрос "чеб не проверить" отвечу что возможности пока нет, а знать нужно бы

вот репа https://code.getnoc.com/noc/noc-prometheus-alerts/blob/master/infra.rules.yml с чуток примерами

@EKbfh ты не пробовал туда ещё чего добавлять ?

а есть способ посмотреть все labels?

а есть способ посмотреть все labels?

сделай запрос в пром. он тебе скажет их все

@freeseacher ты как то пытался найти людей, которые юзают m3? они таки откликнулись? интересно было бы какой-то отзыв получить

да. такие люди есть в gitter проекта

там ~40 человек.

живых русскоговорящих пока не найдено.

просто пытаюсь понять объем подпиливаний, в случае использования его как long-term

просто выбор адаптеров с remote read не так широк, как я погляжу. как поступают тогда в случае наличия только write? делят дашборды и репорты на актуальные и исторические?

никак не поступают. это очевидно тупиковая ветка развития

@EKbfh ты не пробовал туда ещё чего добавлять ?

Пока нет.

почитав доку на m3db выглядит будто размах у них широкий. сколько придется пилить до mvp на своей инфораструктуре я хз. в августе ребята признали что стоит бы сделать тесты на функциональность связанную с промом. тут читать https://github.com/m3db/m3/issues/866

в promhouse смущает конечно "do not use it in production")

сейчас выглядит будто основную работу тащит https://github.com/richardartoul отвечает быстро и по делу.

в promhouse смущает конечно "do not use it in production")

такое везде

ну с другой стороны, ведь и remote write/read не самая стабильная вещь

даже в проме такое написано. https://prometheus.io/docs/prometheus/latest/stability/ Things considered unstable for 2.x: Any feature listed as experimental or subject to change, including: The holt_winters PromQL function Remote read, remote write and the remote read endpoint v2 HTTP and GRPC APIs

вот репа https://code.getnoc.com/noc/noc-prometheus-alerts/blob/master/infra.rules.yml с чуток примерами

Спасибо, гляну

Подскажите, как включить в графане при алертах (отправка в телегу), отображение метрик в сообщении? У меня почему-то на одном типе алертов приходит метрика, на других просто урл на график. При этом в slack всегда метрика прилетает.

А второй вопрос. В slack прилетает метрика со значением, после запятой дохрена цифр. Мне нужно или срезать до 2 или округлить. Как это сделать? При этом в телегу норм, срезает до 3 знаков после запятой ?

в датасурсе надо это делать по-идее

Подскажите пожалуйтса. Ночью снимается бэкап и в это время реплика отстаёт от мастера —> срабатывает алерт Как убрать это ложное срабатывание на этот период? Через exp в prometheus'e? Так и не понял как это делать используя имеющиеся у него функции. Или эту логику можно переложить на alertmanager ?

Увы, нет. Мы свой Alertmanager поэтому написали. https://github.com/prometheus/alertmanager/issues/876

Кек, алсо пишу свой alert manager именно по этой причине ?

а почему не темплейтить конфиг алертманаджера и релоадить его по "крону" ?

ERROR: S client not available

не хочется костылить, думал есть возможность добиться результата имеющимся функционалом

а функции вида hour(), minute()?

хм. с каких пор штуки которые делают шаблонизацию и релоадят конфиг считаются костылингом ? с каких порт подстройка сервиса под то что что то в физическом мире происходит по крону считается костылингом ?

а функции вида hour(), minute()?

да, читал, но не понял как с ними это реализовать Можете привести пример?

Подскажите пожалуйтса. Ночью снимается бэкап и в это время реплика отстаёт от мастера —> срабатывает алерт Как убрать это ложное срабатывание на этот период? Через exp в prometheus'e? Так и не понял как это делать используя имеющиеся у него функции. Или эту логику можно переложить на alertmanager ?

может в скрипте бекапа посылать сайленс перед началом работ ?

ведь сайленсы именно для этого придуманы...

да, читал, но не понял как с ними это реализовать Можете привести пример?

сейчас попробую, самому интересно

а функции вида hour(), minute()?

а как потом связать это с тем что бекап начинает делатся в другой таймзоне ? или в другое время ?

посчитать самому, в прометее это же всегда UTC

но это такое себе развлечение

а вот это уже выглядит как костыль да

потом под него будут еще подпорки

да там хорошее универсальное решение не придумать

например баз стало две :) и бекапить надо в разное время

как по мне так этот функционал напрашивается

если надо считать даты-время, то ты так или иначе будешь покрываться костылями

да там хорошее универсальное решение не придумать

сайленс вполне себе

тем более в схеме уже есть "скрипт бекапа"

да, с сайленсом пока видится лучшим выходом

можно еще из скрипта бекапа экспортить дополнительную метрику со значениями 0/1 (не нужно мониторить/нужно мониторить). умножать метрику лага на эту служебную

единственное только, что алертменеджер может быть недоступен с машины где скрипт бекапа

схему было бы сложно реалиховать если бы скрипта не было. например мониторинг сущностей которые в физическом мире выключают "уходя госите свет"

тут нужен был бы фикс со стороны алертманаджера да

hour(timestamp(up{}==0)) < 20 > 18 - ну да, костылевато конечно

если я правильно понимаю принцип работы функций этих

(hour() > 7 < 16)

а как увязывать с выражением основным для алерта?

and on () ...

and on () ...

да, спасибо, быть честным, не знал, что label list может быть пустым