с цветокоррекцией заебусь...

Привет! Меня позвали в церковь. Где алтарь?

а где дары ?

жертвуют грешники

у нас особая церковь. надо достать и измерить.

и нарисовать еще )

и в идеале поалертить

у меня просто nodeexporter,prometheus,alermanager,cloudwatch,grafana

ну и свои метрики из приложения на отдельном эндпоинте

а что в списке делает клаудвач ?

ну, потому что он меряет

тоже

и я его тоже графаной показываю

а дашик, дашик то есть ?

прометеевский?

какой нить

и чем во всей этой схеме ловить вебхуки что бы показывать их на анотациях в графане ?

зачем вебхуки?

всё на pull

хочу деплои показывать палками

ну это у нас редко

и тем более нужны палки

где девственницы?

Сергей, есть вебхуки ?

ну и свои метрики из приложения на отдельном эндпоинте

штатная библиотека прома ?

ничего нет

все проебали

Сергей, есть вебхуки ?

нет;)

штатная библиотека прома ?

тектовый высер из приложения по урлу

питончик же да ?

ну да:)

метрики всегда все отдаются ?

из приложения? да, всегда все

они в общем так и нужны

там всё счетчики разного в основном

куча процессов генерит события, обработчики событий инкрементят счетчики событий в редисе

как происходит регстрация всех метрик ?

у нас тут с @dvolodin спор на эту тему вышел

с одной стороны удобно когда все метрики отдаются всегда

с другой стороны их надо регать как то

куда регать?

я вижу несколько смыслов в этой фразе:)

ну в реестр что ли

на зачем?

что бы ендпоит про них всегда знал

а то ведь некоторые срабоатывают только в каком нить except

погоди. по урле приложение отдает срез всех метрик, метрики оно уже внутри себя заранее посчитало

когда дернешь, тогда получишь срез

нее я про другое

вот есть метрика

её на старте нужно инициализировать нулем

и сделать так что бы про нее знал ендпоинт

на старте чего? зачем? ну сбрасывается она иногда и по фигу

как счетчик трафика в сетевухе

она же counter

пром сам разберется, что она сбросилась

эта понятно

эх как объяснить

пром увидел, собрал, в графане я ввел ее в дашборд, она показалась. ЧЯДНТ?

после рестарта демона, ендпоин отдаст все метрики каие есть в демоне или только уже сработавшие ?

все отдаст

откуда он узнает про все метрики ?

нет понятия "сработала"

ERROR: S client not available

блядь, сорри, я туда ручками в код написал что считать и откуда показывать

они словариком у него описаны в самом ендпоинте да ?

это наше приложение, белый ясчик

ну, не словариком, но да

там ООП во все поля;)

а как многотредовость отрабатывает ?

вьюшка с полями, процессор, вьюшка смотрит в процессор, процессор собирает

оно отдельно от приложения лежит. в редисе

и в базке кое-что

ага

все понятно

редисик был не ясной для меня точкой.

тогда проблемы старта нету

т.е. да, может ответить любой инстанс

и все метрики сразу заранее известны

куча процессов генерит события, обработчики событий инкрементят счетчики событий в редисе

да да. я пропустил слово редис тут :)

у нас для rest фреймворка написан специальный форматер, который на этом ендпоинте отрабатывает для прометея;) а мы можем туда ходить и получать json или html с красиво форматированными метриками:) и дебуг тулбаром

получилось няшно

можно прямо на том же урле даже флеймграф посмотреть при желании:)

mail_queue_len{key="queued", instance="demo_host"} 616 mail_queue_len{key="sent", instance="demo_host"} 4244

вот для этого надо было проверить, что индексы используются в count в sql

блин, чот я озадачен

смотрите

есть простецкий promql query:

rate(net_bytes_recv{host=~"$host.*", interface=~"eth1"}[1m])*8

к нему есть простецкий же алерт

ALERT internal_network_high_throughput IF rate(net_bytes_sent{interface=~"eth1"}[1m])*8/1000/1000 > 80 FOR 5m

rate(net_bytes_recv{host=~"$host.*", interface=~"eth1"}[1m])*8

С какой частотой метрики собираются?

раз в десять секунд