нормальный мониторинг короткоживущих сущностей.

пром завершенный ага.

но крючки на будущее многиеделают

а сейчас разве не нормальный?

но крючки на будущее многиеделают

что такое крючки

а сейчас разве не нормальный?

а. не правильно тя понял. да сейчас уже нормальный.

а. не правильно тя понял. да сейчас уже нормальный.

ты часто говорил что у него проблема с не краткосрояными, это уже изменилось?

нет. 15 дней и досвидос

или по прежнему графит?

((

так обидно и ничего не сделать?

а в будущем планируется на длительный период, или это принципиально было сделано что короткий период

ну они там remote_write предлагают

Коллеги, а как можно прометеем мониторить наличие эндпоинтов, сервисов и ингрессов кубернетеса? То есть, я хочу знать, что, допустим, у меня существует эндпоинт и, если он вдруг пропадёт, то его значение (их количество) будет равно нулю и я получу алерт.

Коллеги, а как можно прометеем мониторить наличие эндпоинтов, сервисов и ингрессов кубернетеса? То есть, я хочу знать, что, допустим, у меня существует эндпоинт и, если он вдруг пропадёт, то его значение (их количество) будет равно нулю и я получу алерт.

Эмм, ну up же для каждого таргета, не?

Эмм, ну up же для каждого таргета, не?

Не совсем понял. Я хочу монитроить сущности, не являющиеся подами и деплойментами.

Ну ок, я не очень представляю как это выглядит со стороны кубера, но вопрос - эти эндпойнты идут отдельной метрикой в проме?

Ребят привет. Использует кто ? https://github.com/messagebird/sachet

Ребят привет. Использует кто ? https://github.com/messagebird/sachet

кстати прикольно

кто юзал

?

Коллеги, а как можно прометеем мониторить наличие эндпоинтов, сервисов и ингрессов кубернетеса? То есть, я хочу знать, что, допустим, у меня существует эндпоинт и, если он вдруг пропадёт, то его значение (их количество) будет равно нулю и я получу алерт.

Blackbox

Ну ок, я не очень представляю как это выглядит со стороны кубера, но вопрос - эти эндпойнты идут отдельной метрикой в проме?

Если бы шли, вопроса бы не возникло. Просто мало ли, вдруг кто-то сталкивался и знает экспортер какой-то, который их собирает.

кто юзал

я и юзаю) просто вопрос был, уже решил)

и как, шлет смс-ки? :D

так обидно и ничего не сделать?

Можно изменить, у меня вот 60 стоит. Теоретически внешними тулзами можно сделать ретеншн для отдельных рядов.

угу, кстати да, ретеншен же указывается при запуске - я 30 поставил

Вот так примерно

через инфобип настроил

слуушай, а на основе чего взводишь host_down?

недоступность таргета для скрейпа?

Когда пром будет string поддерживать ?

Есть ли у кого инфа на этот счёт ?

Есть мысль заменить nrpe

Когда пром будет string поддерживать ?

что значит - поддерживать strings?

что значит - поддерживать strings?

Values

Ват?

я пытаюсь понять, чего именно вы хотите

задача-то какая?

т.е. чтобы значение метрики содержало текст, а не число?

Да

а зачем?

что вы будете делать с метрикой в виде текста?

Задача хранить состояния не 1/0 а значением

Проходиться regex и решать все ли с ней в порядке

Например

Как сейчас нагиос тот же делает с nrpe плагином

по моему это не тот инструмент для такой задачи

Тогда бы можно отказаться от нагиос

Хотя без трапов вида dying gasp может быть тяжело

Или я наркоман?

Blackbox

Выглядит неплохо, но не то немного.

Или я наркоман?

https://landing.google.com/sre/book/chapters/monitoring-distributed-systems.html особо смотреть на white-box and black-box

https://landing.google.com/sre/book/chapters/monitoring-distributed-systems.html особо смотреть на white-box and black-box

Годная ссылка Спасибо!

слуушай, а на основе чего взводишь host_down?

в данном случае - да, исторически сложилось)

по сути это просто же alertname

ну я больше о сути алерта. Можно ли считать host down если скрейп не происходит? Т.е. можно ли приравнять это к icmp availability.

ну я больше о сути алерта. Можно ли считать host down если скрейп не происходит? Т.е. можно ли приравнять это к icmp availability.

Если вы про пром, у каждого job есть метрика up. Стоит заметить, она не появится, если скрап не прошел хотя бы раз.

ну да, это-то понятно. Только это может значит недоступность экспортера, но не самого узла например

ну я больше о сути алерта. Можно ли считать host down если скрейп не происходит? Т.е. можно ли приравнять это к icmp availability.

можно и нужно. Хост может лежать трупом и отвечать при этом по ICMP

теперь он показывает латентность

Не путайте латентность и latency, ok?

так то да, НО, для этого как раз и есть whitebox метрики, по которым уже ясно, что хоть и icmp отвечает - хост мертв. При этом если icmp недоступен, то понятно, что совсем все плохо. Т.е. в идеале - это совмещение всех этих метрик.

Мне кажется, что хост недоступен - это не совсем нужная метрика. По факту же вам важно, что какой-то ресурс недоступен, скорее всего. Или я ошибаюсь?

То есть, возможно, стоит нафигашить blackbox или consul чеков для ресурсов?

так то да, НО, для этого как раз и есть whitebox метрики, по которым уже ясно, что хоть и icmp отвечает - хост мертв. При этом если icmp недоступен, то понятно, что совсем все плохо. Т.е. в идеале - это совмещение всех этих метрик.

так никто не мешает совмещать, алертменеджер для чего придуман? хотя "хост умер" и "хост совсем умер" – разнциа, по-моему, небольшая

ERROR: S client not available

ну в целом можно думать так: по недоступности экспортера взводить host down, при этом понимая, что есть два варианта: 1. Упал только экспортер - это тоже очень плохо и надо сообщать и идти поднимать. 2. упал целиком хост, или он в предсмертном состоянии - тоже мы об этом узнаем из метрики up, т.к. value станет down.

при любом раскладе мы получаем полезную информированность.

еще есть oklog который может быть интересно, но я пока не знаю ни одного человека, кто бы его щупал

О, оклог это респект) я как то когда ичкал больше инфы по всяким решениям наткнулся на пост про эту тему. Жаль чувак его походу совсем в свободное от остальноно время пилит) было бы интересно посмотреть в работе)

Не путайте латентность и latency, ok?

Судя по коду — его писали гомосексуалисты, так что я всё верно написал

латентность это оч размазанный термин

Обосновал, чо.

о господи, Марк набежал в церковь и устроил здесь ceph-ru

если ты о пидарасах подумал - уже латентный пидр

началось, блять

народ

@aabramovich продолжишь - пойдешь в бан.

в смысле в рид онли

молчу, сир ?

О, оклог это респект) я как то когда ичкал больше инфы по всяким решениям наткнулся на пост про эту тему. Жаль чувак его походу совсем в свободное от остальноно время пилит) было бы интересно посмотреть в работе)

да вот хз, кажется что не тока один чувак, не тока в свободное время.

да вот хз, кажется что не тока один чувак, не тока в свободное время.

Ну там автор - сильный чувак в коммуюнити)

Гошном, как я понимаю

И идея оч прикольная

да

там авторов больше 1 )

хм..ну в изначальном посте, который я читал(оч длинный с описанием что для чего) он писал что начал его 1, чтобы сделать что-то такое для логов как прометеус для монитроинга

мне показалось что он тогда писал 1

надо почекать гитхуб

а кто как собирает кастомные метрики, которые надо генерить своим каким-нибудь скриптом?

Зависит от скрипта. Если он тянет данные из бд, то через соответствующий экспортер обычно можно, иначе самописным или push gateway, если лень делать самописный, наверное.

там авторов больше 1 )

https://github.com/oklog/oklog/graphs/contributors ну судя по коммитам он его всё таки в соло пилит

https://peter.bourgon.org/ok-log/ вот кстати та статья

хотя это не совсем сюда наверное, лан

Вроде отдельного чата по логам пока нет ..

и так уже слишком много чатов с ондими и теми же людьми

Это да)

Зависит от скрипта. Если он тянет данные из бд, то через соответствующий экспортер обычно можно, иначе самописным или push gateway, если лень делать самописный, наверное.

нашел такой вариант https://github.com/influxdata/telegraf/tree/master/plugins/outputs/prometheus_client А телеграф в свою очередь запускает нужные скрипты через exec.input модуль, получает вывод и экспортит его для Прома. Норм? :)

Вцелом работает