Но перфекционист внутри меня не очень рад этому

а. Ну да, согласен, выглядит не очень красиво.

Надо писать наколенные скрипты (прям как в нагиосе)

просто есть метрики, которые ничто не экспортит, или я пока не нашел :) И вот для таких приходится писать собственные скрипты

а для них еще и экспортер писать - сильно обременительно и трудозатратно

а для них еще и экспортер писать - сильно обременительно и трудозатратно

Помоему самое правильное писать свой экспортер для них

просто есть метрики, которые ничто не экспортит, или я пока не нашел :) И вот для таких приходится писать собственные скрипты

например?

например показатели планок памяти. извлекаемые из /sys/devices/system/edac/mc/mc...

а для них еще и экспортер писать - сильно обременительно и трудозатратно

Вооьще нет

например показатели планок памяти. извлекаемые из /sys/devices/system/edac/mc/mc...

node_exporter вроде умеет edac, его только пнуть надо

а для них еще и экспортер писать - сильно обременительно и трудозатратно

Ну, если вы знаете python или go, то написать такой экспортер дело 30-50 минут, если вы знаете какие данные хотите получить на выходе.

Когда пром будет string поддерживать ?

Тоже хотел. Потом парни из telegraf научились в маппинг

Теперь не хочу

Вообще думаю научатся когда типы научатся

Но идеологически они говорят что строки плохо и их не будет

пром завершенный ага.

:/

Но идеологически они говорят что строки плохо и их не будет

В концепцию прометея они как-то не укладываются.

ну они прям при запуске говорили что пром клон гугловой системы. она у них умеет строки но они считают поддержку строк - bad design

Ну заббикс поддерживает строки, а это ж индустриальный стандарт

На самом деле, я на половину согласен, что строки это так себе. А вот поддержка enum или хотя бы какого-то маппинга на выходе было бы неплохо.

На самом деле, я на половину согласен, что строки это так себе. А вот поддержка enum или хотя бы какого-то маппинга на выходе было бы неплохо.

вот да

а то мне надоело смотреть на все эти числовые статусы, забираемые с адаптеков по snmp, например

да, маппинг было бы круто...

а FR есть на это? Никто не смотрел?

FR ?

feature request )

Подскажите с выбором сервиса, требуется аналог WorldPing (https://worldping.raintank.io/) с несколькими точками проверок из разных регионов России? Есть такой в природе (а если еще и с Grafana будет интегрирован так совсем шоклад)? (про то что в WorldPing можно добавлять свои ноды в курсе, но хотелось избежать покупки vds в разных регионах и возможно у разных хостеров)

проверок будет достаточно простых http, https, dns и ping с latency

пора наверное уже в фак добавлять :)))

:) точно

А для тупых - как нормально отрисовать алерты из прома в графане? 1 - как отобрасить msg? {{msg}} не прокатило 2 - когда я пытаюсь скрыть часть столбцов - сзлопывается вся таблица, остается только время 3 - как посмотреть только за текущее время алерты? А то у меня таблица на 9 листов 4 - как сделать более сложный expr? сейчас из примера node_load1 > 0.0 , а хотел 1 - (avg without (cpu)(irate(node_cpu{job="node",mode="idle"}[5m])) > 0.5 , но с ним пром при запуске падает, но если его в веб морде передаю - отрабатывает корректно

Попробовал https://github.com/camptocamp/grafana-prometheus-alertmanager-datasource - вообще не полетел, не рисует алерты в принципе (или я не умею его готовить)

я пока смотрю только на это http://docs.alerta.io/en/latest/ В графане одна кривизна

Тоже хотел. Потом парни из telegraf научились в маппинг

С ходу ответ не нагуглился Что за маппинг в телеге?

они умеют маппить value в тег

Я несколько систем только на тегах и выстроил Все value 0 или 1

пора наверное уже в фак добавлять :)))

Смотрю на https://www.host-tracker.com , да выше было обсуждение ;) спасибо

я пока смотрю только на это http://docs.alerta.io/en/latest/ В графане одна кривизна

Прикольная штука. Но блин в одной морде смотреть графики, а в другой алерты - это для дежурного сложно.

зачем на алерты смотреть, алерты должны алертить

зачем на алерты смотреть, алерты должны алертить

ты так говоришь, будто отменили: · простыни алертов · недописанные зависимости между ними

ты так говоришь, будто отменили: · простыни алертов · недописанные зависимости между ними

алертить по sms - это да, это хорошо. Но простыня она лучше. Открыл - увидел где что не так

НОК должен смотреть на дашки

Простыни уже для расследованния инцидентов

алертить по sms - это да, это хорошо. Но простыня она лучше. Открыл - увидел где что не так

а как понять, что что-то где-то не так, чтобы посмотреть на простыню?

а как понять, что что-то где-то не так, чтобы посмотреть на простыню?

получить туеву хучу смс

удобно

только их с телефона литстаь неудобно

а если еще хочешь скопировать хостнейм чтоб зайти на хост...

Прикольная штука. Но блин в одной морде смотреть графики, а в другой алерты - это для дежурного сложно.

Есть такое, с другой стороны графики не нужны для дежурного наблюдения, а только для анализа. Поэтому постоянно можно смотреть только в алерту.

Ну или придумывать какие-то workaround, типа встроить в морду алерты ифрейм с графаной :)

алерту мне тут посоветовали и ее вполне достаточно дежурному. Если это класс проблем который он может решить сам, ему даже незачем лезть в графики. А линки на графики уже с эскалационным сообщением уходят кому надо

Хотя смотря у кого какие дежурные, у нас они ребята начинающие

угу, я тоже так думаю, что для базого наблюдения и понимания общего состояния проблем, алерты достаточно в качестве "простыни с проблемами". А графана все же больше инструмент для анализа уже.

Оке, уговорили.

Пойду разверну алерту)

Подскажите с выбором сервиса, требуется аналог WorldPing (https://worldping.raintank.io/) с несколькими точками проверок из разных регионов России? Есть такой в природе (а если еще и с Grafana будет интегрирован так совсем шоклад)? (про то что в WorldPing можно добавлять свои ноды в курсе, но хотелось избежать покупки vds в разных регионах и возможно у разных хостеров)

Мы решили остановиться на Statuscake, основным конкурентом был host-tracker

Пойду разверну алерту)

расскажешь как оно, я пока не внедрил :)

расскажешь как оно, я пока не внедрил :)

Окей, сегодня/завтра начну ? (только питон огорчает, но что поделать)

ну там нагрузки не предполагается, так что думаю не критично

Мы решили остановиться на Statuscake, основным конкурентом был host-tracker

А что стало решающим аргументом для вас?

А что стало решающим аргументом для вас?

Дашборды удобные (и они вообще есть)

А у хост-трекер только картинки в стиле начала нулевых

Ну и плагин для терраформа есть

Дашборды удобные (и они вообще есть)

Спасибо! Надо присмотреться )

Статускейк подороже будет, но не на дофига

ERROR: S client not available

Ещё есть сервисок, который даёт прометей-совместимые метрики (у них внутри патченый блекбокс-экспортер), но я название не запомнил

У них на ДО всё, так что точек в россии нет

А кто-то встречал ошибку скрейпа у Прома - Get url...: EOF? При этом если курлом забирать - все хорошо отдается.

#reminder #напоминалка #напоминание #минидоклад

bump

bump

Помню, в работе, постараюсь сегодня, но не обещаю на 100%. Но сразу предупреждаю, никаких эпических историй там не было, всё очень приземлённо. Потестировали, погоняли, посмотрели, в итоге ушли на pgsql. Может быть просто нераскурили как следует, фиг его знает. Сами искали единомышленников, но тогда никто и слыхом не слышал про timescale

Я правильно понимаю, что blackbox_exporter нужно постоянно пинать по HTTP чтобы он пинговал тот или иной хост?

да

один запрос - один пинг

к сожалению

а есть что-нибудь похожее, только чтобы можно было сконфигурировать список и интервал?

можешь пропатчить :)

ну или телеграф какой-нибудь

https://github.com/avito-tech/bioyino тут всё выглядит как WIP, но решил всё-таки закинуть эту случайную находку сюда

https://github.com/avito-tech/bioyino тут всё выглядит как WIP, но решил всё-таки закинуть эту случайную находку сюда

Хм, интересно спасибо.

Народ, а так задумано, что ALERT имеет всегда value 1?

`ALERTS{alertname="high_load",alertstate="firing",instance="web1:9000",job="node",mode="idle",severity="warning"} 1 ``

expr: (1 - (avg(irate(node_cpu{job="node",mode="idle"}[5m])) WITHOUT (cpu))) > 0.6

Ну наверное при alertstate="firing" - значение 1.

а какое значение ты ожидаешь там увидеть?

Если 0 - значит не firing :)

про «не firing» там есть alertstate="pending"

Ну и value наверно ж 0 тогда?

с чего бы? тоже 1.

в 1.8 он в каких-то случаях мог падать в 0, но ненадолго и вообще никуда это применить нельзя было

Я ожидал что там будет результат expr

А вот вопрос еще такой. Можно ли в графане сделать отдельный набор переменных, при выборе одной из которых, в соседнем выпадающем списке, будем применятся другой regexp для фильтрации хостов?

в 2.0 я вот смотрю и не вижу, чтобы ALERTS хоть раз был != 1 для чего-либо за последние 12h

Т.е. либо это в формате кнопок-переключателей, либо тоже выпадающий список без multivalue, при выборе любого из пунктов, задается определенное значение переменной, которая используется в другом выпадающем списке.

и как бы в алерте адекватрно видеть значение expr, не?

и если уже поставил тег firing, нафиг эта единица