там штук 6-7 и все полезные

там штук 6-7 и все полезные

Ага, а если серверов 20 или ядер больше 20, то график превращается в дичь

хм

а ты что делаешь кумулятивный график но не складываешь там серии ?

Ага, а если серверов 20 или ядер больше 20, то график превращается в дичь

"серверов" 130, в среднем по 8-16 потоков, гробов по 4 сокета 12, эльбурсы, где то спарк

в Косарях каких то

ок. cpu usage в косарях.

Старый, я тебе вчера прислал готовую формулу же

что здесь опять началось )))

Старый, начни с того что поймешь в чем измеряется тот или иной параметр.

100 - (avg by (instance) (irate(node_cpu{job='node',mode='idle',instance='server02:9100'}[5m])) * 100)

100 - (avg by (instance) (irate(node_cpu{job='node',mode='idle',instance='server02:9100'}[5m])) * 100)

чем обоснован irate ?

чем обоснован irate ?

у нас rate не покажет всплески

irate should only be used when graphing volatile, fast-moving counters.

https://www.robustperception.io/understanding-machine-cpu-usage/

рекомендации ведущих собаководов.

слушайте, а как более адекватно измерять задержку прокси по отношению к бэкенду? по абсолютному времени ( ответ прокси - ответ бэкенда ) или по относительной величине( (ответ прокси - ответ бэкенда)) / ответ бэкенда?

ну например, занимаюсь кастомизацией Nginx с целью уменьшения задержки, измерил до/после, абсолютное время увеличилось, относительная доля уменьшилась, вот и гадаю, хуже я сделал или лучше)

ну например, занимаюсь кастомизацией Nginx с целью уменьшения задержки, измерил до/после, абсолютное время увеличилось, относительная доля уменьшилась, вот и гадаю, хуже я сделал или лучше)

то есть бэкенд стал работать еще медленнее?

непонятно, зачем вообще вводить метрику "относительная задержка". скорость работы прокси не зависит от скорости работы бэкенда. если бэкенд тормозит - то относительная задержка у вас уменьшится, но это ничего не будет значить. прокси лучше не станет работать.

ну например, занимаюсь кастомизацией Nginx с целью уменьшения задержки, измерил до/после, абсолютное время увеличилось, относительная доля уменьшилась, вот и гадаю, хуже я сделал или лучше)

Откатил и посмотрел это просто внешнее или ты сделал хуже )

так, про вопрос между относительной и абсолютной задержкой понял, спасибо

да проблема в том, что вообще не замечаешь корреляции между переконфигурацией и временем ответа) даже по 95 процентили временами всплески на графике видно

слишком мало запросов? недостоверные данные?

ну например, занимаюсь кастомизацией Nginx с целью уменьшения задержки, измерил до/после, абсолютное время увеличилось, относительная доля уменьшилась, вот и гадаю, хуже я сделал или лучше)

А какой у вас p-value для наблюдения "время увеличилось, доля уменьшилась"?

А какой у вас p-value для наблюдения "время увеличилось, доля уменьшилась"?

Не знаю, что такое p-value, пошел гуглить, нашел научную статью, прочитал определение, все равно не понял. Это что-то вроде предельного значения, выше которого запускается по триггеру алерт?

Это вероятность что вы себе просто выдумали что время увеличилось

Не знаю, что такое p-value, пошел гуглить, нашел научную статью, прочитал определение, все равно не понял. Это что-то вроде предельного значения, выше которого запускается по триггеру алерт?

https://ru.wikipedia.org/wiki/P-%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D0%B5

иногда надо просто пойти по первой ссылке

Получается, гораздо благоразумней будет высчитывать p-value по фиксированному значению задержки, чем измерять абсолютные значения?

Привет, кто-нибудь в курсе, можно ли в графане взять n метрик, их сумму засчитать за 100% и нарисовать график в процентом соотношении, сколько какая метрика занимает

Привет, кто-нибудь в курсе, можно ли в графане взять n метрик, их сумму засчитать за 100% и нарисовать график в процентом соотношении, сколько какая метрика занимает

галочки stack + percent на вкладке Display

ну и Draw Modes сделать Bars для красоты

или оставить lines но сделать staircase + залить

А я понял почему у меня так не получалось.

Если выставлять маленький промежуток времени (1h) то получаются страшные картинки

там бывают особенности если нулы какие то или ещё че нить такое

ну да, данных не хватает.

там попробовать поставить null as zero

Null Value - Null as Zero

поставил, не помогает. У меня эта метрика собирается раз в ~5 минут. Видимо 12 значений на час - слишком мало

не не не. должно быть ок.

странно что не помогает

Бекендом используется заббикс, если это имеет значение

Бекендом используется заббикс, если это имеет значение

лови какаху )

лови какаху )

Ну я не могу рраз и перепрыгнуть на пром. Оно постепенно идет

Врядли это должно влиять

О, я догнал чатек! Слава понедельнику. @ptchol крутая тема с cmd+o в графне, но что то не работает нифига. Жму на дашборде. а оно мне графики рефрешит (свежие графана и хром)

есть идеи почему так может быть?

Еще вопрос знатокам прометеуса и графаны – я еще не разбирался в чем может быть дело. Вобщем пока спрошу тут. Есть такой бесючий баг – когда открывешь из графика запрос в прометее (там есть кнопочка), живущем на подурле (/prom), то графана открывает формулу адрес /prom/graph с формулой в куери стринге его в одном формате кодирования, после чего прометей редиректит в другом формате на /graph, игнорируя префикс /prom. В результате – 404. (Если руками добавить в получившийся урл /prom префикс, то ок - всё работает) У кого-нибудь такое было?

нажми туда и посмотри что как

вопросик я уже нажимал

ну не знаю ! всё в этих ваших линуксах не по человечески ! )

у меня мак. это ваши опенсорсы работают хз как!

самое фиговое когда фронтенд не работает, потому что это не починить

надо лезть в мир нодежса и прочих ангуляров, которые не хочется касаться 5 футовой палкой

открой консольку JS

может там чтопишется в браузере

у меня мак. это ваши опенсорсы работают хз как!

у меня на маке все отлично пашет из шорткатов

grafan 4.1.2 ?

да

у меня в хроме не работают, а в огнелисе норм

ERROR: S client not available

итс э мейджик!

чатик а что ты делаешь если настроены алерты в графане, а она алертит когда тормозит ?

Кто-нибудь пользуется аннотациями в графане по триггерам из zabbix? Не могу понять это баг или фича при использовании 1 триггера но в котором используется макрос item.value на графике всегда отображается последнее значение во всех аннотациях (разнесенных по времени).

чатик а что ты делаешь если настроены алерты в графане, а она алертит когда тормозит ?

Переезжать на новое железо/апгрейд

чатик а что ты делаешь если настроены алерты в графане, а она алертит когда тормозит ?

брать avg по 5 минутам скажем, но так ты флапы и мелкие проблемы не получишь

брать avg по 5 минутам скажем, но так ты флапы и мелкие проблемы не получишь

да уже стоит так

честно говоря, не вижу смысла в таком мониторинге

максимум графики рисовать

Какой же мать его удобный прометей

стадия 1 - восхищение

Так и sql запросы недалеко разучиться писать

))

Какой же мать его удобный прометей

это вы после заббикса ? или после мунина ? )

Неа, не переходил, просто к текущему стенку (influx, logstash, grafana) добавил

Удобно

Конфиги алертов так вообще конфетка

Конфиги алертов так вообще конфетка

у заказчика когда увидел конфиги алёртов глаза чуть не лопнули

кстати, посоветуйте как правильно посчитать использование памяти, формулу. а то я как-то накидал, но мне кажется я перемудрил.

ALERT MEMUsageCrit IF (100 - (node_memory_MemTotal - (node_memory_MemTotal - node_memory_MemFree - node_memory_Cached))/node_memory_MemTotal*100) > 95 FOR 30s LABELS { severity = "high" } ANNOTATIONS { summary = "Server memory is almost full", description = "Host memory usage is {{ humanize $value }}%. Reported by instance {{ $labels.instance }} of job {{ $labels.job }}." }

писал глубоко ночью и теперь не могу понять, что я считаю тут))

киньте кто-нибудь свою пасту на использование памяти плз

а что нельзя просто ((node_memory_MemFree + node_memory_Cached )/node_memory_MemTotal)*100 > 95

можно, я поэтому и просил помощи потому что вижу что я как-то странно считаю память, это в целом +- работало, поэтому не трогал

спасибо

зачем считать кешированную память?

Лучше бы было не просто кеш а анрек кеш

Ну и наверно кешед и буфферед попутали

кешированная суммируется со свободной

а буфера это уже использованная

А ну да

т.е. моя изначальная идея была вычесть кеш и свободную из общей памяти

Все ок так то