Ибо ты его задачи натягиваешь на мониторинг

Моя задача узнать не что пошло по пизде, а причину, почему всё пошло по пизде.

Я не алертинг хочу, я хочу понять что надо на графиках рисовать

http://pmmdemo.percona.com/graph/dashboard/db/pmm-demo вот посмотри примеры

просто думай логически - у тебя есть 100500 источников метрики - что тебе интересно?

сумма, какие-то топы, или что еще?

отношение к прошлому месяцу там или прошлому часу

и это, я могу ошибаться

и это, я могу ошибаться

мы все можем ошибаться!

и ошибаемся!

http://pmmdemo.percona.com/graph/dashboard/db/pmm-demo вот посмотри примеры

Ну вот смотри: https://yopp.in/ZF8

Просто мне с тем что я мониторю, пока highestAverage и отношения к прошлому давали наиболее вменяемый результат

Вот случилось: как мне теперь узнать почему?

если достаточно данных можно перцентили делать

Вот случилось: как мне теперь узнать почему?

делать разбивку по дашбордами дальше

метрики по ролям, по хостам там

по серверам разбивку?

а так без надписей и цифр я даже не представляю что ты меряешь

а так без надписей и цифр я даже не представляю что ты меряешь

Это я пример из перконовского дешборда взял

по серверам разбивку?

ну у нас есть в графане дашборд где можно по ролям выбрать сервера

это типа CPU usage

и по ним посмотреть статистику по базовым параметрам

например

ну у нас есть в графане дашборд где можно по ролям выбрать сервера

а у вас кто источник?

а у вас кто источник?

графит

:(

Вот случилось: как мне теперь узнать почему?

ну это график CPU Usage , смотри какие процессы работают, что именно загружает.

не все дешево собирать, да

:(

мы сделали очень "низкий" семплинг и очень короткие периоды для таких дашбородов.

чтобы суммарно было мало точек н одной странице

Кто нибудь знает, где указывать опции для node_exporter ?

низкий семплинг это сколько?

быстро упёрлись в диски, потому что это всё равно читается, и теперь ждём дисков.

Я ещё ничо делать не начал, у меня уже 100к точек только с монги :(

5минут, графики все за 1 час

5 минут, ага.

Я ещё ничо делать не начал, у меня уже 100к точек только с монги :(

во кстати такая же штука

получается по десятку точек на график

точнее на полосочку

Ага.

и пришлось ещё мучится с тем что рисуем на avg а всякие там min \ max

иначе эти 5минут всё съедают

ладно, я вас услышал!

на страничке со всех графиков порядка 1.5к полосочек.

посмотрел сейчас.

ну вот на основной странице которая у саппорта открыта, сильно меньше, там порядка 600

ладно, я вас услышал!

там же есть какие то скриптед борды, может они сделают твои волосы шелковистыми ?

что никто не знает как передать параметры для node_exporter под systemd? Там есть $NODE_EXPORTER_OPTS

Метриканы, а какой подход считается рассово верным когда у меня есть очень много источников метрик? (сервера/коллекции в монге/ и всё такое). Что прометей, что графана не очень хорошо переживают когда ты пытаешься сразу всё на одном дешборде показать (10 графиков в итоге показывают около 500 метрик).

ну вот у меня где-то 200-300 метрик в одном экспорте. сбор раз в минуту, серверов около 50. прометей справляется. ну а дашборды графаны - это другое да

ну да я имел ввиду тесты проходят где нить на стейдже , если есть косяки то в прод ничего не идет и разработчик или кто там изменения делал это увидит

а как в с тейдже найдешь косяки? по хер где мерить же. ну и вот на стейдже не было нагрузки, была меньше база. идемпотентности не бывает же. иначе вообще можно не мерять прод.

Кто нибудь знает, где указывать опции для node_exporter ?

в командной строке не?

что никто не знает как передать параметры для node_exporter под systemd? Там есть $NODE_EXPORTER_OPTS

я его в докере запускаю. вот рецепт для ansible - name: run node exporter container docker_service: project_name: node_exporter restarted: true definition: version: '2' services: node_exporter: image: prom/node-exporter:0.12.0 restart: always ports: - 9100:9100 volumes: - /proc:/host/proc - /sys:/host/sys - /:/rootfs network_mode: host command: -collector.procfs /host/proc -collector.sysfs /host/sys -collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($$|/)"

да как раз collectors мне и надо указать -collectors.enabled="diskstats,filefd,filesystem,loadavg,meminfo,netdev,stat,time,uname,vmstat" . Только я не использую докер, у меня на виртуалке настроено. Как вариант напрямую в сервисе добавить , но я не понимаю как передать в $NODE_EXPORTER_OPTS

там есть еще файл с окружением пустой, если туда collectors добавить , и перезапустить то ничего не меняется [Service] EnvironmentFile=-/etc/default/node_exporter User=prometheus ExecStart=/usr/bin/node_exporter $NODE_EXPORTER_OPTS Restart=on-failure

EnvironmentFile=-/etc/default/node_exporter здесь - зачем?

ммм, а не ты в хенгопсе несколько дней назад про это спрашивал?

говорят, что эта штука позволяет игнорировать ошибки

типа если файла нет, то и хрен с ним

кто мешает в ExecStart добавить -collectors.enabled? подозреваю, что правильно с одним минусомм. надо код посомтреть их

типа если файла нет, то и хрен с ним

не я. может так и есть;)

EnvironmentFile=-/etc/default/node_exporter здесь - зачем?

это по дефолту шло, сам пакет ставится из этого репо https://github.com/lest/prometheus-rpm

мне кажется там поведение как в баше, вот этот файл, иначе нихрена

примерно как в баше

Поздравляем с днем рождения Сашу Чистякова! Желаю только вперед и вверх!

Емае, он чо вездесущ? А как про риман спросить - не у кого

Емае, он чо вездесущ? А как про риман спросить - не у кого

Спрашивай у меня, у меня он есть

Правда он работает себе как-то сам

Правда он работает себе как-то сам

Опиши юзкейс? Чо льёте? Есть ли бекенд?

ERROR: S client not available

Я вообще домохозяйка в делах мониторинга

У меня юзкейз просто как палка

есть риман (одна штука), в нем есть код для алертов и стриминг в influxdb

все метрики пишутся прямо в риман с collectd на линуксовых нодах и через graphite powershell functions на виндовых нодах

в фейковый графитный сервер в римане

Льём много чего, стандартные метрики и всякие хитрые метрики вроде результат выполнения теста со дескрипшеном

О, огонь, прям то что нужно! Спасибо коллега

Поздравляем с днем рождения Сашу Чистякова! Желаю только вперед и вверх!

В рамках метрик вверх не всегда хорошо...

В рамках метрик вверх не всегда хорошо...

главное чтоб все хорошо было.

В рамках метрик вверх не всегда хорошо...

смотря какие трешхолды

Господа, у меня вопрос, есть график, хочу понять что жрёт io и почему.. Что может мне помочь в этом?

На сколько я знаю, есть что-то, что снимает метрики по данному направлению, только вот плохо, когда забыл..:(

Господа, у меня вопрос, есть график, хочу понять что жрёт io и почему.. Что может мне помочь в этом?

чем метрички снимаешь?

collectd > graphite > grafana

Можно что нибудь ещё прикрутить проблемы нет, вопрос чем снять..

во

а как вы решаете проблему с метриками из виртуалок/конейнеров, когда нужны метрики хоста?

collectd > graphite > grafana

Colletcd per process не умеет

Colletcd per process не умеет

Дак я и пишу, что прикрутить(((

Т.е. спрашиваю

можешь какой-нибуль filecount-plugin поставить

посмотреть куда больше всего пишется

такое

iotop запусти на тачке )

Скриптоту обходящую https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/Documentation/filesystems/proc.txt?id=v4.1#n1486

С экспортом

iotop запусти на тачке )

Мне нужно в график, не хочу потом ебстись с поиском таймайлнов и т.п., кароч не оч идея.

График пробовал строить, но получалась хуйня

с iotop

а вобще, если у тебя все сервисы запускаются через systemd то проще всего врубить аккаунтинг в systemd и запилит ьскриптики который из сигруп данные собирает и шлёт тебе

помоему в свежих systemd шщ accounting есть