но так как нам не было нужно никогда это, то никто не сделал

поднять эндпоинт с метриками используя директиву stub_status?

Там нет адресов страниц. Только общая статистика

@azzaazaa как решение - поставь графану. в ней анотации могут отдаваться из другого датасорса

Это понятно, но не очень удобно. Было бы круто иметь это в виде модуля, чтобы nginx сам отправлял данные.

парсят логи чем-то. не его это дело

например сделать 2 датасорса - дефолт на графит с carbonapi и annotation's на graphite-web

получать анотации из graphite-web а данные из carbonapi

как workaround должно сработать

ну и плюс графана в целом поприятнее

парсят логи чем-то. не его это дело

У него есть данные и парсить ничего не надо. Надо только их отправлять.

где они? в логах?

А может кто поделиться чем собирает метрики с nginx? Нужны адреса и коды ответов, желательно в виде модуля для nginx чтобы он сам посылал метрики.

https://github.com/mailru/graphite-nginx-module

А может кто поделиться чем собирает метрики с nginx? Нужны адреса и коды ответов, желательно в виде модуля для nginx чтобы он сам посылал метрики.

у нас log_by_lua что ли используется и на луа кастомная логика ведения нужных нам счетчиков

или это зовется access_by_lua, не помню

почему то никто не упомнял nginx vts module + prom exporter

https://github.com/mailru/graphite-nginx-module

Да выглядит норм, спасибо попробую.

Вариант с Lua тоже неплох на самом деле. Хотя я сам модуль Lua для nginx не очень люблю :(

Скорее content_by_lua.

точно log_by_lua

в других стадиях еще недостаточно данных для полноценного сбора метрик

Там же нельзя ходить никуда, куда писать-то?

А, вы для проходящего трафика собираете.

Там же нельзя ходить никуда, куда писать-то?

Думаю они пишут в шаренную память, а отправляет кто-то другой периодически. Например, worker_by_lua. Отправять каждый хит сразу в графит как-то не очень

Я б в редис писал, а потом пачкой сбрасывал.

Думаю они пишут в шаренную память, а отправляет кто-то другой периодически. Например, worker_by_lua. Отправять каждый хит сразу в графит как-то не очень

В шареную память а забираем опросом ручки

ещё бы устанавливалась эта красота простым apt

ещё бы устанавливалась эта красота простым apt

Ну наш модуль можно собрать как динамический модуль к nginx, а там и в deb пакет запаковать не долго. Правда в случае сборки динамического модуля не будет некоторых функций: некоторых метрик про ssl, интеграции с lua

как его собрать чтобы подключить к уже установленному nginx?

в readme все примеры с компиляцией вместе с nginx - ом

https://github.com/mailru/graphite-nginx-module#build-nginx-with-graphite-dynamic-module После make будет скомпиленный nginx и модуль. Взять сошку модуля и засунуть в установленный nginx

https://github.com/mailru/graphite-nginx-module#build-nginx-with-graphite-dynamic-module После make будет скомпиленный nginx и модуль. Взять сошку модуля и засунуть в установленный nginx

точно? вроде же ругается, что несовместим бинарно

или как-то так ошибка

точно? вроде же ругается, что несовместим бинарно

перепроверю. Должно быть так, но на своих серверах мы не используем динамический модуль, так что следить за тем, что ничего не сломалось сложновато

кажется carbonapi не может отдавать анотации с графита

Так в графану же аннотации завезли?

а?

http://docs.grafana.org/http_api/annotations/

Графана сама умеет аннотации хранить теперь, в своей бд

http://docs.grafana.org/http_api/annotations/#create-annotation-in-graphite-format точнее - если не охота код переделывать.

http://docs.grafana.org/http_api/annotations/#create-annotation-in-graphite-format точнее - если не охота код переделывать.

Да, специально для такого случая.

точно? вроде же ругается, что несовместим бинарно

Воспроизвелось на убунте и nginx-1.12.1 Dec 08 13:34:36 localhost nginx[31309]: nginx: [emerg] module "/usr/share/nginx/modules/ngx_http_graphite_module.so" is not binary compatible in /etc/nginx/nginx.conf:4 Спасибо, посмотрим че там

Воспроизвелось на убунте и nginx-1.12.1 Dec 08 13:34:36 localhost nginx[31309]: nginx: [emerg] module "/usr/share/nginx/modules/ngx_http_graphite_module.so" is not binary compatible in /etc/nginx/nginx.conf:4 Спасибо, посмотрим че там

а так с любым модулем. видимо, в кишки nginx'а надо лезть

а так с любым модулем. видимо, в кишки nginx'а надо лезть

возможно убунта патчит как-то nginx для сборки в свою репу

возможно убунта патчит как-то nginx для сборки в свою репу

реп nginx'а + centos7 + самосборный модуль выдал аналогичное

вопрос - ктонить мониторит pacemaker + coresync

всегда есть как минимум 1 мониторинг - мат от юзеров

Господа, у меня странненький вопрос по графане. есть ли возможность сделать из нее на разные линии разные time window? поясню на всякий случай, зачем: я хочу построить график метрики A за последний час. и хочу увидеть nPercentile(A, 99.7) из графита, но так, чтобы nPercentile построился за месяц.

Господа, у меня странненький вопрос по графане. есть ли возможность сделать из нее на разные линии разные time window? поясню на всякий случай, зачем: я хочу построить график метрики A за последний час. и хочу увидеть nPercentile(A, 99.7) из графита, но так, чтобы nPercentile построился за месяц.

не, так нельзя

ось X только одна

увы, только хаки с материализацией метрик остаются тогда, верно?

в факе

ну и что же там криминального?

увы, только хаки с материализацией метрик остаются тогда, верно?

Что это за хаки?

Что это за хаки?

периодическая джоба, которая читает метрику из графита, считает nPercentile и складывает ее в графит (ugly but works)

периодическая джоба, которая читает метрику из графита, считает nPercentile и складывает ее в графит (ugly but works)

Ну только так, получается.

ну и что же там криминального?

ok.

возможно убунта патчит как-то nginx для сборки в свою репу

Там надо собирать nginx с одинаковыми ключами. Только тогда модули совместимы насколько я помню.

Там надо собирать nginx с одинаковыми ключами. Только тогда модули совместимы насколько я помню.

угу, мы нашли уже обсуждение https://forum.nginx.org/read.php?29,267800,267821#msg-267821

@alexanderzobnin Пара вопросов по графане: (1) есть ли не слишком геморройный способ из своего panel-плагина расширить "на-лету" меню других панелей в дашборде, которое при клике на заголовок вылезает (=,View, Edit, Duplicate,Share) , добавив в него свои пункты с обработчиками? А ля autoexec ? (2) Хочу, чтобы в дашборде автоматом навешивались мои обработчики кликов на некоторые элементы панелей. Сейчас для этого добавляю text-plugin, в котором подгружаю свой JS с обработчиками, но это криво как-то. А если эта панель ещё и свёрнутой будет, то может и вообще не отработать.

@alexanderzobnin Пара вопросов по графане: (1) есть ли не слишком геморройный способ из своего panel-плагина расширить "на-лету" меню других панелей в дашборде, которое при клике на заголовок вылезает (=,View, Edit, Duplicate,Share) , добавив в него свои пункты с обработчиками? А ля autoexec ? (2) Хочу, чтобы в дашборде автоматом навешивались мои обработчики кликов на некоторые элементы панелей. Сейчас для этого добавляю text-plugin, в котором подгружаю свой JS с обработчиками, но это криво как-то. А если эта панель ещё и свёрнутой будет, то может и вообще не отработать.

1. Меню использует dropdown от бутстрапа, он переключается так: elem.find('[data-toggle=dropdown]').dropdown('toggle');

Но оно может быть не только у панелей, так что лучше как-то так: $('.panel-title').find('[data-toggle=dropdown]').dropdown('toggle');

@alexanderzobnin Пара вопросов по графане: (1) есть ли не слишком геморройный способ из своего panel-плагина расширить "на-лету" меню других панелей в дашборде, которое при клике на заголовок вылезает (=,View, Edit, Duplicate,Share) , добавив в него свои пункты с обработчиками? А ля autoexec ? (2) Хочу, чтобы в дашборде автоматом навешивались мои обработчики кликов на некоторые элементы панелей. Сейчас для этого добавляю text-plugin, в котором подгружаю свой JS с обработчиками, но это криво как-то. А если эта панель ещё и свёрнутой будет, то может и вообще не отработать.

2. Это сложнее, надо посмотреть, как плагины загружаются, чтобы при старте гарантированно выполнился скрипт.

@alexanderzobnin Пара вопросов по графане: (1) есть ли не слишком геморройный способ из своего panel-плагина расширить "на-лету" меню других панелей в дашборде, которое при клике на заголовок вылезает (=,View, Edit, Duplicate,Share) , добавив в него свои пункты с обработчиками? А ля autoexec ? (2) Хочу, чтобы в дашборде автоматом навешивались мои обработчики кликов на некоторые элементы панелей. Сейчас для этого добавляю text-plugin, в котором подгружаю свой JS с обработчиками, но это криво как-то. А если эта панель ещё и свёрнутой будет, то может и вообще не отработать.

Не посмотрел, что я в develop ветке. Для текущей версии про меню не актуально.

Нужно ждать альфы для 5 версии или собрать из исходников для проверки.

Не посмотрел, что я в develop ветке. Для текущей версии про меню не актуально.

Спс, я понял. сейчас там оно на лету создаётся. Потому и вопрос был.

2. Это сложнее, надо посмотреть, как плагины загружаются, чтобы при старте гарантированно выполнился скрипт.

Мне это нужно, в первую очередь, чтобы всякие lookup-ы во внешних ресурсах делать по кликам на всякие строки в legend и т.п. Типа ip-шник отрезолвить или инфу по интерфейсу подгрузить и т.п. Выделенную панель для этого добавлять не всегда удобно. Ещё сильно достаёт, что нельзя по-простому выделить текст в легенде или таблице для копипаста. Как вообще такое поведение отключить хотя бы в своём плагине. Это вроде что-то связанное с поддержкой drag событий?

реп nginx'а + centos7 + самосборный модуль выдал аналогичное

Получилось собрать и запустить на ubuntu. Прям все-все опции сборки надо брать из установленного nginx. И исходники тоже качал через apt source

Получилось собрать и запустить на ubuntu. Прям все-все опции сборки надо брать из установленного nginx. И исходники тоже качал через apt source

учту, спасибо

ERROR: S client not available

@freeseacher Я куски из FAQ украду к себе в доклад по мониторингу?

@freeseacher Я куски из FAQ украду к себе в доклад по мониторингу?

Да можешь я думаю) но какие куски там есть то которые можно красть?

про то почему заббикс и пром говно

про то почему заббикс и пром говно

А инфлакс? :)

Медленный газ

Просто если тащить то все :)

А инфлакс? :)

У меня нет достаточного опыта работы с ним, поэтому не могу обкидать какашками с примерами из собственного опыта

А, ну ок)

Я описываю только то с чем работал - prom, zabbix, sensu

Всем привет. Подскажите насчет grafana+graphite - все метрики старше 7 дней - не записываются. Отправляю за вчера-позавчера - данные есть, а если за прошлую неделю отправлять - ничего. В какую сторону смотреть? если что storage-schemas.conf: [default] pattern = .* retentions = 10s:7d,1h:30d,1d:1y все запущено на докере

У меня похожее было в графане. Интервал попробуй поставить ">10s"

странно. а сколько поставить?

Вот прямо так и написать

Со знаком >

Всем привет. Подскажите насчет grafana+graphite - все метрики старше 7 дней - не записываются. Отправляю за вчера-позавчера - данные есть, а если за прошлую неделю отправлять - ничего. В какую сторону смотреть? если что storage-schemas.conf: [default] pattern = .* retentions = 10s:7d,1h:30d,1d:1y все запущено на докере

Ты данные шлешь каждые 10 секунд?

Я вангую что проблема в первую очередь от xfilesfactor

Он 0.5 по умолчанию а тебе надо 0

Это в агрегейщенах

Или не писать так глубоко в прошлое, когда время придет оно корректно поротируется

в aggregation у меня так: [min] pattern = \.lower$ xFilesFactor = 0.1 aggregationMethod = min [max] pattern = \.upper(_\d+)?$ xFilesFactor = 0.1 aggregationMethod = max [sum] pattern = \.sum$ xFilesFactor = 0 aggregationMethod = sum [count] pattern = \.count$ xFilesFactor = 0 aggregationMethod = sum [count_legacy] pattern = ^stats_counts.* xFilesFactor = 0 aggregationMethod = sum [default_average] pattern = .* xFilesFactor = 0.3 aggregationMethod = average разве они могут влиять на это? и установка >10s тоже не помогло ?

а очень хотелось бы иметь возможность писать в прошлое.

в aggregation у меня так: [min] pattern = \.lower$ xFilesFactor = 0.1 aggregationMethod = min [max] pattern = \.upper(_\d+)?$ xFilesFactor = 0.1 aggregationMethod = max [sum] pattern = \.sum$ xFilesFactor = 0 aggregationMethod = sum [count] pattern = \.count$ xFilesFactor = 0 aggregationMethod = sum [count_legacy] pattern = ^stats_counts.* xFilesFactor = 0 aggregationMethod = sum [default_average] pattern = .* xFilesFactor = 0.3 aggregationMethod = average разве они могут влиять на это? и установка >10s тоже не помогло ?

Ну это сколько точек надо чтоб оно аггрегировалось корректно. В частях

Выставь в ноль и проверь

неа. не появляется...

Пишешь го-карбоном?

к сожалению не знаю. скорей всего просто карбон

Вот отсюда взял докер https://github.com/kamon-io/docker-grafana-graphite и пользуюсь

Мне это нужно, в первую очередь, чтобы всякие lookup-ы во внешних ресурсах делать по кликам на всякие строки в legend и т.п. Типа ip-шник отрезолвить или инфу по интерфейсу подгрузить и т.п. Выделенную панель для этого добавлять не всегда удобно. Ещё сильно достаёт, что нельзя по-простому выделить текст в легенде или таблице для копипаста. Как вообще такое поведение отключить хотя бы в своём плагине. Это вроде что-то связанное с поддержкой drag событий?

Выделение текста работает в 5 версии, в текущей да, скорее всего, из-за обработчиков не выделяет.

Выделение текста работает в 5 версии, в текущей да, скорее всего, из-за обработчиков не выделяет.

5-ю под ёлочку не выложат? ?

неа. не появляется...

файл с метрикой надо удалить. Конфиг применяется только к вновь создаваемым файлам

whisper-info.py покажет какая метадата у файла

это да