тут сначала вопрос задал

потом сам себе ответил

Не падает в panic?

и примеров накидал

но собрать пришлось master

на последнем релизе не хватает фич

аптайм около недели. поток не очень толстый. собираю с одной папки с логами 3600 метрик.

работает

работает

А оно стрим принимать умеет? Я делал мониторинг nginx через logstash и логи сразу в gelf в грейлог кидал.

А по делу.. Количество 500х ошибок как лучше добыть в exporter для prometeus? 1. Парсить логи nginx? 2. Взять и прикрутить https://github.com/knyar/nginx-lua-prometheus 3. Написать wrapper над приложением, который будет экспозить 500е и заодно бизнес-метрики?

как вариант nginx-module-vts + nginx-vts-exporter (to prometheus)

А оно стрим принимать умеет? Я делал мониторинг nginx через logstash и логи сразу в gelf в грейлог кидал.

Это про другое. Это без гелфа

Господа, пожалуйста если вам не сложно расскажите, Почему вы выбрали именно graylog или elk?

Мтайл у этих двоих крадёт метрический смысл логов

Мтайл у этих двоих крадёт метрический смысл логов

Метрики в графит пушишь или пром?

пром пулит

А telegraf не смотрел для того же?

телеграф для логов?

Ага

ну они говорят что можно. но мне не нужны логи в чистом виде. мне нужна информация из них

Тоже самое делает что и mtail метрики из логов

ну я когда у них вышла эта фишка потыкался. и у меня получилось что он может выдрать число и считать это метрикой

мне такое не надо

А что даёт mtail ?

он умеет операции делать над строчками в логе.

считать строчки к примеру.

Ок посмотрю, спасибо

Мтайл у этих двоих крадёт метрический смысл логов

Спс

Есть ли способ получить внешний ip хоста из node_exporter, запущенном в контейнере?

http://ifconfig.me

Господа, пожалуйста если вам не сложно расскажите, Почему вы выбрали именно graylog или elk?

Ну вообще говоря грейлог решает задачу удаленного сбора логов и хорош тем что сам ротирует индексы, умеет кое-какие дашборды и в аналитику, но не очень хорошо, при правильной ротации 2-3 тысячи сообщений в секунду на среднем сервере умеет. Можно из эластика сложенные логи нарисовать в графане. Нормально работает до 1тб в эластике, дальше уже надо в кластер. Но вот есть большое подозрение что loghouse это все выкинет на обочину как только нормальный обвес появится.

Ну вообще говоря грейлог решает задачу удаленного сбора логов и хорош тем что сам ротирует индексы, умеет кое-какие дашборды и в аналитику, но не очень хорошо, при правильной ротации 2-3 тысячи сообщений в секунду на среднем сервере умеет. Можно из эластика сложенные логи нарисовать в графане. Нормально работает до 1тб в эластике, дальше уже надо в кластер. Но вот есть большое подозрение что loghouse это все выкинет на обочину как только нормальный обвес появится.

В кх поиск все же не как в lucene

а такой и не нужен

часто тебе нужны фишки поиска как в люцене для логов ?

екзаект матч часто и поиск по подстроке и всё

А пробовал кто уже loghouse разворачивать?

Мне вот тоже очень хочется логхаус потрогать

прям руки чешутся

"Важное архитектурное замечание состоит в том, что на данный момент поддерживается запись в единственный экземпляр СУБД ClickHouse — Deployment, который по умолчанию попадает на случайный узел K8s." ВОТ ЭТО ПОВОРОТ.

А я уж губу раскатал почитать про перешардирование КХ на больших обьемах базы.

"Важное архитектурное замечание состоит в том, что на данный момент поддерживается запись в единственный экземпляр СУБД ClickHouse — Deployment, который по умолчанию попадает на случайный узел K8s." ВОТ ЭТО ПОВОРОТ.

это про реализации в loghouse а не КХ. Большие обьемы данных и перешардирования, как мне кажется, явно не про k8s. Впрочем, это скорее уже в другой чат.

А я уж губу раскатал почитать про перешардирование КХ на больших обьемах базы.

Отсутствует до q1 2018 же

Они выключили ребаланс вообще сейчас?

А я уж губу раскатал почитать про перешардирование КХ на больших обьемах базы.

Где почитать?

В описании логхауса

Ключевое слово - хотел

Я вот читаю про партиции в кликхаусе и не пойму как же так партицируют по дням ?

В доке прямо написано что патиции создаются за 1 месяц

Партицией (partition) в таблице называются данные за один календарный месяц. Это определяется значениями ключа-даты, указанной в параметрах движка таблицы. Данные за каждый месяц хранятся отдельно, чтобы упростить всевозможные манипуляции с этими данными.

Они выключили ребаланс вообще сейчас?

в КХ есть resharding полуручной, но он вроде бы не факт что работает

обещают нормальный как-нибудь в Q1

Иманно. Я ж думал неужто кто то поборол. Ну ждемс тогда.

Я вот читаю про партиции в кликхаусе и не пойму как же так партицируют по дням ?

Это экспериментальная возможность, есть в последних КХ, требует специального ключа в конфиге и совместимость нового формата таблиц с будущими версиями КХ ещё не гарантируется, насколько я знаю

Всем доброго времени суток. Может кто знает есть ли в природе приложенька или костыль хоть какой нить для выгрузки метрик из jaeger io в prometheus ? Они обещают запилить, но мне уже сейчас надо (((

Ещё вопрос по графане, часто в дашбоардах встречаю кастомные интервалы, задаются переменной в templates. При наличии данной фичи в самой графане не совсем понимаю зачем так делают. Мало того эти интервалы нужны иначе получается ОЧЕНЬ большая выборка. Вот у меня вопрос можно ли как то передавать переменной вместо interval текущую настройку в grafana (last hour, 5 minutes etc) В доки не отправляйте - искал уже

$__interval чтоль?

ща по пробую

Спасибо от души мил человек )) Оно самое)

Как же ты доку читал...

Да читал но видать не так понял два нижних подчеркивания видел.

Ещё вопрос по графане, часто в дашбоардах встречаю кастомные интервалы, задаются переменной в templates. При наличии данной фичи в самой графане не совсем понимаю зачем так делают. Мало того эти интервалы нужны иначе получается ОЧЕНЬ большая выборка. Вот у меня вопрос можно ли как то передавать переменной вместо interval текущую настройку в grafana (last hour, 5 minutes etc) В доки не отправляйте - искал уже

Я их использую в качестве константы для разницы счетчиков. Согласно логике прома, счетчик может только расти, а значит, что бы рисовать графики в духе "сколько у нас за минуту прошло запросов", нужно фигашить разницу между значениями. И что бы не хардкодить везде в запросах значение, а потом если нужно его в панике менять, можно его вынести наверх.

ERROR: S client not available

Я их использую в качестве константы для разницы счетчиков. Согласно логике прома, счетчик может только расти, а значит, что бы рисовать графики в духе "сколько у нас за минуту прошло запросов", нужно фигашить разницу между значениями. И что бы не хардкодить везде в запросах значение, а потом если нужно его в панике менять, можно его вынести наверх.

Ну это частный случай. Но буду иметь ввиду. Вообще да может и пригодится, но на текущий момент хочу от лишнего избавится, пока до мониторинга приложенек толком не дошел, разбираюсь что нужно забирать из node expoter и cadvisor

Как же ты доку читал...

Поздравляю вас если вам дают время на полное ознакомление с софтом до ввода в прод. Что могу сказать, так и читаю урывками да и как делали другие, благо json. Я без сарказма.

__ Видел - но подумал что то из другого, не относится ко мне, проверить как то не допетрил

Ребят а вот кейс по графане такой,сводная инфа. По ДЦ + приложеньки, как для глаз лучше делать - графиком или табличкой. Как себе делали бы для телевизора в комнату.

где нужны тренды - график, где сводные данные - таблица.

График из далека не видно, таблицу тоже. Может только алармы ?

или single value еще можно вынести крупно. Типа температуры и еще какие-то крит. значения

Да, а можно как то динамически составлять. Типа если есть данные в alarm - выводить только alarm, если нет листать графики. Как бы генерация дашборда по условию

о таком не знаю, но помоему простыми методами нет

ну листать графики оно умеет, вот со вторым не понятно.

Да, а можно как то динамически составлять. Типа если есть данные в alarm - выводить только alarm, если нет листать графики. Как бы генерация дашборда по условию

scripted dashboards

Во, спасибо ! Походу то что надо

scripted dashboards

А как к scripted dashboard подключить свои/внешние js библиотеки? Тем более, что вроде как графана от systemjs вроде уходить в сторону webpack собирается. Зачем мне хочется такого странного: чтобы навесить свои обработчики событий для кликов на элементы DOM в дашборде.

А как к scripted dashboard подключить свои/внешние js библиотеки? Тем более, что вроде как графана от systemjs вроде уходить в сторону webpack собирается. Зачем мне хочется такого странного: чтобы навесить свои обработчики событий для кликов на элементы DOM в дашборде.

Можно как-то так window.System.import("/my/awesome/module").then(function(mod) { console.log(mod); });

братцы, а видел ли кто в природе прометей экспортер для nginxа без всяких lua и модулей? ну что бы просто stub_status парсил и отдавал?

Можно как-то так window.System.import("/my/awesome/module").then(function(mod) { console.log(mod); });

А корень для пути при этом какой? Что-то у меня не получалось в /var/lib/grafana/dashboards/ своё складывать - видела только в /usr/share/grafana/public/dashboards/

братцы, а видел ли кто в природе прометей экспортер для nginxа без всяких lua и модулей? ну что бы просто stub_status парсил и отдавал?

Есть парсер логов. Даже два: https://github.com/tdevelioglu/prometheus-nginx-log-exporter https://github.com/martin-helmich/prometheus-nginxlog-exporter Второй даже с ридми

А корень для пути при этом какой? Что-то у меня не получалось в /var/lib/grafana/dashboards/ своё складывать - видела только в /usr/share/grafana/public/dashboards/

/usr/share/grafana/public/

Вообще, документация по Scripted Dashboards тухлая, лучше смотреть исходники или у меня спросить https://github.com/grafana/grafana/blob/master/public/app/features/dashboard/dashboardLoaderSrv.js#L75

Есть парсер логов. Даже два: https://github.com/tdevelioglu/prometheus-nginx-log-exporter https://github.com/martin-helmich/prometheus-nginxlog-exporter Второй даже с ридми

парсер логов это всё же не то..

так иначе то нгинкс ничего о себе и не выдаёт ;)

да тупо rps снимать

Такой можно написать на коленке, я думаю

Телеграф это делает

братцы, а видел ли кто в природе прометей экспортер для nginxа без всяких lua и модулей? ну что бы просто stub_status парсил и отдавал?

https://github.com/discordianfish/nginx_exporter пользуюсь вот этим

братцы, а видел ли кто в природе прометей экспортер для nginxа без всяких lua и модулей? ну что бы просто stub_status парсил и отдавал?

telegraf

https://github.com/influxdata/kapacitor/releases/v1.4.0-rc3 was tagged

https://github.com/influxdata/telegraf/releases/1.5.0-rc1 was tagged

https://github.com/influxdata/telegraf/releases/1.5.0-rc1 was tagged