На хабре выложили доклады с прошлогоднего хайлоада, там есть интересная тема про мониторинг Кафки, если что https://habr.com/company/oleg-bunin/blog/420103/

На хабре выложили доклады с прошлогоднего хайлоада, там есть интересная тема про мониторинг Кафки, если что https://habr.com/company/oleg-bunin/blog/420103/

А что, с ним есть какие-то сложности? Python + JPype + JMx = ❤️

В Grafana получаю номера портов коммутатора через variables. Как в Graph добавить несколько fields через variables, а если их добавлять их вручную, то как передавать имя field в alias by?

Что такое "alias by"?

Общий ответ: зависит от датасорса

DataSource: InfluxDB

Что такое "alias by"?

http://docs.grafana.org/features/datasources/influxdb/#alias-patterns

Не, про инфлюкс не подскажу

Не, про инфлюкс не подскажу

То есть параметр alias by зависит от datasource?

ну я так думаю что это часть запроса, а запросы очевидно зависят от датасорса

ну я так думаю что это часть запроса, а запросы очевидно зависят от датасорса

Пока только через repeat придумал как это решить, но хотелось бы иметь один график, а не отдельный по каждому порту.

а нельзя туда куда-то сунуть переменную-то?

я не шарю в инфлюксе, но в прометее сделал бы так

@romeg_ul будет жить. Поприветствуем!

А как же вопрос про Z? ;)

Я думаю эту проблему можно решить, если метрики разнести по тегам. Такой вопрос, собирал ли кто snmp при помощи telegraf?

примерно так и будет

примерно так и будет

Я собирал telegraf'ом через его плагин, но помню здесь скидывали стороннюю реализацию.

Ну да, вот рекомендовали https://github.com/toni-moreno/snmpcollector но нет времени протестировать.

Сам и скидывал :)

лол

там где snmp там боль

чество говоря у меня не вышло сделать красивый мониторинг прометеем с snmp железками

?

зачем, если есть NOC?

@lasto_f будет жить. Поприветствуем!

Как правильно представить октеты в grafana?

На вкладке axes выбрать единицу измерения bytes

Где почитать как из Прометея картинки дергать? Чтобы в свою страницу встроить.

прометей не отдаёт картинки, он отдаёт json с данными, из которых уже можно рисовать график

то есть надо взять какую-то js-либу и рисовать график на страничке

графана умеет на основании метрики, передаваемой в теле http запроса, создавать принтскрин

можно ещё взять https://prometheus.io/docs/visualization/consoles/ и вставлять себе в страничку в iframe

https://prometheus.io/docs/prometheus/latest/querying/api/ и вот страница про жсоны

вроде года два назад Digital Ocean рассказывали что прямо в консоли управления выводили метрики по виртуалкам из прометея

Вот ссылка на доку по скриптованным дашбордам из Графаны: http://docs.grafana.org/reference/scripting/ Вот так примерно выглядит ссылка в саму Графану: http://grafana/render/dashboard-solo/script/scripted.js?panelId=1&rows=1&panelName=TEST1&seriesName='sum(irate(fluentd_messages_count{}[1m]))'

Переменные, для работы ссылки, мы указывали сами, пример: https://gist.github.com/kolobaev/19646d0c16fa87c20bf579e1382ac479

Где почитать как из Прометея картинки дергать? Чтобы в свою страницу встроить.

с разоморозкой да.

Спасибо.

@Grumpy_Coder будет жить. Поприветствуем!

Хм .. а можно ли как-то сделать фильтр в проме по "нет такой метки"?

судя по всему, prometheus запрашивает данные без использования downsampling-а через remote read, какой тогда в этом всем remote read смысл?

хранение данных вне прометеуса

для этого remote read не нужен, достаточно remote write

используя апи прометеуса

судя по всему, prometheus запрашивает данные без использования downsampling-а через remote read, какой тогда в этом всем remote read смысл?

Скорее всего для оперативного мониторинга. Дашборды для оперативного мониторинга и каких-то долгосрочных графиков вроде должны быть разные

Хотя да, как-то тупо, можно и без этого обойтись

прометеус запрашивает данные из ремоута только если у него их нету

Выдать 2 года без downsampling не получится так просто, да?)

а вот и нет, он запрашивает их всегда

последний раз когда я тестил - он запрашивал только при интервале больше ретеншна

выдать то получится, это не проблема, просто их же придется обработать

ну или несуществующие метрики

странно, у меня сейчас на любой запрос дергает remote read, если я отдаю пустой ответ, он лезет в свой локальный сторадж

Хм .. а можно ли как-то сделать фильтр в проме по "нет такой метки"?

Например?

На самом деле, уже не актульно, судя по всему. Я просто менял метрики и убирал из них лейбл, думал, что нужно как-то фильтровать, но, похоже, нет.

ERROR: S client not available

Кстати, кто-то там когда-то писал статью про то, что не берите nginx, берите haproxy, haproxy умеет в мониторинг. Ага, вот только для нормальных метрик все равно надо логи копать)

но ведь nginx умеет

с неадвних пор для vts метрик теперь даже экспортер для прометеуса не нужен

оо, в модуль добавили поддержку?

ага

огонь!

спасибо за информацию

но ведь nginx умеет

https://thehftguy.com/2016/10/03/haproxy-vs-nginx-why-you-should-never-use-nginx-for-load-balancing/ Я вот про эту статью)

ну я знаю что есть haproxy-фанбои

(статью не читал)

Суть Conclusion: Avoid nginx at all costs Load balancers are critical points of transit and the single most important things to monitor in an infrastructure. Nginx stripped all monitoring features for the sake of money, while pretending to be open-source. Being left entirely blind on our operations is not acceptable. Stay away from nginx. Use HAProxy instead.

"entirely blind" ага

"entirely blind" ага

просто ты ненавидишь все хапроксевое

у меня просто хапрокси нормальной не было

ну вот там не нужно покупать лицензию, чтоб хелсчек бакенда делать и статы иметь искаропки

в нжинксе тоже не надо

ну то есть можно, но не обязательно

ну и в хапрокси такие метрики божественные

нахер бы мне нужен avg response time, я хочу квантили

да жлобы нгинкс, понятно конечно денешку хочется, но не сделать каких то основных метрик, это по моему фи

ну у них понятие "основные" особенное

есть же статус пейдж

ну то есть можно, но не обязательно

А как там делать health check бекенда, на луа?

можно на луа, можно модулем

можно взять готовый опенрести

а можно готовый ингресс в кубере :)

Немного оффтоп, с траефиком много говна отгребу или можно тащить впрод при не очень большой нагрузке?)

на дев стенде норм работает