Мы сегодня запустили экспорт метрик из промов в графит, в формате лейблов: Prometheus(s) <- prometheus-federation -> prometheus-to-graphite-exporter -> graphite

Работает норм, ресурсов почти не ест

через конвертацию в протокол графита?

Да

Федерация нужна для фильтрации метрик, все все все из прома в графит тянуть мы не стали

просто carbon-clickhouse умеет же принимать сразу от прометея данные. интересно зачем понадобилось промежуточное звено и конвертация протокола

просто carbon-clickhouse умеет же принимать сразу от прометея данные. интересно зачем понадобилось промежуточное звено и конвертация протокола

В графит метрики через carbon-c-relay летят, а в нем этой поддержки нет. И мы сперва хотели без федерации обойтись и все метрики в экспортере фильтровать, но по ресурсам получилось очень жирно.

В carbon-clickhouse мы разрешили писать только релеям, так как у нас организована строгая схема хранения метрик первого уровня, и релеи выступают не только как прокси но и в роли фаерволов

В carbon-clickhouse мы разрешили писать только релеям, так как у нас организована строгая схема хранения метрик первого уровня, и релеи выступают не только как прокси но и в роли фаерволов

те держите в конфиге carbon-c-relay фиксированный список для match ? если он меняется часто нужно же релоадить, carbon-c-relay у вас нормально это переживает?

те держите в конфиге carbon-c-relay фиксированный список для match ? если он меняется часто нужно же релоадить, carbon-c-relay у вас нормально это переживает?

Да, в них с какой-то из последних версий релоад подвезли, перечитывает конфиг на лету, на ура

тут есть @alexanderzobnin думаю ему тоже будет интересно про баг с неактуальностью данных

Не проверял issue на github? В range не стоит что-нибудь вроде now-60s?

@alexanderzobnin a beta билды всегда выходят не подписанные? Не проверял beta2 но beta1 точно без подписи

@alexanderzobnin a beta билды всегда выходят не подписанные? Не проверял beta2 но beta1 точно без подписи

Сейчас проверим. Мы переписывали скрипты для билда, возможно, что-то пропустили.

у нас посекундная агрегация и в другом дашборде все показывается )

Тоже сталкивался в grafana с отображением данных, опаздывают по разному на графиках с одинаковым запросом. Пока так и не понял почему. А с kapacitor в последнем обновлении приходят повторно critical алерты, пока не станет ok.

@alexanderzobnin a beta билды всегда выходят не подписанные? Не проверял beta2 но beta1 точно без подписи

А какой пакет? deb, rpm? (rpm, вроде, подписан)

А какой пакет? deb, rpm? (rpm, вроде, подписан)

Rpm

Утром попробовал поставить и получил warning. Мы репу просто синкаем, но с нашей стороны ничего не менялось. Продуктовые билды ставятся норм, подписи есть.

народ, а в blackbox'е при POST fail_if_not_matches_regexp работает? а то чет фейлится проверка и никак не хочет работать. курлом проверяю и все гуд

в нашу церковь врываются пуссирайот :) или как их там

Ща будет zabbix-молебен?

ну если это реальные люди (что сомнительно) то скорее всего заблудились

Хотят воцерквления

Тут же написано Церковь!

сейчас грехи будем отпускать

может кстати они хотят метриками стать :)

Похвастать своими метриками

Я медленно снимаю с тебя метрики...

тебя триггернуло с труселей? :) я вот зацепился за Сабрину - сразу детсво вспомнил и пластинки с ней

засовываю свой фрейм в твой стек

фублчя

я рисую на графане прометеем слово хватит

Лол

grafana/grafana was tagged: v5.2.0-beta3 Link: https://github.com/grafana/grafana/releases/tag/v5.2.0-beta3 Release notes: release v5.2.0-beta3

Пофиксили подписи ^

grafana/grafana was tagged: v5.2.0-beta3 Link: https://github.com/grafana/grafana/releases/tag/v5.2.0-beta3 Release notes: [Download Page](https://grafana.com/grafana/download/5.2.0-beta3) [Installation Guide](http://docs.grafana.org/installation/) [Release Notes](https://community.grafana.com/t/release-notes-v5-2-x/7894) * **Build**: All rpm packages should be si... More

Пофиксили подписи ^

О, спасибо! Мы тут еще багу нашли. Может будет интересно пофиксить. https://github.com/grafana/grafana/issues/12355

О, спасибо! Мы тут еще багу нашли. Может будет интересно пофиксить. https://github.com/grafana/grafana/issues/12355

Это старое кажется

И по хорошему надо учить carbonapi парсить такие странные запросы

Ибо питону то пофигу

Это старое кажется

Там есть еще одна странность из того же коммита, почитай связанный issue

Мб

Но факта того что такое надо парсить это не меняет

сделать ['true', 'false', true, false]?

а впрочем пофиг

А может кто-то подскажет, мне нужно вывести в виде таблицы на сколько вырос counter, (rate) причём должно быть указано за какой день, какой рост произошёл. Данные беру из Prometheus и показываю в графане.

О, спасибо! Мы тут еще багу нашли. Может будет интересно пофиксить. https://github.com/grafana/grafana/issues/12355

Ок, посмотрим.

всем доброго подскажите как в графане в графике указать показывать все метрици (имеется ввиду легедну метрик снижу) - пытался растянуть так растягивается и график и чуть чуть по пол строки проявляется легенда - хотелосьбы оставь график неизменным и вывести всю легенду соазу

в таблицу из сделай, удобнее будет

как это сделать ?

а понял ))))

только из таблицы непонятно что есть что а я хотел чтобы указал - показать загрузку первого и второго порта - он раз и показал

через легенду как раз можно отобразить порты которые интересуют

Ребят а какие то реальные алтернативы есть grafana даже и платные ?

все альтернативы плохо себя чувствуют

Ребят а какие то реальные алтернативы есть grafana даже и платные ?

Самому написать

да мне нравится grafana но интересно может есть хотя бы среди комерческих решений чтото

Есть узкий Хронограф, остальное все идет в пакете коммерческих приложений, но там можно голову сломать

все альтернативы плохо себя чувствуют

+

Есть узкий Хронограф, остальное все идет в пакете коммерческих приложений, но там можно голову сломать

а можешь дать ссылку на хронограф

https://github.com/influxdata/chronograf

ERROR: S client not available

та ) не

Недавно задавал вопрос на тему сбора метрик из batch задачи в prometheus. Ну типа надо где-то смотреть количество файлов и количество записей по разным типам из них. И выяснилось мое глобальное непонимание что же такое метрика. Ну то есть ответы авторов prometheus выглядят так - это не метрика, это событие (event), вам нужна система учета событий - попробуйте ELK например. И я че то совсем теряюсь, что же такое метрика в рамках Prometheus. Кто-то зашел на страничку, страничка загрузилась. Это не метрика, это событие. Количество заходов за период - это тоже тогда получается событие. Если что-то можно посчитать точно, то это не метрика. И что характерно в prometheus есть возможность задать timestamp для метрики - это решит проблему того, что одна и та же метрика может быть считана несколько раз. Но тогда метрика превращается в событие, а это уже табу - это никак нельзя.

По идее, если вам важен результат во временном промежутке, скажем "сколько файлов появилось со вчерашнего дня" или "сколько у нас сейчас файлов" - это метрика. А когда вам нужно узнать "а когда именно появился файл X" - это уже событие.

Количество заходов за период как раз метрика.

Ребят а какие то реальные алтернативы есть grafana даже и платные ?

Можно и за Grafana денег заплатить, если очень хочется.

Можно и за Grafana денег заплатить, если очень хочется.

Нормально продвигаешь :)

Можно и за Grafana денег заплатить, если очень хочется.

да просто не правильно поняли хотел увидеть вообще ктото еще делает такие продукты

да кто угодно, что вам хочется то

да просто не правильно поняли хотел увидеть вообще ктото еще делает такие продукты

Делают для своих целей и не показывают

вон в гугле забиваешь dashboard и там вагон их

В основном, все, кто делает, делают визуализацию как часть своего стека.

Другое дело, что почти любой продукт надо подпиливать под свои нужды

поэтому искать универсальное средство ну как то даже не имеет смысла, что бы оно удовлетворяло все твои потребности, люди обычно под популярное точат или под себя

но рано или поздно оно может разростись, вон тот же нетмон или как,что по началу для единичных хостов был, сейчас вроде может много бекендов и всё такое

Нормально продвигаешь :)

Sales manager 80 level

influxdata/kapacitor was tagged: v1.5.1-rc1 Link: https://github.com/influxdata/kapacitor/releases/tag/v1.5.1-rc1 Release notes: cut v1.5.1-rc1

Огонь

Коллеги, подскажите пожалуйста можно ли закрепить строку с переменными в графане чтобы при скролле не терялась?

Коллеги, подскажите пожалуйста можно ли закрепить строку с переменными в графане чтобы при скролле не терялась?

Кажется, нет

https://github.com/grafana/grafana/issues/11166

Кажется, нет

А как нибудь стили подправить хардкодно можно?

Можно через текстфайл с маркдауном

А как нибудь стили подправить хардкодно можно?

Сложно, там расположение элементов надо менять.

Можно через текстфайл с маркдауном

А поподробнее можно пожалуйста?

тьфу, текст панель

не файл

тьфу, текст панель

Если панель будет свёрнута, то стили не применятся. Вроде так должно быть.

Дело в том, что дашбод скроллится в области от верхнего меню до низа. Даже если прибить контейнер с переменными, то дашборд все еще будет скроллиться сквозь него.