то есть 2xint + name=string

+ internal id

но интересно реальные числа посмотреть конечно

значит переделали

значит переделали

я их схему глянул в доках. Они конечно жмут с lz4

но интересно как помогает

volumes: - /root/grafana:/var/lib/grafana

А какие-то нужно действия сделать, чтобы со старой базой поднялась новая графана? А то всё время при рестарте - пустая получается.

А какие-то нужно действия сделать, чтобы со старой базой поднялась новая графана? А то всё время при рестарте - пустая получается.

прикрепить volume из docker run или внутри docker-compose ямла

прикрепить volume из docker run или внутри docker-compose ямла

Волюм прикреплен. Странно то, что он как будто не читает этот файл db.

А какие-то нужно действия сделать, чтобы со старой базой поднялась новая графана? А то всё время при рестарте - пустая получается.

лугше подсунуть графане более лучшую базу.

посгрес например

тогда можно сделать ha для графаны

посгрес например

А что она в базе хранит, кроме настроек?

дашики, юзеров...

Опубликованы видеозаписи с PromCon 2017. https://www.youtube.com/watch?v=4Pr-z8-r1eo&list=PLoz-W_CUquUlnvoEBbqChb7A0ZEZsWSXt Само рассписание можно найти тут: https://promcon.io/2017-munich/schedule/ #promcon #videos #prometheus #monitoring

если чо

вдруг кому полезно будет

ссылка на recap + playlist

подскажите, в связке графана+пром есть легенда, которую хочется привести в порядок - там очень длинные записи, хочется их порегекспить

где мне лучше это делать? редактировать дашборд?

да, под графиком есть то как называть метрики

ну вот есть у меня в легенде {{ image }}

и есть регексп

^.+?\/(.+)@.*$

вот я хочу только то что в скобках заматчилось выводить

можно конечно попробовать сделать relabel при сборе метрик

но блин, как то не хочется в проме это городить

все дороги ведут в релейбл

увы

relabel_configs: - action: labelmap regex: __meta_kubernetes_node_label_(.+) - target_label: __address__ replacement: kubernetes.default.svc:443 - source_labels: [__meta_kubernetes_node_label_image] action: replace target_label: image_short_name regex: ^.+?\/(.+)@.*$ replacement: $1 - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __metrics_path__ replacement: /api/v1/nodes/${1}/proxy/metrics

я так понимаю что после первого action уже все перемапится и уже надо будет делать relabel с этим учетом

так?

блин, сделал с учетом - все равно не выходит. Такое ощущение, что лейбл не приходит с этой job или я не знаю что и думать

А что она в базе хранит, кроме настроек?

Еще события (алерты)

Еще события (алерты)

☝️вот, поэтому и нужно персистентное хранилище. Хорошую бд нет смысла подключать. Один пользователь всего.

Народ, вопрос. Я сделал Gauge, отдаю в прометеус, по нему рисую график. Там еще жимут лейблы, метрики с определнными лейблами могут не приходить. А Grafana рисует послдее состояние, а не метрики в текущий момент времени

Вот как это отрисовать правильно?

так, изыскания показали, что виновата не графана, а либоа прометеуса для golang. Если я один раз просетил значение, и потом его не трогал, то оно висит. Вопрос - как обнулит значения, которых не было за текущую минуту?

так, изыскания показали, что виновата не графана, а либоа прометеуса для golang. Если я один раз просетил значение, и потом его не трогал, то оно висит. Вопрос - как обнулит значения, которых не было за текущую минуту?

сделать горутину которая будет слать 0 на такие значения )

Там метки динамические. Значит надо искать, что я не заэкспортил за текущий помент времени - и обнулять это.

А можно как то удалять, а не обнулять?

сохраняй состояние что ли

Определенные метки

в смысле держи у себя map или слайс того что заэкспортил

точнее по определенным меткам

Ага

У меня слайс с метками, которые я заэкспортил за минуту. После экспорта удалять вспе, что не заэкспортил

Вопрос - как получать список текущих меток, которые заэкспортил

И как их удалять

Или наверно удалить всю метрику перед добавлением значений

и потому же наполнить актуальными метриками

так, изыскания показали, что виновата не графана, а либоа прометеуса для golang. Если я один раз просетил значение, и потом его не трогал, то оно висит. Вопрос - как обнулит значения, которых не было за текущую минуту?

нет. только с 2.0

весь этот функционал называется staleness и сейчас работает раз в 5 минут.

и это проблема.

Я тут нашел выход вроде на уровне экспортера

Перебилдил его и залил

Ща проверяю - сработает или нет

нет не сработает

https://www.youtube.com/watch?v=GcTzd2CLH7I&list=PLoz-W_CUquUlnvoEBbqChb7A0ZEZsWSXt&index=32

ПОмогло

Перед кадждой отгрузкой метрик делаю Reset()

не факт :) мог попасть в граничный интервал

там сама база через 5 минут грохает серии для которых нет значений.

я так раза 2 чинил эту проблему.

Ну у меня проблема была, что экспортил неактулаьное

ERROR: S client not available

а потом выяснил что базе не всё равно и она будет рисовать полку...

Ща помотрю что будет

Рисует полки

сволочь

У меня на /metrics 3 метрики

Чот я на этот проект забыл подписать

https://github.com/lomik/graphite-clickhouse/releases/Version 0.4.0 was tagged

А в графане за последнюю минуту 5

и будет рисовть да.

А в графане за последнюю минуту 5

На другом хосте вообще рисуте 9, хотя есть только две на /metrics

Дирьмо(

иди срочно становись тестером.

там стейл почти сразу срабатывает.

и браин на ирландском рассказывает когда полка всё будет, но в хитром случае и примерно на 50 секунд

сейчас примерно 5 минут и хитро

Чот я на этот проект забыл подписать

;)

Я наверно спрошу. С заббикса я слезаю, потому что он сволось по нагрузке не вывозит. точнее база под ним. Тюнили до упора.

Может в прометеус пока рано, и есть что то более зрелое?

поток какой ?

700 хостов

Я наверно спрошу. С заббикса я слезаю, потому что он сволось по нагрузке не вывозит. точнее база под ним. Тюнили до упора.

прям совсем упоролись? выносили хистри наружу? типа такого: https://github.com/zensqlmonitor/influxdb-zabbix ?

по метрикам 500 + с хоста, если я в ночи не вру

это не важно. важно * кардиналити * период опроса

это не важно. важно * кардиналити * период опроса

От 10 сек до минуты в зависимочти от метрики

10s 70%

кардиналити?

не знаю таких слов =(

тоесть 700*500 = 350000 кардиналити 35к в секунду

кардиналити это комбинация всех возможных тегов.

О, неактуальные метрики отмерли

кардиналити это комбинация всех возможных тегов.

Понял