а кто как хранит метрики прометея? в его собственной базе или в influxdb? или в каком другом сторадже?

вопрос про longterm сторадж? я никак. но мне тоже интересно как это делают другие

я храню в собственной базе

зачем тут инфлакс?

Александр же всё верное сказал - интересно как это делают другие

у меня в инфлаксе, но оно очень странно работает - однажды например все метрики просто взяли и дропнулись, хотя размер базы не уменьшился

у меня в инфлаксе, но оно очень странно работает - однажды например все метрики просто взяли и дропнулись, хотя размер базы не уменьшился

операций с шардами не проводили ?

типа смены дефолтного ретеншен полиси

не-а, настроил, запустил и забыл

все по дефолту, кроме добавленной политики ретенций

ну так это и сломало

там логика такая

database -> retention policy -> measuremnet

одно контейнер для другого

смена дефолтной ретеншен полиси и у тя пустая база

ибо выборки надо делать вдругую

не-не, я поставил influx, добавил политику, только потом отправил туда prometheus

потом ничего не трогал

А кластеризацией infuxdb последних версий кто-нибудь занимался? Как понял из описания там теперь только костылить?

нет, не костылить а занести бабла

кто юзал такое https://github.com/knyar/nginx-lua-prometheus?

насколько оно оверхедит?

мне кажется надо для прометеуса делать совместимость с кликхаусом

смена дефолтной ретеншен полиси и у тя пустая база

У меня есть идея сделать дефолтовую максимум на месяц, а уже нужные данные складывать с политикой длительного хранения. Например, весь iftable за год не нужен. Хватит pps и bps (уже посчитанных из октетов). Ошибок мне за месяц хватит.

кто юзал такое https://github.com/knyar/nginx-lua-prometheus?

я. Минимально. на скоростях до 5000 рек/сек вообще разницы не увидел

vts оверхедид больше

я. Минимально. на скоростях до 5000 рек/сек вообще разницы не увидел

спс

у меня ваще другие скорости - значит отлично зайдет

м в результате взяли ВТС, у него в статистике данных больше

м в результате взяли ВТС, у него в статистике данных больше

хм, по доке вроде наооборт

тогда учту

даши для графаны есть для этих штук уже?

вот этот - https://github.com/vozlt/nginx-module-vts не знаю, я сам рисовал

чумачечий модуль

там экспортер для прома есть ещё рядом

там экспортер для прома есть ещё рядом

где?

https://github.com/hnlq715/nginx-vts-exporter#dependency

ухты

ничоси

спасибо

а у кто как создавал дашборды для https://github.com/prometheus/blackbox_exporter

а что, прометею в global нельзя указать глобальный tls конфиг?

а у кто как создавал дашборды для https://github.com/prometheus/blackbox_exporter

https://prometheus.wmflabs.org/grafana/dashboard/db/http-s-tcp-probes вот глянь этот

https://prometheus.wmflabs.org/grafana/dashboard/db/http-s-tcp-probes вот глянь этот

спасибо, подходит

Ребята привет

поднял для тестов прометей с пушем

почему не хочет

cat «EOF | curl —data-binary @- http://localhost:9091/metrics/job/my_test tx{id="68914677", dst="msk", src="spb", state="success", sum="100"} 1 tx{id="71314566", dst="volgograd", src="msk", state="success", sum="140"} 1 tx{id="13337513", dst="spb", src="msk", state="error", sum="840"} 0 EOF

text format parsing error in line 1: unexpected end of label value

whitespace убирал не помогает

или оно вообще не может несколько значений сразу записать в метрику?

как ты хочешь чтобы у тебя одна метрика tx на одном source была? tx_1 tx_2 tx_3 будет работать

https://prometheus.io/docs/practices/naming/#metric-names - вот годный ман, который это проясняет

а пардон, так можно. действительно, почему не работает :)

я кароче взял из примера, и подставил свои значения

все записалось

видимо какие то пробелы или табы лишние

хер егго пойми

ребят, а не напомните, можно как то сложить в графане 2 серии типа #A и #B по вайлдкарду ?

мне кажется я это как то делал, но не могу вспомнить как

Посмотри stacking mode, не оно?

не.

у меня типа 2 серии но в одной что то типа host.path.to.url.rate а в другой host.url.path.rate я не могу 2 эти метрики вайлдкардами в одну вытащить и сделать sumseries, приходится делать 2, а как их сложить не ясно

прометей с пушем – а энто как?

пушгейтвей видимо

ERROR: S client not available

аа, ну это такая штука... странная

да оно

@alexanderzobnin а можно как то в таблице скрыть значения с нулями ?

в обычном графике есть галки

нвм, нашел

граждане, кто с прометеем с node exporter-ом разбирался? почему у меня в node_disk_io_time_ms какие-то дикие значения ? что-то в манах я не нашёл как правильно готовить

алло

# HELP node_disk_io_time_ms Milliseconds spent doing I/Os. # TYPE node_disk_io_time_ms counter

алло

а можно ссылку на доку ? для таких слепых как я

ну ты читай что тебе пишет

ну ты чего вообще :(

а я спал часа 4 второй день меня уже плющить)

он в выводе вебсервера пишет

ну, кстати вот тоже озадачился

https://github.com/prometheus/node_exporter/blob/master/collector/diskstats_linux.go#L84

я думаю, отсюда нужно начинать https://prometheus.io/docs/concepts/metric_types/

так, а кто-то знает как jmx_exporterом выдрать все данные из jmx? jmxUrl: service:jmx:rmi:///jndi/rmi://127.0.0.1:9996/jmxrmi ssl: false lowercaseOutputName: false lowercaseOutputLabelNames: false whitelistObjectNames: ["*"]

не работает

Key properties cannot be empty получаю

@alexanderzobnin о, а вы не думаете пофиксить в апстриме https://github.com/grafana/grafana/issues/3623 ?

граждане, кто с прометеем с node exporter-ом разбирался? почему у меня в node_disk_io_time_ms какие-то дикие значения ? что-то в манах я не нашёл как правильно готовить

кстати отлично штука работает, юзаю на всех инсталляциях.

/stat@combot

combot.org/chat/-1001068522817

@alexanderzobnin о, а вы не думаете пофиксить в апстриме https://github.com/grafana/grafana/issues/3623 ?

Не уверен насчет сроков.

Не уверен насчет сроков.

Эх. А то вот начал народ жаловаться у нас, посмотрели - а в базе полторы тысячи дэшбордов уже

Ну тэг стоит важный, но когда руки дойдут - не знаю. Народу мало.

Господа, а кто нить автоматизировал версионирование дашиков графаны ?

хочу хранить их в гите и делоить в несколько инсталяций

А как лучше всего выбирать ноды для параметризованных дашборд из прометея? Хочется по ролям сгруппировать. Положить файлик в node-exporter с кастомной метрикой и лабелом типа role:CDN с постоянным значением = 1 – норм решение?

хочу хранить их в гите и делоить в несколько инсталяций

найдёшь решение - делись

сам над этим думаю