Ребят кто что может сказать плохого про carbon-relay-ng

я вижу что у него одного есть sanitizing метрик по таймстемпу что очень важно при работе с CH

@avknsk будет жить. Поприветствуем!

я вижу что у него одного есть sanitizing метрик по таймстемпу что очень важно при работе с CH

а что это?

Ребят, про кластеризацию прометеусов что можно почитать?

Ребят, про кластеризацию прометеусов что можно почитать?

Ничего

Ну т.е. нет в природе кластера прометеуса

Но ведь она лежит на поверхности.

Хотя бы про грабли почитать

Берёшь два прометеуса, собираешь одно и то же.

Там федерейшен есть

федерейшен не равно кластер

Ребят, про кластеризацию прометеусов что можно почитать?

Почитай thanos и m3db

в grafana есть default org для регистрации, а default team присутствует? не могу найти что-то

Почитай thanos и m3db

Там ещё есть новый вариант https://github.com/cortexproject/cortex

да я тоже вчера на него наткнулся

Чёт в твиторе писали что танос с кортексом будут сливаться вместе

есть почитать ?

Оф твитор прома на прошлой неделе много писал про кортекс и планы. Щас не у компа, ссылки под рукой нет

Интересно, а танос так называется потому что в нем сохраняется только половина метрик?

да мы тож ржали.

а чо с ним не так? расскажите

всё так.

всё так.

это был учебный наброс? :) зиантригуют вот и в кусты, а ты мучайся

я хочу провести эксперемент и запустить сравнение m3 и thanos. для этого хочу собрать оба. и дать им на пережевывание обоим данных с node_exporter-ов. Хочу оценить побочку от такого подхода

ну же

а чо с ним не так? расскажите

просто авторы выбрали прекрасное название, чо бы не поржать над ним )

это был учебный наброс? :) зиантригуют вот и в кусты, а ты мучайся

ну ты Avengers: Infinity War смотрел? Или комикс там читал?

@fandrey а?

как вы могли обо мне такое подумать :)

Коллеги, кто-нибудь может подсказать, как собирать метрики по подмонтированным nfs шарам, не запуская node-exporter из под рута?

prometheus/prometheus was tagged: 2.4.3 / 2018-10-04 Link: https://github.com/prometheus/prometheus/releases/tag/v2.4.3 Release notes: * [BUGFIX] Fix panic when using custom EC2 API for SD [#4672](https://github.com/prometheus/prometheus/pull/4672) * [BUGFIX] Fix panic when Zookeeper SD cannot connect to servers [#4669](https://github.com/prometheus/prometheus/pull/4669) * [BU... More

Коллеги, кто-нибудь может подсказать, как собирать метрики по подмонтированным nfs шарам, не запуская node-exporter из под рута?

какие метрики? если стандартные сколько занято/свободно, то без проблем собирается из-под юзера

какие метрики? если стандартные сколько занято/свободно, то без проблем собирается из-под юзера

Да, стандартные node_filesystem_free например

из под пользака только node_filesystem_device_error есть

node_exporter, version 0.15.2

у меня 12.0 node_exporter, node_filesystem_free есть по всем хостам

у меня 12.0 node_exporter, node_filesystem_free есть по всем хостам

и nfs?

@IISometric будет жить. Поприветствуем!

У меня по локальным томам тоже есть, а по nfs только если экспортер из под рута

cat /etc/mtab|grep SUNWe -hosts /net/smc/opt/SUNWexplo autofs rw,relatime,fd=12,pgrp=1575,timeout=300,minproto=5,maxproto=5,offset,pipe_ino=40663 0 0 smc:/opt/SUNWexplo /net/smc/opt/SUNWexplo nfs rw,nosuid,nodev,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.181.54,mountvers=3,mountport=32801,mountproto=udp,local_lock=none,addr=192.168.181.54 0 0

и в прометее

node_filesystem_free{device="-hosts",fstype="autofs",instance="---:9150",job="---001",mountpoint="/net/smc/opt/SUNWexplo"} 25578962944 node_filesystem_free{device="smc:/opt/SUNWexplo",fstype="nfs",instance="---001:9150",job="---001",mountpoint="/net/smc/opt/SUNWexplo"} 25578962944

Непонятно, что ж оно у меня не работает

Парни, а тыкните в бест практис, как лучше организовать сбор метрик в прометее?

Это выглядит как... широкий вопрос.

Парни, а тыкните в бест практис, как лучше организовать сбор метрик в прометее?

открываешь доку прома. читаешь соотвутствующую главу

https://prometheus.io/docs/practices/naming/

node_filesystem_free{device="-hosts",fstype="autofs",instance="---:9150",job="---001",mountpoint="/net/smc/opt/SUNWexplo"} 25578962944 node_filesystem_free{device="smc:/opt/SUNWexplo",fstype="nfs",instance="---001:9150",job="---001",mountpoint="/net/smc/opt/SUNWexplo"} 25578962944

Разобрался, нехватало прав на точки монтирования

Господа, подскажите пожалуйста почему push gateway нельзя использовать как средство для принятия events?

он тебе последний эвент покажет

Я хочу отправить метрику job started а потом job finished , чтобы кастомизировать ci/cd

Я это знаю, в коде прям забито

Можно пересобрать свой push gateway, и все будет ок, но есть может быть сакральный смысл?

я через textfile в node_exporter это делаю

Кто нибудь собирает метрики от монгодб?

стандартный экспортер прома не поддерживает ssl

Через textfile както костыльно, как решаете многопоточную запись, от паралельных джоб?

ERROR: S client not available

Я хочу отправить метрику job started а потом job finished , чтобы кастомизировать ci/cd

process_job{id="jobid", started="unixtime", finished="unixtime"}0 отправляй только

https://prometheus.io/docs/practices/naming/

Спасибо мил человек☺️

Через textfile както костыльно, как решаете многопоточную запись, от паралельных джоб?

добавляю id джобы, ко всем ее статусам

process_job{id="jobid", started="unixtime", finished="unixtime"}0 отправляй только

А как тогда на графане выбрать жлобы за промежуток времени, если они по timestamp в Прометее выбираються?

подскажите, относительно remote storage - маркировка read в https://prometheus.io/docs/operating/integrations/ означает, что можно нативно обращаться с помощью promql?

А как тогда на графане выбрать жлобы за промежуток времени, если они по timestamp в Прометее выбираються?

так же, как в проме?

Ты в графане выбираешь дельту времени, и выбираеться время когда метрика была добавлена в Прометей, а если время засунуть в в лейбл, то как по нему выбрать, label_values не вариант

засовывай время не только в лейбл

А куда, в значение?

а что это?

Может не правильно выразился, это дроп метрик не подходящих под стандарты. Конкретно carbon-relay-ng умеет отсеивать метрики которые в прошлое прилетают. clickhouse очень плохо себя ведет по таким метрикам

я давно хочу впилить это прямо в carbon. но у меня проблема с самой сложной частью - не могу придумать как назвать опции конфига )

Вопрос в том как взять все из прометея за 2 дня в графане, с учётом того что нельзя отправлять свой timestamp, , через push gateway, не пересобрав его

есть еще какие то доклады интересные про long-term storage кроме выступления парня из percona?

есть еще какие то доклады интересные про long-term storage кроме выступления парня из percona?

этих двух достаточно вроде бы https://promcon.io/2018-munich/slides/lightning-talks-day1-07_m3-with-prometheus.pdf https://promcon.io/2018-munich/slides/thanos-prometheus-at-scale.pdf

а что за выступление парня из percona?

А куда, в значение?

вот так работает

cat <<EOF | curl --data-binary @- http://:9091/metrics/job/sync_rbt_connector/instance/$instance # TYPE sync_rbt_connector gauge # HELP sync_rbt_connector 1 = OK sync_rbt_connector 3 $TIMESTAMP EOF

@Santik89 будет жить. Поприветствуем!

@Jansen_A будет жить. Поприветствуем!

я давно хочу впилить это прямо в carbon. но у меня проблема с самой сложной частью - не могу придумать как назвать опции конфига )

# Validation of inputs ## # Metric name validation strictness for legacy metrics. Valid values are: # strict - Block anything that can upset graphite: valid characters are [A-Za-z0-9_-.]; consecutive dots are not allowed # medium - Valid characters are ASCII; no embedded NULLs # none - No validation is performed validation_level_legacy = "medium" # Metric validation for carbon2.0 (metrics2.0) metrics. # Metrics that contain = or _is_ are assumed carbon2.0. # Valid values are: # medium - checks for unit and mtype tag, presence of another tag, and constency (use = or _is_, not both) # none - No validation is performed validation_level_m20 = "medium" # you can also validate that each series has increasing timestamps validate_order = true

Можно так - прям кусок из конфига

Он еще плохие метрики накапливает и по ним отчет делает - это прям мегаполезно.

Написал Prometheus query и заплакал: sum(xxx or up * 0)

Об этом говориться в самом конце https://www.robustperception.io/existential-issues-with-metrics

Подскажите, как можно в прометее удалить старые jobs?

из db ))

промтулом

лучше никак