Это же блин не З У каждого экспортера есть http endpoint. Идешь туда и смотришь что за метрики он отдает

да, вижу, но почему то в prometheus не попало, лан буду смотреть что опять в когфиге накосячил....

в таргетах в прометее есть?

в таргетах в прометее есть?

lf

да

и порт указан нужный

и зелёные таргеты?

так я подумал ты про конфиг

всё вижу

спасибо, забыл про это

и зелёные таргеты?

красные, причём неясно почему,

ибо по http сейчас всё проверил пашет

ровно скопировав адрес из конфига, прикольно

он же пишет причину

ибо по http сейчас всё проверил пашет

А пашет от тебя или от прометеуса?

А пашет от тебя или от прометеуса?

от меня, но я значительно дальше от него

чем рядом ноды

Так ты проверь с сервера прометеуса, мож закрыл каким фаерволлом

хотя там хецнер

invalid URL port 9100

8080

блин доступа ещё к хостам не имею

ну вот тебе и ответ

иди и проверяй настройки

современный мир - все думают что нигде нет фаера и все сети плоские =)

ну в данном случае вряд ли в фаерволе проблема

судя по тексту ошибки

современный мир - все думают что нигде нет фаера и все сети плоские =)

Как будто это что-то плохое

Как будто это что-то плохое

это не плохо, просто это не всегда верно.

я бы даже сказал что обычно это неверно

просто не видно

https://blog.timescale.com/sql-nosql-data-storage-for-prometheus-devops-monitoring-postgresql-timescaledb-time-series-3cde27fd1e07 уже обсуждали?

Из занудного, SELECT labels->>'cpu', MAX(value) FROM metrics WHERE name='node_cpu_frequency_hertz' AND time > NOW() - interval '5 min' GROUP BY labels->>'cpu'; Разве это sql?

почему нет?

https://blog.timescale.com/sql-nosql-data-storage-for-prometheus-devops-monitoring-postgresql-timescaledb-time-series-3cde27fd1e07 уже обсуждали?

А как минимум интересно.

Постгрес сам по себе хорош (на мой взгляд), а если его реально дополнили чем-то правильным для работы с time series-данными - ляпота получится.

ага

почему нет?

Labels же

https://blog.timescale.com/sql-nosql-data-storage-for-prometheus-devops-monitoring-postgresql-timescaledb-time-series-3cde27fd1e07 уже обсуждали?

КликХаус мне кажется эффективнее этого стека

таймскейлы говорят что у них ещё шардинги всякие и т.п

КликХаус мне кажется эффективнее этого стека

а его уже можно с прометеем дружить в обе стороны?

А нужно?

тот же вопрос про кликхаус

Пром в первую очередь алармы

это лично у тебя?

Лично у меня

пром собирает метрики и имеет довольно удобный язык запросов

Ну аналитику годовую с ним не сделаешь

Запросы крутые - да

Но аналитика лучше в КХ

а кто про аналитику говорил?

при чём тут аналитика?

таймскейлы говорят что у них ещё шардинги всякие и т.п

Ну у них кластера нормального нет пока. Как и КХ, в принципе :trollface:

хочу рисовать графики

за много лет

Ну у них кластера нормального нет пока. Как и КХ, в принципе :trollface:

я не пользовался ни тем ни тем но они вроде заявляют что есть

или я неправильно прочитал?

https://blog.timescale.com/time-series-data-cassandra-vs-timescaledb-postgresql-7c2cc50a89ce

"Moreover, as we’ll see, the write performance a single TimescaleDB instance provides for time-series data is quite often more than sufficient for a production workload — and that’s without some of the traditional NoSQL drawbacks that come with Cassandra."

Скейлить TSDB по записи "нинужна, и так все быстра"

а, то что пишется только в одну ноду?

ну да

ну это так себе конечно

с другой стороны если туда можно писать столько сколько в прометей, то и ок

ну то есть в remote_write его если вписать, будет ли тащить

ERROR: S client not available

за много лет

RRD :)))

угу

и желательно чтобы оно в обе стороны с прометеем было через remote_write/remote_read

чтобы не менять запросы

target_groups: - targets: ['10.0.0.200:3002'] labels: group: 'development' по быстрому в доки не отрыл, подскажите, как правильно, писать в джобе несколько таргет групп или же 1 таргет групп, а потом просто таргет, лабл, название группы? prometheus

что такое таргет групп?

ile-based service discovery provides a more generic way to configure static targets and serves as an interface to plug in custom service discovery mechanisms. It reads a set of files containing a list of zero or more <static_config>s. Changes to all defined files are detected via disk watches and applied immediately. Files may be provided in YAML or JSON format. Only changes resulting in well-formed target groups are applied. The JSON file must contain a list of static configs, using this format:

типа позволяет делить хосты в джобе на группы

например прод стейбл дев тест

а что такое target_groups?

# Panamax - job_name: 'panamax' scrape_interval: 5s # Override the global default and scrape targets from this job every 5 seconds. scrape_interval: 5s scrape_timeout: 10s target_groups: - targets: ['10.0.0.200:3002'] labels: group: 'development' вот несколько примеров таких нашёл

это же static_configs

ты бы лучше сказал откуда ты это нашёл

то есть нельзя в рамках 1 джобы поделить на группы?

можно

но называется это по-другому

но называется это по-другому

можно плиз название, а то я не хочу в таргете чтот 100 адресов иметь

это же static_configs

.

ты бы лучше сказал откуда ты это нашёл

.

можно плиз название, а то я не хочу в таргете чтот 100 адресов иметь

static_configs: - targets: - facebook.com:127.0.0.1 - imdb.com:127.0.0.1 - google.com:127.0.0.1 relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - source_labels: [__param_target] regex: '(.*):.*$' replacement: '$1' target_label: 'domain' - source_labels: [__param_target] regex: '.*:(.*)$' replacement: '$1' target_label: 'instance' - source_labels: [__param_target]

Ты этого хочешь?

key:value

классный костыль

Ты этого хочешь?

почему всё так усложняют то... хочешь тупо поделить хосты в джобе на 6-8 групп, чтобы решать проблемы было удобнее и конфиг читать, а тебе сразу регулярнки писать предлагают

бери и дели

но лучше всё равно не static_configs, а file_sd_configs

во внешнем файле держать

есть вопрос. храню метрики в clickhouse с помощью graphite-clickhouse и carbon-clickhouse, настройки retention такие https://pastebin.com/eXxNnzL6 некоторые метрики собираются с частотой 30сек, а некоторые 60, в итоге при построении графика в графане с минутными метриками получается что точки есть, а графика нет. может что-то в настройках retention надо исправить? или обязательно, чтобы все метрики собирались с одинаковой частотой ?

просто графит отдаёт 0 если точки нету

есть вопрос. храню метрики в clickhouse с помощью graphite-clickhouse и carbon-clickhouse, настройки retention такие https://pastebin.com/eXxNnzL6 некоторые метрики собираются с частотой 30сек, а некоторые 60, в итоге при построении графика в графане с минутными метриками получается что точки есть, а графика нет. может что-то в настройках retention надо исправить? или обязательно, чтобы все метрики собирались с одинаковой частотой ?

точки с разным retention на одном графике это странно

и если ретеншн 30, а метрики каждые 60 сек, то будут нули через точку

точки с разным retention на одном графике это странно

нет, на этом графике все точки через 60 сек