или вобще все ?

вообще все

в рамках DC = selectel

а все.

я вкурил

вы через консул просто дискаверите агентов node_exporter

заведя node_exporter как сервис

тоесть чтобы не держать статичный список узлов, каждый раз перед опросом метрик, вы его получаете из консула.

дада

и консул же может скриптовые чеки делать

типа: # cat /var/lib/consul/checks/cadvisor_process_check #!/bin/bash processes=$(/usr/bin/sudo /usr/bin/docker ps -q -f 'name=cadvisor' -f 'status=running'|wc -l) if [ "${processes}" -eq "1" ]; then exit 0; fi exit 255

это будет поджигать датчик consul_catalog_service_node_healthy

c именем cadvisor

а кстати вы как разделяете мониторинг хотстовый и контейнеров ?

Коллеги, окажите хепл с графитом

[default_1min_for_1day] pattern = .* retentions = 30s:7d,1m:7d,10min:1y

коллектд метрики идут на 24h, а карбон живет уже хз сколько..

а кстати вы как разделяете мониторинг хотстовый и контейнеров ?

ну job'ы разные же

в кадвизор смотрит одна жоба

в ноде_експортеры - другая

- job_name: 'cadvisor' consul_sd_configs: - server: 127.0.0.1:8500 datacenter: selectel services: [cadvisor] relabel_configs: - source_labels: [__meta_consul_node] regex: (.+) target_label: instance replacement: '${1}' metric_relabel_configs: - source_labels: [__meta_consul_tags] regex: (production|staging) target_label: environment replacement: '${1}'

типа вот есть у нас collectd и мониторит диски \интерфейсы, туда насыпает постоянно шлака от контейнеров. А есть cadvisor который от этого избавляет. но вроде как не умет сам запушить данные в какой нить графит. все равно получается каким то образом сами тащите данные опредленным образом из cadvisor ?

ну так прометей на это и заточен

в него нельзя запушать ничего

он ходит по таргетам и собирает

кстати из коллектд он тоже может выгребать

@ptchol возьми любой кадвизор свой и постучи ему курлом на :10250/metrics

вот именно это у него попросит прометей

а он говорят не очень

он не очень, но быстрее него нет

но мониторинг по висперу это странно

у меня опять засада с графитом

приходят метрики. каждые 10 минут приходят нули но раз в час норм значение

как мне эти нули либо ремувнуть из серии, либо превратить в предыдущее значение )

не слать нули

ахах, простите

но это правда проще всего

я смог сам)

Заходят метрики форматов opentsdb, graphite, influxdb, zabbix, nagios, sensu и prometheus в бар, бармен пиздит админа-хипстера

0_о

а чо хипстера-то

вон он заббикс с нагиосом тож принес

и опентсдб))

вот потому что все вместе и принес

почему потому то ?

Заходят метрики форматов opentsdb, graphite, influxdb, zabbix, nagios, sensu и prometheus в бар, бармен пиздит админа-хипстера

А админ так и не может решить в какой бар ему зайти

выбирает между баром и антикафе

выбирает между баром и антикафе

крафтовая пивная же!

фу

всегда весело ребутить что то такое что у тебя обвешено тонной лампочек

ну ты же про алертинг спрашивал

консул и скрипты для мониторинга ему шефом разворачиваете?

да

консул в контейнерах или демоном?

демоном

написал враппер вот для этого кукбука: https://github.com/johnbellone/consul-cookbook

и все в нем гоняю

посоны

вопрос есть ))

смотрите, приходят данные вот так.

если сделать по этому производную то я получу нифига )

потому что там нули

а если среднее то тоже хрень.

Сделай интеграл по объёму

И бочку — дельфинчиком

поставь Group by time interval побольше

непонял

это же инфлюкс?

нет это графит

тогда извиняй

и групбай не спасет, если точка пустая

Нужна какая-нить интерполяция

КМК

а туплю.

производная от суммы же будет такая же ))

а не, не такая же

и групбай не спасет, если точка пустая

Посылай данные реже

Чтоб дыр не быоо

написать функцию, которая из нулей делает Nan'ы, а потом сделать discreteDataSticking

функцию написать - 10 строк кода

Или так, да

diff —git a/webapp/graphite/render/functions.py b/webapp/graphite/render/functions.py index ca29925..e3e3669 100644 —- a/webapp/graphite/render/functions.py +++ b/webapp/graphite/render/functions.py @@ -2519,6 +2519,20 @@ def threshold(requestContext, value, label=None, color=None): return [series] + +def transformZeroToNull(requestContext, seriesList, default=0): + def transform(v): + if v == 0: return None + else: return v + + for series in seriesList: + series.name = "transformZeroToNull(%s,%g)" % (series.name, default) + series.pathExpression = series.name + values = [transform(v) for v in series] + series.extend(values) + del series[:len(values)] + return seriesList + def transformNull(requestContext, seriesList, default=0): """ Takes a metric or wild card seriesList and an optional value @@ -3337,6 +3351,7 @@ SeriesFunctions = { 'areaBetween' : areaBetween, 'threshold' : threshold, 'transformNull' : transformNull, + 'transformZeroToNull' : transformZeroToNull, 'isNonNull' : isNonNull, 'identity': identity, 'discreteSticking': discreteSticking,

простите, не удержался)

use triple backticks, luke

`пиздец тебе`

не пиздец тебе Вот так.

о

#naming как вы метрики именуете? нагуглил кучу советов вроде hostname.app.subsystem.noun.past_verbтипа s1.huifikator.webserver.words.huified, но это всё про каунтеры, а как называть gauges и timers?

у нас всегда было retention.hostname.subsystem.counter и я ни разу не жалел о такой схеме

вобще хреновый подход

под каждую проблему переисывать код под себя

а потом еще саппортить его как то

а потом кучу внешних систем аля графаны завязывать на это

странно так размышлять. Какой то интырпрайз у тебя в голове

0_о

а при чем тут интерпрайз и чего странного ?

странно отказываться от возможности писать код, когда она у тебя есть