Uncel
11.01.2018
13:44:46
Логи в json и пихаете в ластик хоть палкой
Pablo
11.01.2018
13:47:38
как и любой саас
а что ты вкладываешь такого дополнительного в слово "решение" что вдруг SaaS'ы туда перестают попадать, в то время как десятки тысяч компаний в мире видят это по другому
Andor
11.01.2018
13:49:12
человеку надо было флюент настроить, а не запилить себе окметер
Pablo
11.01.2018
13:50:40
а, в этом частом случае. понял.
Google
Роман
11.01.2018
13:50:58
Andor
11.01.2018
13:52:39
https://docs.fluentd.org/v0.12/articles/parser_nginx
не то?
Роман
11.01.2018
13:54:27
не то?
Нет. Там же два разных format получается. Если я access настраиваю, то получаю pattern not match with data для error
Andor
11.01.2018
13:54:56
ну сделай два парсера
Роман
11.01.2018
13:55:13
Andor
11.01.2018
13:55:24
я не гуру флюентд, но проблем не вижу
Matvey
11.01.2018
14:25:44
https://docs.fluentd.org/v0.12/articles/common-log-formats
видимо нужно несколько source указать
Роман
11.01.2018
15:01:21
Sergey
11.01.2018
15:08:09
там кеширование по умолчанию 60 сек
Sergey
11.01.2018
15:12:31
у меня две графаны и два стека (один на го-карбоне, второй на графите)
Google
Sergey
11.01.2018
15:12:43
мягкая миграция, так сказать
и данные сейчас одни и те же в оба места летят
Sergey
11.01.2018
15:13:22
ну вот сколько не разворачивал го-карбон - нет там задержек... кеширование есть, а задержек нет
Sergey
11.01.2018
15:13:35
так вот, в одной из графан дискретность - одна минута, во второй - 10 сек (такая у метрик дискретность и есть)
речь не о задержках, а о минимальном шаге метрик по времени
Sergey
11.01.2018
15:15:06
эээ т.е. метрика пишется с шагом 10 сек а рисуется с шагом 60?
Alexander
11.01.2018
15:15:49
Версии графаны одинаковые? Что-то похожее для прометея проскакивало при миграции 4.6.0 -> 4.6.3
Sergey
11.01.2018
15:17:07
если рисуется с шагом в 10 но обновления происходят раз в 60 то это настройка кеширования в даше, если 10 в 60 сохраняется - надо править storage-schemas.conf
Sergey
11.01.2018
15:17:53
Посмотри запросы к api
спасибо за наводку.
посмотрел логи карбон-апи, там есть в decoded response параметр steptime, он равен 60.
сейчас попробую найти, откуда он берётся
Sergey
11.01.2018
15:19:20
видимо я не вкурил в вопрос :)
Alexander
11.01.2018
15:19:22
Можно проверить - поставить max data points больше ширины эрана, 10000, например.
Sergey
11.01.2018
15:21:55
Sergey
11.01.2018
15:29:13
раз тут всплыл графит :) может напомнит кто как ваять (и можно ли) запрос в который подставляется серия из другого запроса...
что то такое делал но больше полугода прошло - забыл
Evgeny
11.01.2018
15:41:54
Sergey
11.01.2018
15:50:12
Anatoly
11.01.2018
17:20:32
подскажите, как графана алерт работает на графе с несколькими графиками в случае если хочется чтобы при no data был все же алерт. а то есть подозрение что ему нужно полное отсутствие даты чтобы он алертил а так не хочется.
Nikita
11.01.2018
17:39:26
А кто нибудь настраивал blackbox exporter для прома? Я сделал через релейблинг как в Гите у них. И если из таргетов прома перейти, то отдается probe success 1, а в графиках 0. Как то можно посмотреть с какими реально урлами дёргает пром экспортёры? В дебаге не логирует
Google
Andor
11.01.2018
17:40:14
Посмотри все метрики по таргету и проверь
Nikita
11.01.2018
17:42:18
Ну я вижу что это не они. Я просто не могу понять как он вызывает и почему из ui ок
Ну во всяком случае время отклика другое рисует тоже
Vladimir
11.01.2018
18:01:38
У карбонапи есть ручка /info/?target=metric
Она отдаст метаданные файлов как есть
Ручка не умеет Глобы в текущей реализации
Sergey
11.01.2018
18:57:40
Vladimir
11.01.2018
18:58:30
/metrics/list/?format=json (или протобуф)
И /metrics/details/?format=json
Первая даст список всех метрик
Вторая информацию о размере, когда созданы, когда запрашивались
Andrew
11.01.2018
19:00:41
А подскажите по выводу в графане.
Есть Прометей с метриками, в каждой метрике есть Лейба, с именем хоста.
На дашборде я сделал темплейт переменной по запросу - label_values(instance)
Соответственно в запрос графика запихнул $host.
Тут возникает проблема:
Если делать multivalue - графиков строится несколько для кждого хоста, НО имя каждой метрики в легенде сливается воедино, например:
host1,host2,host3_guest_cpu_vm (те сколько хостов выбрано). Соответственно фиг поймешь, какой график к каком хосту относится.
Что-то не могу придумать что с этим можно сделать.
Запрос вида например:
netdata_apps_cpu_cpu_time___average{chart="apps.cpu",dimension="VMs",family="cpu",instance=~"$host",job="netdata-scrape"}
Sergey
11.01.2018
19:02:37
Vladimir
11.01.2018
19:04:21
Sergey
11.01.2018
19:05:52
Vladimir
11.01.2018
19:10:05
Alexander
11.01.2018
19:11:51
А подскажите по выводу в графане.
Есть Прометей с метриками, в каждой метрике есть Лейба, с именем хоста.
На дашборде я сделал темплейт переменной по запросу - label_values(instance)
Соответственно в запрос графика запихнул $host.
Тут возникает проблема:
Если делать multivalue - графиков строится несколько для кждого хоста, НО имя каждой метрики в легенде сливается воедино, например:
host1,host2,host3_guest_cpu_vm (те сколько хостов выбрано). Соответственно фиг поймешь, какой график к каком хосту относится.
Что-то не могу придумать что с этим можно сделать.
Запрос вида например:
netdata_apps_cpu_cpu_time___average{chart="apps.cpu",dimension="VMs",family="cpu",instance=~"$host",job="netdata-scrape"}
А есть скриншот графика?
Andrew
11.01.2018
19:12:32
Сделаю.
Google
Vladimir
11.01.2018
19:14:11
Andrew
11.01.2018
19:22:21
вот получается в имени каждой метрики для каждой "полосы" графика - по два выбранных хоста
Alexander
11.01.2018
19:24:26
Andrew
11.01.2018
19:24:27
я использую Legend format, для человекочитаемого вида в легенде
Alexander
11.01.2018
19:24:46
Andrew
11.01.2018
19:25:18
жесть короче какая-то.
А без legend format дичь получается нечитаемая...
а от multivalue отказываться совсем не хотелось бы
НАШЕЛ!
https://prometheus.io/docs/visualization/grafana/#creating-a-prometheus-graph
Алексей
11.01.2018
19:41:44
ты всё это время искал {{host}} и такое вот ?
Andrew
11.01.2018
19:42:47
ну какое все, полчаса? )
Алексей
11.01.2018
19:43:23
:) я зачем то думал что это прям очевидно там
Andrew
11.01.2018
19:44:01
может туплю под ночь уже ))
не сразу пришла мысль о темплейтинге в этом поле :)
энивей, размышления вслух помогли как всегда, такшта спасибо всем кто слушал :D
Алексей
11.01.2018
19:44:37
работа уточки выполнена.
погладь уточку.
Andrew
11.01.2018
19:45:13
гладь-гладь.
Идет? )
коллеги, а вот такой вопрос.
Какое решение можно использовать в качестве longterm storage tsdb, т.е. то, куда можно сливать метрики из Прома, для хранения в течение года например.
Я нашел пока только SOP и ChronixDB
Google
Matvey
12.01.2018
07:20:18
influxdb?
Andrew
12.01.2018
07:21:11
он лучше прометея для длительного хранения?
Andrew
12.01.2018
07:22:23
Artem
12.01.2018
07:23:27
бытует мнение что influxdb можно держать там, где данные не сильно важны ?
т.е. ты их можешь потерять
Andrew
12.01.2018
07:23:38
как можно разочаровать, если ты не очарован? :)
Я просто ищу подходящий инструмент.
Пром мне подходит полностью для краткосрочного мониторинга, но хочется куда-то архивировать метрики для хранения и возможности доступа туда, в идеале из графаны.
Andrew
12.01.2018
07:24:18
т.е. ты их можешь потерять
ну вот да
потерять их можно
но например
я храню логи
и лью из логов в инфлюкс
если я потеряю данные в инфлюкс я их перезалью для меня не страшно
Max
12.01.2018
07:24:27
Andrew
12.01.2018
07:26:46
вроде как прометей 2+ умеет в долгосрочное хранение
Matvey
12.01.2018
07:28:17
не умеет
Vladimir
12.01.2018
07:28:47
Andrew
12.01.2018
07:29:14
ну я запустил пром2, только у них в доке прямо пришется:
Again, Prometheus's local storage is not meant as durable long-term storage.
https://www.percona.com/live/e17/sessions/using-prometheus-with-influxdb-for-metrics-storage
Nklya
12.01.2018
07:35:58
Судя по картинке, я уж подумал, что инфлюкс теперь ещё и рисует))
Matvey
12.01.2018
07:36:30
как ван гог, ога
таймсириесимпрессионизм