меняем материнку...

а в кибане, вероятно, язык от lucene

ок. погуглю. на кибана всё равно наркоманская )) она сама же в справке предлагает пример запроса:

Не уверен, что node_exporter его подтягивает

это как? и зачем?

https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html например, вот так. Весь смысл хранения логов в ELK стеке - это хранение структурированных данных, что бы поиск по ним было проводить легче. А еще там есть маппинг, который указывает, какие поля индексировать, какие разбивать и так далее.

в запросе что у тебя на скрине, ты ищешь и http 1.0 и 200

и сама же на него выдаёт полный бред:

я как бы о том что если у нас есть ситуация что вот так легко меняется имя железки то трудно придумать что то что тоже не измениться

я как бы о том что если у нас есть ситуация что вот так легко меняется имя железки то трудно придумать что то что тоже не измениться

Полностью согласен

в запросе что у тебя на скрине, ты ищешь и http 1.0 и 200

т.е. он как две строки их понимает? а как искать такую строку целиком?

два поля скорее

Но всё равно, как 45082 может попадать в диапазон 400-499 - я не понимаю))

если это одно поле то регекспами

точнее что там в подкапотном у lucen

давно не ковырял

у тебя поле это string и рендж там ищется скорее всего лексически, а не математически

бардак((

если регуляркой, то в конце надо разделитель добавить

чтобы он 45054 не считал что подходит под 450

"http" and "200"

хотя может и нет

А вообще правильнее было поле log разбить на поля, а-ля status, url и т/д/. Тогда ты бы не испытывал таких проблем

"http" and "200"

не прокатило:

ну ты http замени на http /1.0

А вообще правильнее было поле log разбить на поля, а-ля status, url и т/д/. Тогда ты бы не испытывал таких проблем

это да. но это пока сложная задача для меня и руки до неё дойдут не скоро...

ну ты http замени на http /1.0

тоже самое

ей как то надо объяснить, что пробел тоже надо считать

вот это я пока не нарыл как сделать

в кавычках значение указывать, но экранировать внутреннюю кавычку

в кавычках значение указывать, но экранировать внутреннюю кавычку

во! спасибо! так получилось))

https://github.com/yandex/ClickHouse/releases/v1.1.54343-stable was tagged

У меня вот есть гистограмма по запросам в nginx (hist_bucket/sum/count) в prometheus, возможно, мне может кто-то подсказать, как это можно няшно отобразить в grafana?

а что ты хочешь?

Вот тут хороший вопрос) Если бы знал, то может и глупых вопросов бы не задавал)

котиков :) и 7 разных линий

перпендикулярных

Скорее всего, видить что есть какие-то проблемы или перекосы + условносреднею скорость, хотя для последнего я могу просто взять какой-то le

У меня вот есть гистограмма по запросам в nginx (hist_bucket/sum/count) в prometheus, возможно, мне может кто-то подсказать, как это можно няшно отобразить в grafana?

Мы все никак не сделаем: https://github.com/grafana/grafana/issues/10009

лентяи :)

солнце еще высоко

Скорее всего, видить что есть какие-то проблемы или перекосы + условносреднею скорость, хотя для последнего я могу просто взять какой-то le

почитай про функцию histogram_quantile

Хм ... а вот посмотреть со стороны prometheus я что-то не подумал. Спасибо)

И еще немного тупняка. Вот grafana запрашивает query_range у прома за 30 минут и получает 76, а я делаю delta(new_sentry_http_response_time_seconds_count[30m]) по той же метрике и получаю 60. Я неправильно понимаю, как работает query_range?

wat

А.... .ой

Все, до меня дошло) single stat просто берет одно значение, а в выборке много. Okay

Тогда еще немного странных вопросов. У меня есть метрика x, как можно в grafana настроить single stat так, что бы оно отображал изменения x за время, которое указано в качетсве интервала в самой grafana?

вычесть одно из другого с оффсетом?

Я не могу понять, как подставить оффсет. $__interval не то значение.

metric - metric offset $timeFilter

http://docs.grafana.org/reference/templating/#the-timefilter-or-timefilter-variable

вроде должно сработать

Не-а, для прома не работает :( Ни одной, ни другой переменной нет.

https://github.com/grafana/grafana/issues/8893 классные они

Мда

@SirEdvin хотел в этот тикет написать, а ты уже

Сейчас буду сидеть копатся, похоже способ и правда может быть

Мда, теперь мне стыдно( Можно было в single stat поставить просто delta(

Поставить-то можно, вот только результат будет мало похож на правду )

Хм .. не знаю, я глянул по прому - в целом реальный результат

Ну, у меня каунтер, поэтому вроде все нормально)

Вот именно что "вроде", посчитайте чем нибудь другим, например логами )

Ну, я считаю nginxlog экспортером. Или намекаете, что разница будет между экспортером и тем, что в проме?

Разница будет между тем что в проме и тем, что оно выдаст как результат подсчета

Даже по сырой метрике?

ERROR: S client not available

Что значит по сырой?

по выражению sentry_http_response_count_total без операций

Получить точный результат в графане практически нереально, потому что step и increase(bla[step]) должны быть равны между собой и равны точному значению тайм фрейма графаны

Можно же подкидывать свой интервал и слать графану нафиг

свой интервал можно подкинуть только в increase(metric[$interval])

а там еще есть min step

и если он будет отличаться, будет фигня

В мин степ точно можно подкинуть. В графике, так точно

мало того, если $interval != $timeFrame, будет тоже фигня

А в single stat степ не нужен просто. Он получает массив и с ним работает

Ну и для особых извращенцев есть instant запросы.

воот

а как в инстант запрос передать $interval который равен тайм фрейму графаны? )

Забить на графану и самому накрутить через templating?

ибо если они будут не равны, получится тоже фигня по факту

Я пока решил забить на прометеус для точных подсчетов )

Ибо вытащить из него точные данные почти нереально

там разброс на порядок может получаться влегкую

Ну, я пока такое поведение не получал, сложно что-то сказать.

Разве что если метрики, которые редко собираются, с ними боль

В общем пока я пришел к выводу, что точные данные можно получить, если прибивать дешборд к определенному интервалу, например, всегда смотреть данные за час

но это нереально

еще и по той причине, что increase = rate*datapoints_count )

вот это вообще жесть жестяная

вернее rate*time_frame_seconds

В общем, если хочется точных данных - кликхаус + графана )

Кстати, чувак не сдается =) https://github.com/prometheus/prometheus/issues/3806

И в продолжение моего односторннего сражения с графаной. Можно ли как-то обрезать легенду у метрики? А то у меня получаются пути слишком длинные и из-за этого пирог разрывает на куски.

{{label}} ?

то есть обрезать сам label?

Да

Вряд ли