@youngbluesman будет жить. Поприветствуем!

Здравствуйте! Всем здоровья! У меня не хвадает опыта обращения с графаной, поэтому ищу помощи добрых людей.

Есть куча индексов в elasticticsearch, в них кладутся структурированные журналы из .Net микросервисов: есть поле @log_name со значениями *.dotnet и поле elapsedMilliseconds. Подключаюсь к индексам графаной с маской *-production-*. Никак не могу понять, как разделить графики в графане по имени лога, чтобы вывести на одном графике время ответа всех микросервисов.

Любая помощь, будет полезной.

У тебя интервал времени выбран 6 секунд, это ок?

Вообще вроде выглядит норм. Выбери другой интервал, если не поможет - смотри на запрос в query inspector, попробуй руками в эластике его выполнить.

ну вот щас выбрано 6 часов :)

Ну вот делаю без группировки и все видно )-:

А так, все исчезает )-:

Вообще вроде выглядит норм. Выбери другой интервал, если не поможет - смотри на запрос в query inspector, попробуй руками в эластике его выполнить.

Вообще, только развернули систему журналирования, подняли прометея, вот пытаюсь вытащить из журналов графики, а примитвов не знаю. Объясни, пожалуйста, как взять запрос из QI и выполнить на эластике?

Вот этот запрос взять и тупо отправить эластику?

Кстати, хотел сказать, что я полюбил метрики и возненавидел их одновременно (-:

Это как подпол с тараканами вскрыть

это особенности эластика, а не метрик вообще

ой, криво как там оказывается... тело запроса это второй object в строчке data, в нем первое поле size ещё, вот его скопипастить и curl'ом отправить в http://elasticsearch:9200/*-production-*/_search

А альтернативам Эластика пока нет? Знаю про Clickhouse, но интересно, есть ли что-то ещё, что не требует тонну памяти и CPU, а также, чтобы community было.

прометеус?

Эластик для журналов.

Прометей для метрик.

Прометеем невозможно собрать время выполнения каждого запроса в приложении, а логами можно.

тогда наверное splunk?

Что я и сделал.

Но теперь надо вывести это на график и я смотрю, как баран на новые ворота.

На графану.

можешь ещё kibana рядом завести, она чуть удобнее для эластика

тебе на графике надо "время выполнения каждого отдельного запроса"?

Да есть у меня кибана, мне графики нужны.

а в кибане нормально с группировкой по terms @log_name?

тебе на графике надо "время выполнения каждого отдельного запроса"?

Да, с разложением по отдельным сервисам.

вот прямо каждого отдельного или всё-таки график?

У меня есть поле с миллисекундами, таймштамп и поле с названием сервиса, мне надо вывести на одном графике сколько отвечал каждый сервис, чтобы понять как связаны между собой времена ответа.

есть гипотиза что @log_name в мэппинге указан как analyzed, и поэтому в графане terms может глючить, хотя я нифига не уверен что он может глючить именно таким образом... повторяю свой вопрос про группировку на вкладке visualize в kibana :)

Там у меня вообще ничего не получается

Может книжка есть или курс?

О! Все! Всем спасибо!

Действительно, стоило зайти в visualize и кибана мне просто не дала выбрать неправильное значение.

Надо было добавить .keyword

Это я только вступил в Церковь Метрик, что же дальше-то пойдет?

Это я только вступил в Церковь Метрик, что же дальше-то пойдет?

Дальше можно занести и прочитать https://www.practicalmonitoring.com

А заносить обязательно?

А то я занесу, а там про нагиос (-:

Беднее не станешь

Sergey Ovchinnikov будет жить. Поприветствуем!

influxdata/telegraf was tagged: 1.8.0 Link: https://github.com/influxdata/telegraf/releases/tag/1.8.0 Release notes: Telegraf 1.8.0

influxdata/telegraf was tagged: 1.8.0 Link: https://github.com/influxdata/telegraf/releases/tag/1.8.0 Release notes: Arch Platform Package SHA256 amd64 Debian [`telegraf_1.8.0-1_amd64.deb`](https://dl.influxdata.com/telegraf/releases/telegraf_1.8.0-1_amd64.deb) `f1a8cf143ba259a1464736f1337b0286d2d1fee60481a06c6d2e0d6098c3f057` amd... More

а лоадтесты пробовали на сервис пускать?

ERROR: S client not available

привет. а netclass collector вообще существует?) в списке коллекторов в help его не вижу, а на github описан

а то вдруг окажется что еластик не может тонну джсон логов переварить ) у меня такое было

а лоадтесты пробовали на сервис пускать?

Да, вот я сделал агрегацию журналов в эластик и мы увидели странные задержки, поэтому я начал раскуривать мониторинг, а ребята написали простую грузилку. Начали стрелять по нашему сервису и поняли, что метрики не хватает, теперь думаю как быть.

Я собираю логи через драйвер докера fluentd.

Настроил стандартный вывод в json, при помощи библиотеки NLog

Грузилки давно написаны - tank\wrk\vegeta (jmeter для гурманов). Хочется метрик - лучше в приложение метрики воткнуть. Либо на ингрес контроллер\балансер. В том же nginx-vts есть метрики, в том числе и латенси по апстриму, хотя оно там специфическое. Строить метрики на базе json логов и Elastic - дорогое удовольствие имхо.

@largelos будет жить. Поприветствуем!

@Tazik_Evtanazik будет жить. Поприветствуем!

@O_Litvinov будет жить. Поприветствуем!

@BYSlant будет жить. Поприветствуем!

@gimpelgram будет жить. Поприветствуем!

Последнее время я очень много работал с datadog

Но он достаточно много денег кушает

И хочется свой он прем

Последнее время я очень много работал с datadog

А чем кормил датадога в основном?

У него есть агент куда можно кормить все что угодно, начиная с жавы и логов до своих всяких метрик

В основном это были числа для построения графиков

@burlakasv будет жить. Поприветствуем!

В основном это были числа для построения графиков

grafana

docs

Думаю посижу пока с Прометеем, хочу в него писать логи из nginx, java, syslog, flowlogs + некоторые алерты сделать, посмотреть как будет это работать

Не надо в Прометея логи писать, он под метрики заточен

Думаю посижу пока с Прометеем, хочу в него писать логи из nginx, java, syslog, flowlogs + некоторые алерты сделать, посмотреть как будет это работать

Прометей под метрики (как и Церковь) - быть тебе адептом Церкви, а логи обычно складывают в эластик

Не надо в Прометея логи писать, он под метрики заточен

ну если только он из логой не делает метрики

если логи пережевали в метрики, то это уже не логи, а метрики =)