Логи в json и пихаете в ластик хоть палкой

как и любой саас

а что ты вкладываешь такого дополнительного в слово "решение" что вдруг SaaS'ы туда перестают попадать, в то время как десятки тысяч компаний в мире видят это по другому

человеку надо было флюент настроить, а не запилить себе окметер

а, в этом частом случае. понял.

вообще я имел в виду, что неужели в гугле не находятся сотни статей о настройке fluentd для парсенья логов нжинкса

Я слишком долго уже ищу. Видимо, просто не знаю, как называется то, что мне нужно.

https://docs.fluentd.org/v0.12/articles/parser_nginx

не то?

не то?

Нет. Там же два разных format получается. Если я access настраиваю, то получаю pattern not match with data для error

ну сделай два парсера

ну сделай два парсера

В этом и вопрос)

я не гуру флюентд, но проблем не вижу

https://docs.fluentd.org/v0.12/articles/common-log-formats

видимо нужно несколько source указать

ну сделай два парсера

Попробовал fluent-plugin-multi-format-parser. То, что нужно.

а теперь след. вопрос: данные отдаются с дискретностью в минуту - это где-то захардкожено? сыплются они туда с дискретностью в 10 секунд

есть подозрение (т.к. ты не первый кто на такое поведение натыкаешься :) ) что это графана :)

там кеширование по умолчанию 60 сек

у меня две графаны и два стека (один на го-карбоне, второй на графите)

мягкая миграция, так сказать

и данные сейчас одни и те же в оба места летят

ну вот сколько не разворачивал го-карбон - нет там задержек... кеширование есть, а задержек нет

так вот, в одной из графан дискретность - одна минута, во второй - 10 сек (такая у метрик дискретность и есть)

речь не о задержках, а о минимальном шаге метрик по времени

эээ т.е. метрика пишется с шагом 10 сек а рисуется с шагом 60?

так вот, в одной из графан дискретность - одна минута, во второй - 10 сек (такая у метрик дискретность и есть)

Посмотри запросы к api

Версии графаны одинаковые? Что-то похожее для прометея проскакивало при миграции 4.6.0 -> 4.6.3

если рисуется с шагом в 10 но обновления происходят раз в 60 то это настройка кеширования в даше, если 10 в 60 сохраняется - надо править storage-schemas.conf

Посмотри запросы к api

спасибо за наводку. посмотрел логи карбон-апи, там есть в decoded response параметр steptime, он равен 60.

сейчас попробую найти, откуда он берётся

видимо я не вкурил в вопрос :)

сейчас попробую найти, откуда он берётся

Графана автоматически рассчитывает на основе ширины панели и временного интервала

Можно проверить - поставить max data points больше ширины эрана, 10000, например.

Графана автоматически рассчитывает на основе ширины панели и временного интервала

это да, там в datasource улетает соответствующий параметр.

раз тут всплыл графит :) может напомнит кто как ваять (и можно ли) запрос в который подставляется серия из другого запроса... что то такое делал но больше полугода прошло - забыл

сейчас попробую найти, откуда он берётся

defaultTimeoutSec: 60 -не оно ? в /etc/carbonapi/carbonapi.yaml

defaultTimeoutSec: 60 -не оно ? в /etc/carbonapi/carbonapi.yaml

нет, это же не шаг

подскажите, как графана алерт работает на графе с несколькими графиками в случае если хочется чтобы при no data был все же алерт. а то есть подозрение что ему нужно полное отсутствие даты чтобы он алертил а так не хочется.

А кто нибудь настраивал blackbox exporter для прома? Я сделал через релейблинг как в Гите у них. И если из таргетов прома перейти, то отдается probe success 1, а в графиках 0. Как то можно посмотреть с какими реально урлами дёргает пром экспортёры? В дебаге не логирует

Посмотри все метрики по таргету и проверь

Ну я вижу что это не они. Я просто не могу понять как он вызывает и почему из ui ок

Ну во всяком случае время отклика другое рисует тоже

нет, это же не шаг

У тебя схема не применяется почему то

У карбонапи есть ручка /info/?target=metric

Она отдаст метаданные файлов как есть

Ручка не умеет Глобы в текущей реализации

У тебя схема не применяется почему то

Cпасибо! Cамое оно и оказалось, в темплейте конфигурации пропустил подставить instance_name в schemas-file.

Cпасибо! Cамое оно и оказалось, в темплейте конфигурации пропустил подставить instance_name в schemas-file.

В го карбон есть пара полезных ручек (увы в апи не доступны)

/metrics/list/?format=json (или протобуф)

И /metrics/details/?format=json

Первая даст список всех метрик

Вторая информацию о размере, когда созданы, когда запрашивались

А подскажите по выводу в графане. Есть Прометей с метриками, в каждой метрике есть Лейба, с именем хоста. На дашборде я сделал темплейт переменной по запросу - label_values(instance) Соответственно в запрос графика запихнул $host. Тут возникает проблема: Если делать multivalue - графиков строится несколько для кждого хоста, НО имя каждой метрики в легенде сливается воедино, например: host1,host2,host3_guest_cpu_vm (те сколько хостов выбрано). Соответственно фиг поймешь, какой график к каком хосту относится. Что-то не могу придумать что с этим можно сделать. Запрос вида например: netdata_apps_cpu_cpu_time___average{chart="apps.cpu",dimension="VMs",family="cpu",instance=~"$host",job="netdata-scrape"}

Вторая информацию о размере, когда созданы, когда запрашивались

Спасибо! Правда, навскидку юзкейсы не приходят в голову, но думаю, что всё ещё впереди.

Спасибо! Правда, навскидку юзкейсы не приходят в голову, но думаю, что всё ещё впереди.

Мы ищем тех кто пишет но не читает

Мы ищем тех кто пишет но не читает

Чтобы спросить что-то типа "у тебя там сервис метрик понаписал, они вообще нужны"?

Чтобы спросить что-то типа "у тебя там сервис метрик понаписал, они вообще нужны"?

Статистику считаем. Кто сколько понаписал, куда, как давно писал, как давно создал, как давно читал

А подскажите по выводу в графане. Есть Прометей с метриками, в каждой метрике есть Лейба, с именем хоста. На дашборде я сделал темплейт переменной по запросу - label_values(instance) Соответственно в запрос графика запихнул $host. Тут возникает проблема: Если делать multivalue - графиков строится несколько для кждого хоста, НО имя каждой метрики в легенде сливается воедино, например: host1,host2,host3_guest_cpu_vm (те сколько хостов выбрано). Соответственно фиг поймешь, какой график к каком хосту относится. Что-то не могу придумать что с этим можно сделать. Запрос вида например: netdata_apps_cpu_cpu_time___average{chart="apps.cpu",dimension="VMs",family="cpu",instance=~"$host",job="netdata-scrape"}

А есть скриншот графика?

Сделаю.

Чтобы спросить что-то типа "у тебя там сервис метрик понаписал, они вообще нужны"?

Мы ещё строили флеймграфы по неймспейсам

вот получается в имени каждой метрики для каждой "полосы" графика - по два выбранных хоста

вот получается в имени каждой метрики для каждой "полосы" графика - по два выбранных хоста

А если в alias только нужный лейбл оставить?

я использую Legend format, для человекочитаемого вида в легенде

я использую Legend format, для человекочитаемого вида в легенде

А что там?

ERROR: S client not available

жесть короче какая-то. А без legend format дичь получается нечитаемая...

а от multivalue отказываться совсем не хотелось бы

НАШЕЛ!

https://prometheus.io/docs/visualization/grafana/#creating-a-prometheus-graph

ты всё это время искал {{host}} и такое вот ?

ну какое все, полчаса? )

:) я зачем то думал что это прям очевидно там

может туплю под ночь уже )) не сразу пришла мысль о темплейтинге в этом поле :)

энивей, размышления вслух помогли как всегда, такшта спасибо всем кто слушал :D

работа уточки выполнена.

погладь уточку.

гладь-гладь. Идет? )

коллеги, а вот такой вопрос. Какое решение можно использовать в качестве longterm storage tsdb, т.е. то, куда можно сливать метрики из Прома, для хранения в течение года например. Я нашел пока только SOP и ChronixDB

influxdb?

он лучше прометея для длительного хранения?

он лучше прометея для длительного хранения?

боюсь вас разочеровать но от инфлюкса все плюются все его хейтят и он сильно багованный но я в использовании его на мелких нагрузках, не вижу минусов

бытует мнение что influxdb можно держать там, где данные не сильно важны ?

т.е. ты их можешь потерять

как можно разочаровать, если ты не очарован? :) Я просто ищу подходящий инструмент. Пром мне подходит полностью для краткосрочного мониторинга, но хочется куда-то архивировать метрики для хранения и возможности доступа туда, в идеале из графаны.

т.е. ты их можешь потерять

ну вот да потерять их можно но например я храню логи и лью из логов в инфлюкс если я потеряю данные в инфлюкс я их перезалью для меня не страшно

как можно разочаровать, если ты не очарован? :) Я просто ищу подходящий инструмент. Пром мне подходит полностью для краткосрочного мониторинга, но хочется куда-то архивировать метрики для хранения и возможности доступа туда, в идеале из графаны.

посижу, послушаю советов бывалых :)

как можно разочаровать, если ты не очарован? :) Я просто ищу подходящий инструмент. Пром мне подходит полностью для краткосрочного мониторинга, но хочется куда-то архивировать метрики для хранения и возможности доступа туда, в идеале из графаны.

с инфлюксом возможно огрести больше проблем чем плюсов)

вроде как прометей 2+ умеет в долгосрочное хранение

не умеет

вроде как прометей 2+ умеет в долгосрочное хранение

Он умеет дать кому нибудь данные для хранения. Но адаптеров пока кот наплакал

ну я запустил пром2, только у них в доке прямо пришется: Again, Prometheus's local storage is not meant as durable long-term storage.

Он умеет дать кому нибудь данные для хранения. Но адаптеров пока кот наплакал

вооот, я к этому же пришел (

https://www.percona.com/live/e17/sessions/using-prometheus-with-influxdb-for-metrics-storage

Судя по картинке, я уж подумал, что инфлюкс теперь ещё и рисует))

как ван гог, ога

таймсириесимпрессионизм