оно универсальное

Ну, если я надеюсь не парсить логи массово, а только nginx

ггг

Я верю в чудеса

Хм ... кто-то заводил https://github.com/martin-helmich/prometheus-nginxlog-exporter ? Эту штуку можно научить отдавать путь и я просто неправильно пишу логи или таки нельзя?

блин, оно выглядит небыстро вообще

может взять VTS?

может взять VTS?

lua же

Небыстро это всмысле? Оно же парсить логи

Или логи пишутся медленее, чем хранить данные в самом nginx в lua?

а тебе их надо парсить после ротации чтоли ?

telegraf пишет время с +0000 UTC. Можно ли сделать, чтобы бралось локальное время?

Правильно ли Я понимаю, что такое не предусмотрено? https://github.com/influxdata/telegraf/issues/3462

Или тогда, кто использует kapacitor, выводить время в нужной временной зоне?

Зачем?

Или тогда, кто использует kapacitor, выводить время в нужной временной зоне?

Не выйдет получается https://github.com/influxdata/kapacitor/issues/1709

Это очень плохая идея, что мешает собирать в UTC, а отображать уже в каком угодно часовом поясе?

Даже Z это вроде бы умеет.

Это очень плохая идея, что мешает собирать в UTC, а отображать уже в каком угодно часовом поясе?

+1

Ребят, привет, тоже похоже вопрос про таймзону. Есть прометей, расположен на хосте с utc. С самых первых дней жизни все было нормально, и на дашборде прома все отображалось нормально по моему времени utc+3. Были настроены дашборжы графаны и по ним работал тыщу лет. Щас захожу - вижу no data, и все данные как выясняется теперь на три часа назад показываются. Что я мог задеть? Куда копать?

Ребят, привет, тоже похоже вопрос про таймзону. Есть прометей, расположен на хосте с utc. С самых первых дней жизни все было нормально, и на дашборде прома все отображалось нормально по моему времени utc+3. Были настроены дашборжы графаны и по ним работал тыщу лет. Щас захожу - вижу no data, и все данные как выясняется теперь на три часа назад показываются. Что я мог задеть? Куда копать?

А данные через графану смотрите? Таймзона на локальной машинке не менялась?

На локальной вплане которая моя рабочая? Вроде бы нет

Ща проверю

настройку дашборды мог задеть, но тогда тебе б в углу нарисовали, что время utc

ну графана может и по часам локальной машины и по тому что с сервера литит, там галочка где то есть

настройку дашборды мог задеть, но тогда тебе б в углу нарисовали, что время utc

ага, как раз по дефолту локальное время или utc, прометей в utc собирает я думаю

Да спасибо ребят

Почему то оказался в сирии

?

Мой пк

? Ну тут пол страны в сирии сейчас)

кто-то шарит за rsyslog парсинг csv из сообщения?

берешь строку из сислога и получаешь csv с пробелами.

кто-то шарит за rsyslog парсинг csv из сообщения?

liblognorm тебе нужен

(если я правильно понял) искать отсюда - https://github.com/rsyslog/liblognorm

ломает мозг, но чрезвычайно увлекательно.

суть в чем, у меня в теге передается инфа с разделителем

хочу взять первую часть до разделителя

пихнуть в переменную

и засунуть в темплейт

мозг уже сломал с местными конфигами

а есть ваще смысл тестить syslog-ng vs rsyslog?

а есть ваще смысл тестить syslog-ng vs rsyslog?

нет. и ничего такого в конфигах рсислога нету, чтобы прям в ниасиляторы себя записывать.

только это опять же не про метрики

сори за оффтоп конешн. хз где еще спросить-то. в syslog-ng это ваще просто делается: parser pa_docker_tag { csv-parser( columns( "IMAGE_NAME", "CONTAINER_NAME", "CONTAINER_ID" ) delimiters("|") flags(escape-none) template("${MSGHDR}") ); };

да и вообще близко к метрикам. я логи гоню, что бы из них метрики сделать

Логи надо писать в Z, это индустриальный стандарт)))

Логи надо писать в Z, это индустриальный стандарт)))

куда?

куда?

Это запретное слово в этом чате (zabbix).

хахахах

короч вот так: property(name="syslogtag" field.delimiter="124" field.number="1")

А кто-то юзал телеграф для экспорта метрик в Пром?

@freeseacher точно использует

Странная тема. Простой кейс - включил output для Прома, включил input для сбора smart данных дисков. Локальный —test проходит отлично, все отдается. Если курлим метрики из Прома - расширенный смарт туда не отдается, а только exit status

Там вроде надо акуратно подбирать версию, так как могут ломать иногда

Ну я взял 1.5.2

А, кажется нашел https://github.com/influxdata/telegraf/issues/3737

Пля, действительно ж ?‍♂️

А кто-то юзал телеграф для экспорта метрик в Пром?

кто-то явно юзал

но у него довольно часто бывают странные минорные проблемы

ну ты уже сам всё нашёл кажется

s/минорные/в минорных релизах/

Решение - выбрать для себя точно работающую версию и не обновляться :D

ERROR: S client not available

ну если тебе нужен именно смарт, то может есть специализированный экспортер?

https://github.com/prometheus/node_exporter/issues/473

Хм-хм

Всем привет! А по графане кто нибудь может подсказать? У неё какой то свой наркоманский синтаксис запросов? как то странно он работает...

на запрос HTTP\/1\.0\" 200 попало HTTP/1.0" 304

это не графана

а в кибане, вероятно, язык от lucene

Всем привет! А по графане кто нибудь может подсказать? У неё какой то свой наркоманский синтаксис запросов? как то странно он работает...

Привет. @Andorka правильно подсказал — es это про lucene.

на запрос HTTP\/1\.0\" 200 попало HTTP/1.0" 304

А если экранировать пробел перед 200? Похоже что по ИЛИ поиск срабатывает.

И вообще, можно тут спросить elasticsearch_ru =)

кажется надо просто в кавычках написать

"HTTP/1.0\" 200"

а зачем загонять логи в эластик но при этом не разбивать их по полям?

чтобы проц на регекспах кончался

потому что "мы логи логстешом в эластик сёрч собираем и у нас всё круто"

это не графана

блин )) да, оговорочка ))

"HTTP/1.0\" 200"

ругается Discover: token_mgr_error: Lexical error at line 1, column 18. Encountered: <EOF> after : ""

Там вроде надо акуратно подбирать версию, так как могут ломать иногда

я не подбираю. но сначала вытаскиваю на stage и смотрю чо как

ругается Discover: token_mgr_error: Lexical error at line 1, column 18. Encountered: <EOF> after : ""

Ну я хз, почитай про их язык запросов

а зачем загонять логи в эластик но при этом не разбивать их по полям?

это как? и зачем?

всем привет.

бывает ситуация, когда по какой-то причине меняется имя хоста. есть какие-нибудь средства, кроме консула какого-нибудь, чтобы это отловить?

Понимаешь разницу между grep something и awk '$4 ~ /something/'?

и чтобы можно было достоверно сгенерировать алерт о том, что хост переехал на новый адрес

новый адрес или новое имя?

имя, в данном случае.

в node_exporter было бы здорово добавить какой-нибудь uuid, мне кажется

избегайте таких ситуаций :)

стараюсь, но никогда не было и вот опять

uuid может стать другим при определенных обстоятельствах... ничто не вечно