У меня есть логи из приложения в таком формате: {"remote address": "127.0.0.1", "forwarded_for": "127.0.0.1, 127.0.0.1", "username": "-", "request method": "GET", "path": "/path1/path2/path3/", "query": "", "protocol": "HTTP/1.0", "status": "200", "response lenght": "4667", "refferer": "-", "user agent": "Go-http-client/1.1", "request time": "0.035766", "timestamp": "[27/Aug/2018:08:12:22 +0000]"} Которые я отправляю в rsyslog под тегом my-app-704, следовательно, дальше я хотел бы домиксовать пару тегов типо hostname, tag и отправить это все чудо в elsaticsearch. Думаю, фильтр по тегу вполне могу использовать, так как похоже не будет. Ну и так как у меня не очень есть опыт в rsyslog, в целом застрял аж на фильтрации :)

Ну и вопрос в том, можешь ли подсказать, пожалуйста, как вытащить из json поля и запихнуть их в es? Для второго, как я понимаю, вполне подойдет этот гайд: https://www.rsyslog.com/rsyslog-and-elasticsearch/

Навскидку и скоренько: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/system_administrators_guide/s1-structured_logging_with_rsyslog

Ну и вопрос в том, можешь ли подсказать, пожалуйста, как вытащить из json поля и запихнуть их в es? Для второго, как я понимаю, вполне подойдет этот гайд: https://www.rsyslog.com/rsyslog-and-elasticsearch/

Более полный вариант - https://www.rsyslog.com/doc/v8-stable/configuration/modules/omelasticsearch.html

Здесь как раз добавление разных полей

А вот модуль, который сделает из прилетевшего сообщения набор полей: https://www.rsyslog.com/doc/v8-stable/configuration/modules/mmjsonparse.html

а rsyslog может одновременно писать в файл и в эластик?

да, достаточно просто указать ему два модуля output

Класс, простой перезапуск rsyslog поломал все. Люблю убунту

Класс, простой перезапуск rsyslog поломал все. Люблю убунту

Для продакшн-использования есть другие дистрибутивы 😊

Нет, не говори CentOS

Нет, не говори CentOS

<younameit> 😊

Хотя мне реально интересно, как я смог поломать syslog перезапуском ...

Хотя мне реально интересно, как я смог поломать syslog перезапуском ...

Что-нибудь было куда-нибудь проброшено?

сокеты?

.....ибо в /run временные каталоги могут управляться systemd'шным скриптом.

Что-нибудь было куда-нибудь проброшено?

/dev/log сокет вообще занят journald, я так и не могу вкурить как оно работает)

Там еще забавная история с тем, что оно при помощи какой-то матери дублирует логи в journald и в syslog, хотя journald явно не указано "дублируйся в syslog"

в конфиге rsyslog присутствует модуль "imjournal"

https://www.rsyslog.com/doc/v8-stable/configuration/modules/imjournal.html

Пиитер лучший город правда не каждый может там жить

Я тут на выходные в Москву съездил, впечатлило очень-очень. Уличный фестиваль "времена и эпохи" с реконструкторами по всему бульвару прямо в центре Столицы, с кучей разного интерактива - такое врятли где встретишь.

Я тут на выходные в Москву съездил, впечатлило очень-очень. Уличный фестиваль "времена и эпохи" с реконструкторами по всему бульвару прямо в центре Столицы, с кучей разного интерактива - такое врятли где встретишь.

Ну москва преобразилась но в этом городе жить еще то развлечение

По конструкции rsyslog похож на iptables - модули входа, модули преобразования, модули выхода. Есть ещё несколько служебных, но на общую конструкцию это не влияет.

Хм ... ладно, а что я тут делаю не так? if $syslogtag == "my-app:" then { action(type="omfile" file="/var/log/my-app.log") } И в syslog оно попадает с тегом my-app вроде ... Но в файл ничего не пишется(

А, ясно, load не сделал(

Хотя это все равно не очень помогло, фильтр так и не срабатывает)

потому что убери двоеточие 😊

как минимум

Все равно не помогло :( Теперь выглядит как-то так

if ($syslogtag == "my-app") then { action(type="omfile" file="/var/log/my-app.log") stop }

Даже $programname startswith 'my' не помогает :)

Что-то у меня даже action без условий не работает, как обычно :(

эй, адепты zsh, я тут решил попробовать заюзать сие поделие, как вырубить этот сраный auto complete в виде переключения табами по паттернам?

пусть бы оно тупо листинг показывало ("как у всех")

Хуяссе, а зачем его выключать?

➜ ~ uptime 13:54 up 41 days, 22:04, 3 users, load averages: 2.03 2.21 2.37 ➜ ~ s !! ➜ ~ s uptime 13:54 up 41 days, 22:04, 3 users, load averages: 2.03 2.21 2.37 ➜ ~ а еще такое можно вырубить?

т.е. без подтверждения выполнять

О_о

Яннп

Хуяссе, а зачем его выключать?

затем что он сбивает меня… вводишь do<tab> он уже тебе переносит твой "курсор" на всевозможные варианты, мне же надо тупо листинг, я сам допишу что мне надо

иначе теряется время на прощелкивание не нужных вариантов команд

".zshrc" 104L, 3345C written ➜ ~ source !$ ➜ ~ source .zshrc ➜ ~ и вот это бесит

иначе теряется время на прощелкивание не нужных вариантов команд

у меня по первому табу делает листинг, по второму уже перебирает

"любая другая" оболочка выполнит эту команду source !$, а тут zsh отобразит ее и попросит подтвердить ее

у меня по первому табу делает листинг, по второму уже перебирает

можно этот перебор вырубить совсем?

я не понял на кой ляд тебе zsh

дерзко броско молодежно

Единственная фишка zsh — в безумных конфигах автодополнения

мда, похоже, придется привыкать к этому "нововведению" в моей жизни

чтоб вы понимали насколько я староёб % echo $SHELL /bin/tcsh

так оно ж дает листингпо табу

% alias | wc -l 137

так оно ж дает листингпо табу

ну когда ты вместо одного таба стукнул пару раз, то все пропало))

чтоб вы понимали насколько я староёб % echo $SHELL /bin/tcsh

uname -a | grep -i bsd

да, привычка с bsd осталась, а так и на маках и в луниксах работает…

.tcshrc* .tcshrc.DragonFly* .tcshrc.FreeBSD* .tcshrc.Linux .tcshrc.alias* .tcshrc.bind* .tcshrc.bindkey* .tcshrc.complete* .tcshrc.orig* .tcshrc.pysave* .tcshrc.set* .tcshrc.user*

ну когда ты вместо одного таба стукнул пару раз, то все пропало))

надо меньше нервничать и не долбить по табу )

ну тут дело привычки, и скорость)

"любая другая" оболочка выполнит эту команду source !$, а тут zsh отобразит ее и попросит подтвердить ее

Also Alt + . can be used to recall the last argument of any of the previous commands.

а вот к correctall привык 🙂

не не не, нафиг эти хоткеи...

а кто какие темы юзает?)

Кстати, раз уж речь зашла про рсислог, кто нибудь там как то хэндлит мультистрочные сообщения?)

В инпуте опция есть, можно описать регуляркой с чего начинается мессадж

И это будет оказываться в мсг

В инпуте опция есть, можно описать регуляркой с чего начинается мессадж

Если у тбя многострочные логи разнын инстансы пишут, то они могут смиксоваться

если у тебя могу смиксоваться, то у меня плохие новости.

если у тебя могу смиксоваться, то у меня плохие новости.

Почему?) Поясни)

Это самый интересный момент

если у вас 1 мультилайн мессадж может быть прерван во время записи другим, то вы даже в структурированных логах с "длинными" сообщениями можете получить их "разрывы" и ваш парсинг будет кидаться ошибками как бы.

как бы если вы не можете "выравнивать" потоки записи. то как бы увы.

всем привет, сразу признаюсь я не сталкивался с такой вещью. Если короче, у меня spring mvc проект - локально нормально работает, но когда выложу на сервер - там не запускается (правда что root.war распакуется, но проект не стартует). Смотрю в лог, там указано: 127.0.0.1 - - [27/Aug/2018:16:48:19 +0500] "GET / HTTP/1.0" 404 - 127.0.0.1 - - [27/Aug/2018:16:48:19 +0500] "GET / HTTP/1.0" 404 - 127.0.0.1 - - [27/Aug/2018:16:48:19 +0500] "GET / HTTP/1.0" 404 - 127.0.0.1 - - [27/Aug/2018:16:48:19 +0500] "GET / HTTP/1.0" 404 - 127.0.0.1 - - [27/Aug/2018:16:52:33 +0500] "GET / HTTP/1.0" 404 -

так, что это значит, помогите пожалуйста

в лог чего смотришь?

а, смотрю в лог самого проекта, хотел спросить, есть ли какой-то лог (ну, не знаю самого tomcat) где, можно как-то детально все посмотреть из-за чего такое происходит?

catalina.out?

catalina.out?

это где-то хранится или какая-то функция или...?

это файл так называется, хранится где-то в /var/log, но зависит от того как вы запускаете ваше добро

если у вас 1 мультилайн мессадж может быть прерван во время записи другим, то вы даже в структурированных логах с "длинными" сообщениями можете получить их "разрывы" и ваш парсинг будет кидаться ошибками как бы.

Так у тебя допустим в рсислог все влетает по удп/тисипи Как там выровнен поток записи? Я как раз про это и спрашивал) как решали этц проблему)

это файл так называется, хранится где-то в /var/log, но зависит от того как вы запускаете ваше добро

спасибо всем, нашёл причину )

Так у тебя допустим в рсислог все влетает по удп/тисипи Как там выровнен поток записи? Я как раз про это и спрашивал) как решали этц проблему)

неа, там тока страдать.