У нас для перекладывания данных из топика в топик Кафки хотят.... Барабанная дробь. Logstash

Извращенцы

Конспект доклада "Rsyslog как я перестал бояться и полюбил обработку логов. Сергей Печенко" с DevOps Moscow New Year Party Обработка логов с помощью Filebeat и Logstash требует очень много ресурсов, лучше использовать rsyslog, который есть в каждом дистрибутиве, умеет все необходимое, работает очень быстро за счет ухода от регулярок. https://aladmit.com/summary/2018/12/25/summary-rsyslog.html

Потому что мало что делает.

Файлбит так же мало делает...

Лучше монструозный логстэш?

Filebeat + ingest. Ну и да, логстэш то мощнее, смысл сравнивать?

Считаете опросник адекватным?)

Кто ответит правильно на все вопросы? Квиз для девопс инженеров - https://goo.gl/forms/SXHxuCctUeXAYfqv1

При перелопачивании 300-400гб в сутки оч много CPU жрет

Как обычно: 1. О да, он есть везде, вот только вам нужно будет его обновить. 2. Он умеет далеко не очень все. 3. Это странная тулза из прошлого века. 4. А еще плохо мониторится

Потому что мало что делает.

Та ещё пропаганда.

А fluentd?

А fluentd?

ну ruby и в rsyslog (выше пример) используется, и в logstash'е jruby (тормоз)

Не щупал

посмотри по ссылке же, ну семен семеныч

Та ещё пропаганда.

посмотри по ссылке же, ну семен семеныч

Как там с конвертацией времени по таймзонам? Можно ли дропнуть поле без переупаковки всех полей? Ну и так далее. Правда, я верю что rsyslog очень классный, но еще я понимаю, что с ним нужно сьесть очень много разной лажи, что бы он работал так же стабильно, как, например, filebeat.

Поле достаточно не включать в шаблон вывода. Конвертация времени по таймзонам - это, наверное, новая игра какая-то. Я не играл, не знаю. Обычно syslog сам проставляет время в сообщениях.

У нас для перекладывания данных из топика в топик Кафки хотят.... Барабанная дробь. Logstash

Миррор мейкер есть же

Игра кстати интересная и увлекательная

Нефиг. Syslog сам проставляет дату и время. Если нужно её в логи писать с информацией о временнОй зоне, то на помощь придёт "%TIMESTAMP:::date-rfc3339%".

Нефиг. Syslog сам проставляет дату и время. Если нужно её в логи писать с информацией о временнОй зоне, то на помощь придёт "%TIMESTAMP:::date-rfc3339%".

Это про другое, имхо

Вам просто надо перекладывать из одного топика в другой или вы по ходу дела данные менять будете?

Поле достаточно не включать в шаблон вывода. Конвертация времени по таймзонам - это, наверное, новая игра какая-то. Я не играл, не знаю. Обычно syslog сам проставляет время в сообщениях.

Миррор мейкер есть же

Это называется с перечислением полей. У меня и так логи в json, но бывает надо выкинуть часть полей. Вот в rsyslog этой возможности нет. Проставляет он время только если напрямую в него слать. А как быть с файлами, в которых время записано?

Custom rulebase. Нет там руби-кода, не надо так неприкрыто гнать.

syslog-ng вроде хорошо справляется с фильтрацией json и доставкой в ёлку

Это называется с перечислением полей. У меня и так логи в json, но бывает надо выкинуть часть полей. Вот в rsyslog этой возможности нет. Проставляет он время только если напрямую в него слать. А как быть с файлами, в которых время записано?

Это Ростислав Борисович?)

Это называется с перечислением полей. У меня и так логи в json, но бывает надо выкинуть часть полей. Вот в rsyslog этой возможности нет. Проставляет он время только если напрямую в него слать. А как быть с файлами, в которых время записано?

Болеть. Берёшь mmnormalize, о котором я, кстати, в докладе говорил, и конфигурируешь. Только вот тут прочитать придётся - http://www.liblognorm.com/files/manual/configuration.html

Можно линк на доклад?!

https://youtu.be/Iq0Nm_cc0wo?t=626