Эм. Не в любой крупной компании

Ну в рамках Яндекса кажется до сих пор так

На rsyslog

Ну, монорепо, своя система сборки - ну, да. Но вопрос нужно ли это.

Чо с ним не так?

У этого есть причины) как и у многих других компаний выбравших монореп и свои системы сборки

Чо с ним не так?

С ним все нормально, на самом деле. Просто когда рассказывают про то, какой он офигенный, забывают упомянуть про то, что для этого его нужно хорошенько раскурить. Рекламируют везде как серебрянную пулю, а на практике там надо с нуля решать проблемы, которые в том же filebeat просто несуществуют для обычного пользователя.

читать лень, но поставил лойс

написал статью, как делать докер-имеджи размером в 5 мегабайт - https://medium.com/@valyala/stripping-dependency-bloat-in-victoriametrics-docker-image-983fb5912b0d

Для filebeat мне хватило с головой доки, для rsyslog почему-то нет. Может это так не повезло, или я не очень, но так как люди хвалят rsyslog прикрываясь всякими "он стабилен и производителен", то я тоже могу тоже могу аппелировать к субъективным проблемам, кмк

Я уверен у вас уже богатый опыт саппорта проектов. Как правильно реализовать логирование в (?web) Python проекте?

Структурированные логи (см например https://engineering.grab.com/structured-logging о граблях) Возможность менять лог левел без рестарта Сэмплирование по request id для всего что выше уровня инфо.

+1 к выше. правда стоит отменить, что в монолитах вместо request id можно попробовать использовать id сущности, связанной с операцией, которая логгируется

До структурированных логов народу ещё доходить и доходить 😊 RFC5424 же просто так написан

До структурированных логов народу ещё доходить и доходить 😊 RFC5424 же просто так написан

До структурированных логов народу ещё доходить и доходить 😊 RFC5424 же просто так написан

Ну пусть идут в верном направлении)

Самое интересное, что я в час ночи rfc читаю, а моя девушка-филолог на сайте проституток зависает

толсто

Самое интересное, что я в час ночи rfc читаю, а моя девушка-филолог на сайте проституток зависает

Я вот не пойму, это такой троллинг или как?

То есть вот я открываю RFC и что там написано. Ах да, набор каких-то полей, актуальных в 80-х и чисто для access логов и потом такое "а хреначте все поверх этого в msg".

@AlexGluck тогда что-то пошлО не так

А я хочу нормально слать логи, но локально видеть не json в stdout, а стандартные логи в stdout.

То есть вот я открываю RFC и что там написано. Ах да, набор каких-то полей, актуальных в 80-х и чисто для access логов и потом такое "а хреначте все поверх этого в msg".

Просто в Python (по хорошему) используется logging а к нему уже можно обработчиков нацеплять. В том числе и для отправки их в хранилище;

Вот в этом и твоя проблема, что ты открываешь, а не читаешь. Из коробки парсер умеет в structured data.

В питоне для этого можно два хендлера сделать для логов

Вот в этом и твоя проблема, что ты открываешь, а не читаешь. Из коробки парсер умеет в structured data.

Вово. Только у меня gunicorn, и вот тут сложность в "логировать все" (даже падения оного) и "логировать что с обработчиком"

Собирай через rsyslog

Ваша проблема в том, что вы залипли на одном стеке и пытаетесь его разрекламировать этим всем хипсерам на других стеках. Этот рфц про транспорт для логов, он ортагонален структурированым логам, если что

Только чот не видать богатырей.

Отнюдь. Просто прежде чем тащить в продакшн очередную штуку, свалившуюся под ноги с hype train, я читаю доки на сервисы, которые система предоствляет искаропки.

И RFC5424 - про протокол, всё верно. А если кто-то напишет "более лучше", чем rsyslog - пожалуйста, кто против-то?

Зачем мне ваш протокол, когда нужно для логов инфу в приложении не в строку кидать, а словарем

И RFC5424 - про протокол, всё верно. А если кто-то напишет "более лучше", чем rsyslog - пожалуйста, кто против-то?

Вот так log.info('aaa'. extra={1:1, 2:2})

Вот так log.info('aaa'. extra={1:1, 2:2})

Адъ

И RFC5424 - про протокол, всё верно. А если кто-то напишет "более лучше", чем rsyslog - пожалуйста, кто против-то?

А как передавать всякие скоуп метки в духе process:pay

А как передавать всякие скоуп метки в духе process:pay

Честно говоря непонятно нахрена кому-то джейсон в логах, вполне достаточно таймстемп + сообщение + простое kv лейбл-значение

Куда передавать?

Просто для того, чтобы ты потом мог выполнить поиск. Это, считай, семантическая разметка.

Ну вот у меня логи в джейсоне. Нужно добавить к ним еще пару полей, как это делать не через extra?