а graphviz из чего генерит?

Я бы задумался стоит ли elasticsearch держать в k8s

По моему опыту - это хорошо, если посмотреть в исходники оператора. Чуть больше 30 гигов логов в день (пока).

а ты его на отдельных нодах запускаешь?

Пока чувствует себя отлично, в ближайшее время нагрузка будет увеличена раза минимум в два

@inish777 а собираешь чем?

Файлбит

👍

прямо из /var/lib/docker/containers

о, да?

Я сначала хотел fluentd, но неудобно очень

В блоге эластика пишут, что файлбит давно в CRI-формат умеет

А флюент?

В репах кубеней есть конфиг сразу на два формата

мы, если приложение срет много логов, обычно сайдкаром logstash запускаем

Да, есть. В input так Name tail Tag * Path /var/log/containers/*.log Output Name kafka Match * Brokers 10.209.100.89:9092 Topics kube-logs-fluentbit.nginx, _logging, ingress-nginx Topic_Key namespace_name Timestamp_Key @timestamp Я предпологаю, что, судя по документации, если в строке с логом будет {«namespace_name»: «ingress-nginx»} - то эта строка полетит в соответствующий топик, но нет, пока все сыпется в один, изначально настроенный kube-logs-fluentbit.nginx

С кафкой в жизни дела не имел, но я так понял, что это заточенный на высокую доступность и производительность брокер сообщений

Я на вопрос не отвечу, но мне интересно - а зачем кафка для логов?

Чтобы их там хранить как во временном буфере

Я читал в какой-то статье на Хабре, что там как и в кролике - лучше консьюмить сразу

От ИТ сумма ?

Что значит "консьюмить сразу"?

До того, как записалось на диск, т.е. всегда должны быть готовые консьюмеры. Опять же, это что я понял из статьи, я кафку в глаза не видел

Возможна ситуация, когда тебе нужно оффсет переставить и перечитать данные за неделю назад

Вопрос в том, какая она в итоге

Как спроектируешь - так и будет

Это понятно. А вот допустим я для этого монгу использую или, прости Господи, таблицу в Постгресе. Из Кафки я выжму больше?

Больше на доступность, с производительность там немножк сложно.

Правда, что с кафкой можно добиться exactly once семантики?

Вот у нас в проде кролик, он хорош, но с этим у нас проблемы. Вопрос такой - можно ли конкретно с кафкой добиться лучших результатов, которые организовать с кроликом сложнее?

https://content.pivotal.io/blog/understanding-when-to-use-rabbitmq-or-apache-kafka

Премного благодарен. Просто реинкарнация уже на celery + rabbitmq, ,а критичный проект с легаси переводить с очередей в базе на брокер сообщений уже пора и походу делать это придется мне, поэтому хочется не обосраться с выбором инструмента.