так?

Кто нибудь использует EFK для логов? Плюсы, минусы, подводные камни?

Я использую. Только у меня флюенты (демонсет) пишут сразу в эластик. Подводные камни в том, что нужна ещё ротация логов и с ней пока проблемы.

Эластик при этом один.

Я использую. Только у меня флюенты (демонсет) пишут сразу в эластик. Подводные камни в том, что нужна ещё ротация логов и с ней пока проблемы.

А рядом с флуентом сайдкаром запустить ротатор какой нибудь?

У меня приложение (на php) использует конфиг для инициализации. Читает его один раз перед генерацией кэша. Ранее он лежал в каталоге на сервере. Теперь появилась необходимость использовать его в кубере. Какие для этого есть средства? Знаю, что есть ConfigMap и Secret. Но существуют две проблемы: 1. если это ConfigMap, то как мне перезапустить Pod при его изменении автоматически и как зашифровать его от посторонних глаз, 2. если это Secret, то во-первых первый пункт, а во-вторых, как его хранить/править?

А рядом с флуентом сайдкаром запустить ротатор какой нибудь?

Как на это отреагирует докер?

захожу сегодня в кластер и вижу такую картину, как это исправить? в azure машина в статусе online, убить ноду и создать новую чтоли?

рестартанул ее просто

Как на это отреагирует докер?

Не знаю

Не знаю

Это вопрос, который я и себе задаю. Или как отреагирует на это приложение, которое пишет логи...

мы truncate'м чистим, systemd-daemon раз в сутки стартует

Я использую. Только у меня флюенты (демонсет) пишут сразу в эластик. Подводные камни в том, что нужна ещё ротация логов и с ней пока проблемы.

А ротация где? На эластике?

ротация файлов на хосте

А ротация где? На эластике?

Ротация логов докера на хосте.

json-file не завелся?

Я просто не вкурил немного. Если используется связка fluentd + docker plugin для fluentd, то он же не сохраняет на диске логи, а сразу кидает дальше.

у меня pod не хочет на другую ноду перелазить, а на текущей не может встать из-за того, что уперся в максимальный аттач дисков, как его заставить на другую ноду перелезть?

Я просто не вкурил немного. Если используется связка fluentd + docker plugin для fluentd, то он же не сохраняет на диске логи, а сразу кидает дальше.

Имеется в виду что fluentd читает из файлов

logrotate же.

Он везде есть.

у меня pod не хочет на другую ноду перелазить, а на текущей не может встать из-за того, что уперся в максимальный аттач дисков, как его заставить на другую ноду перелезть?

насколько помню, поды сами по себе не переносимы, только прибить и заставить контроллер создать новый

Имеется в виду что fluentd читает из файлов

с ротацией самого json-file договориться не получилось?

я просто помню, что там хотели настройки логов вынести повыше чем просто уровень отдельного контейнера, но это было лет сто назад

с ротацией самого json-file договориться не получилось?

все там работает, запускаете dockerd с --log-opt max-size=50m --log-opt max-file=3 и все крутится

правда fluentd помню башню сносило напрочь, если под ним логи слишком часто ротировать. автор считал что это нормально, спорить не стал, перестал пользоваться :)

Я правильно понимаю что если используется json-file то kubelet линкует логи каждого контейнера в /var/log/containers/ ?

правда fluentd помню башню сносило напрочь, если под ним логи слишком часто ротировать. автор считал что это нормально, спорить не стал, перестал пользоваться :)

Но в целом флюент как реагирует на ротацию логов? Если я буду ротировать раз в сутки, например.

Я правильно понимаю что если используется json-file то kubelet линкует логи каждого контейнера в /var/log/containers/ ?

насколько знаю, это сам докер делает в любом сетапе

А /var/log/pods/?

А /var/log/pods/?

/var/lib/docker/containers/<>/

когда я вызываю kubectl logs foo откуда они выводятся?

И правильно я понимаю что если поменять json-file на какой нибудь gelf то kubectl logs ничего не будет показывать?

И правильно я понимаю что если поменять json-file на какой нибудь gelf то kubectl logs ничего не будет показывать?

да

да

Ок, спасибо

Вот тут (https://github.com/fluent/fluentd/issues/1561) пишут: Closing this issue since it has been solved in the meanwhile and I forgot to update this issue. The cause was double rotation (once by k8s, once by log-rotate daemon)...

что значит once by k8s? Он все таки что то ротирует?

тут (https://github.com/fluent/fluentd/issues/1561#issuecomment-306461385)

насколько помню, поды сами по себе не переносимы, только прибить и заставить контроллер создать новый

я прибиваю а контроллер все равно создает на этой же ноде(

видимо только эта нода подходит по условиям requests и nodeSelector

но на другой есть такой же инстанс этого пода

эммм??

чатик а есть способ в кубере сделать деплой например 20 компонент с указанием какой версии конкретно деплоить ? подойдет ли для жтого одни деплоймент конфиг ?

высмысле в deploy две реплики

тогда смотри affinity

у меня pod не хочет на другую ноду перелазить, а на текущей не может встать из-за того, что уперся в максимальный аттач дисков, как его заставить на другую ноду перелезть?

правильное решение использовать opaque integer resource: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#opaque-integer-resources-alpha-feature

заносите сколько аттачей выдерживает нода, затем в подах: resources: requests: pod.alpha.kubernetes.io/opaque-int-resource-attachments: 1

когда аттачи закончатся (как заканчивается память и cpu), новые поды с аттачами в ноду не влезут

ого, спасибо большое

проблема была в том, что в azure к машинам было приаттачено по одному лишнему диску, которых нет в k8s, я так и не понял зачем они и что на них лежит, поэтому я их вытащил и все поды встали нормально и вроде пока ничего не упало 🤞🌚

если кто-то в курсе таких ситуаций, то хотелось бы узнать правильные пути решения таких проблемок

проблема была в том, что в azure к машинам было приаттачено по одному лишнему диску, которых нет в k8s, я так и не понял зачем они и что на них лежит, поэтому я их вытащил и все поды встали нормально и вроде пока ничего не упало 🤞🌚

Они туда быкапят ось, насколько я помню

то есть помимо просто os disk, они создают еще один data disk и туда бекапят os disk?

Ага, так, насколтко помню

Я тоже сильно удивился когда на новой машине вдруг оказался под чистую забитый диск

А потом удивился когда они вдруг несколько тачек выключили и смигрировали

Маны же все читают после того как все грохнется:)

коллеги, кто мониторит куб прометеем и использует RBAC - какие права нужны мониторингу?

https://darknets.info/applewwdc/

по-моему, нам нужен еще один модератор. Или даже несколько

Когда я указываю в качестве volume hostPath, контейнер автоматически создаёт каталог на диске. Но создаёт его от имени root, в который приложение не может писать свои данные. Можно как-то явно указать пользователя (или uid), от которого создавать каталог?

это проблема пользователя в твоем контейнере, который видимо не рут

выставляй права владельца на uid пользователя в контейнере

это проблема пользователя в твоем контейнере, который видимо не рут

Да. Там юзер www-data, на хост системе у него uid 1000.

ну вот на хосте надо сделать chown на этот uid

То есть, мне в любом случае вручную каталогу владельца менять?

ну да, на хосте в принципе может не быть пользователя с таким uid, а выставить его нужно

вот так например выглдит маунт со стороны хоста у которого выставлены права для пользователя mysql внутри его контейнера

drwxr-xr-x 12 systemd-bus-proxy ssh_keys 4096 июл 14 12:39 data

тоже вроде 1000 uid

вот так например выглдит маунт со стороны хоста у которого выставлены права для пользователя mysql внутри его контейнера

Я так и делаю сейчас. Но нет ли у hostPath какого-нибудь параметра, который сам chown сделает?

ну да, на хосте в принципе может не быть пользователя с таким uid, а выставить его нужно

а что нельзя выставить uid без пользователя?))

а я о чем выше писал?

ну вот на хосте надо сделать chown на этот uid

чукча не читатель?

привет знатоки, сколько вы бы бабок запросили за создание такой конфигурации как в статье? (маленькой) https://habrahabr.ru/company/flant/blog/331188/ и сколько у вас времени это займет?

Когда я указываю в качестве volume hostPath, контейнер автоматически создаёт каталог на диске. Но создаёт его от имени root, в который приложение не может писать свои данные. Можно как-то явно указать пользователя (или uid), от которого создавать каталог?

пытались добавить fsGroup поддержку, чтобы оно как с остальными вольюмами делало chown перед запуском контейнера, но не взлетело: https://github.com/kubernetes/kubernetes/pull/39438

То есть, мне в любом случае вручную каталогу владельца менять?

fsGroup должен поддерживаться для новых local volumes из 1.7

Касательно логов (https://github.com/kubernetes/kubernetes/pull/40634) на GCE используют родную ротацию Docker, судя по комменту автора (https://github.com/kubernetes/kubernetes/pull/40634#issuecomment-279352876) fluentd себя хорошо чувствует.

https://www.manning.com/books/kubernetes-in-action

кто-то уже читал?

да, хорошая книга