правда fluentd помню башню сносило напрочь, если под ним логи слишком часто ротировать. автор считал что это нормально, спорить не стал, перестал пользоваться :)

Я правильно понимаю что если используется json-file то kubelet линкует логи каждого контейнера в /var/log/containers/ ?

правда fluentd помню башню сносило напрочь, если под ним логи слишком часто ротировать. автор считал что это нормально, спорить не стал, перестал пользоваться :)

Но в целом флюент как реагирует на ротацию логов? Если я буду ротировать раз в сутки, например.

Я правильно понимаю что если используется json-file то kubelet линкует логи каждого контейнера в /var/log/containers/ ?

насколько знаю, это сам докер делает в любом сетапе

А /var/log/pods/?

А /var/log/pods/?

/var/lib/docker/containers/<>/

когда я вызываю kubectl logs foo откуда они выводятся?

И правильно я понимаю что если поменять json-file на какой нибудь gelf то kubectl logs ничего не будет показывать?

И правильно я понимаю что если поменять json-file на какой нибудь gelf то kubectl logs ничего не будет показывать?

да

да

Ок, спасибо

Вот тут (https://github.com/fluent/fluentd/issues/1561) пишут: Closing this issue since it has been solved in the meanwhile and I forgot to update this issue. The cause was double rotation (once by k8s, once by log-rotate daemon)...

что значит once by k8s? Он все таки что то ротирует?

тут (https://github.com/fluent/fluentd/issues/1561#issuecomment-306461385)

насколько помню, поды сами по себе не переносимы, только прибить и заставить контроллер создать новый

я прибиваю а контроллер все равно создает на этой же ноде(

видимо только эта нода подходит по условиям requests и nodeSelector

но на другой есть такой же инстанс этого пода

эммм??

чатик а есть способ в кубере сделать деплой например 20 компонент с указанием какой версии конкретно деплоить ? подойдет ли для жтого одни деплоймент конфиг ?

высмысле в deploy две реплики

тогда смотри affinity

у меня pod не хочет на другую ноду перелазить, а на текущей не может встать из-за того, что уперся в максимальный аттач дисков, как его заставить на другую ноду перелезть?

правильное решение использовать opaque integer resource: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#opaque-integer-resources-alpha-feature

заносите сколько аттачей выдерживает нода, затем в подах: resources: requests: pod.alpha.kubernetes.io/opaque-int-resource-attachments: 1

когда аттачи закончатся (как заканчивается память и cpu), новые поды с аттачами в ноду не влезут

ого, спасибо большое

проблема была в том, что в azure к машинам было приаттачено по одному лишнему диску, которых нет в k8s, я так и не понял зачем они и что на них лежит, поэтому я их вытащил и все поды встали нормально и вроде пока ничего не упало ??

если кто-то в курсе таких ситуаций, то хотелось бы узнать правильные пути решения таких проблемок

проблема была в том, что в azure к машинам было приаттачено по одному лишнему диску, которых нет в k8s, я так и не понял зачем они и что на них лежит, поэтому я их вытащил и все поды встали нормально и вроде пока ничего не упало ??

Они туда быкапят ось, насколько я помню

то есть помимо просто os disk, они создают еще один data disk и туда бекапят os disk?

Ага, так, насколтко помню

Я тоже сильно удивился когда на новой машине вдруг оказался под чистую забитый диск

А потом удивился когда они вдруг несколько тачек выключили и смигрировали

Маны же все читают после того как все грохнется:)

коллеги, кто мониторит куб прометеем и использует RBAC - какие права нужны мониторингу?

https://darknets.info/applewwdc/

по-моему, нам нужен еще один модератор. Или даже несколько

Когда я указываю в качестве volume hostPath, контейнер автоматически создаёт каталог на диске. Но создаёт его от имени root, в который приложение не может писать свои данные. Можно как-то явно указать пользователя (или uid), от которого создавать каталог?

это проблема пользователя в твоем контейнере, который видимо не рут

выставляй права владельца на uid пользователя в контейнере

это проблема пользователя в твоем контейнере, который видимо не рут

Да. Там юзер www-data, на хост системе у него uid 1000.

ну вот на хосте надо сделать chown на этот uid

То есть, мне в любом случае вручную каталогу владельца менять?

ну да, на хосте в принципе может не быть пользователя с таким uid, а выставить его нужно

вот так например выглдит маунт со стороны хоста у которого выставлены права для пользователя mysql внутри его контейнера

drwxr-xr-x 12 systemd-bus-proxy ssh_keys 4096 июл 14 12:39 data

тоже вроде 1000 uid

вот так например выглдит маунт со стороны хоста у которого выставлены права для пользователя mysql внутри его контейнера

Я так и делаю сейчас. Но нет ли у hostPath какого-нибудь параметра, который сам chown сделает?

ну да, на хосте в принципе может не быть пользователя с таким uid, а выставить его нужно

а что нельзя выставить uid без пользователя?))

а я о чем выше писал?

ну вот на хосте надо сделать chown на этот uid

чукча не читатель?

привет знатоки, сколько вы бы бабок запросили за создание такой конфигурации как в статье? (маленькой) https://habrahabr.ru/company/flant/blog/331188/ и сколько у вас времени это займет?

Когда я указываю в качестве volume hostPath, контейнер автоматически создаёт каталог на диске. Но создаёт его от имени root, в который приложение не может писать свои данные. Можно как-то явно указать пользователя (или uid), от которого создавать каталог?

пытались добавить fsGroup поддержку, чтобы оно как с остальными вольюмами делало chown перед запуском контейнера, но не взлетело: https://github.com/kubernetes/kubernetes/pull/39438

То есть, мне в любом случае вручную каталогу владельца менять?

fsGroup должен поддерживаться для новых local volumes из 1.7

Касательно логов (https://github.com/kubernetes/kubernetes/pull/40634) на GCE используют родную ротацию Docker, судя по комменту автора (https://github.com/kubernetes/kubernetes/pull/40634#issuecomment-279352876) fluentd себя хорошо чувствует.

https://www.manning.com/books/kubernetes-in-action

кто-то уже читал?

да, хорошая книга

да, хорошая книга

свежая? имеет смысл тратить на нее 50$?

ну актуальна для 1.6

может к релизу еще добавят что нибудь

хм, а что там есть чего нет в документации и гитхабе?

хотя ладно, это все субьективно, сорян :)

проблема в том, что в документации на гитхабе много чего нет

если мы, конечно, не про код, а именно про документацию говорим

ERROR: S client not available

хм, а что там есть чего нет в документации и гитхабе?

да я думаю все есть. но хорошо причесано, структурировано и с подробностями. Без доков все равно не куда

скидываемся? :)

а есть ли возможность балансировать один host на несколько serviceName в ingress? аписервер не ругается, но ingress controller генерит только первый serviceName на host. ожидается вообще, что несколько сервисов (не подов) можно будет описывать в одном upstream{} 'e. Но за бекенды считаются только поды

гуглится только наоборот (несколько хостов - один сервис)

а есть доки по траблшутингу ?

а то кубер зе хардвей оказался достаточно простым

Rules: Host Path Backends ---- ---- -------- domain.net / backend-1:8888 (<none>) / backend-2:8888 (<none>) вот, это как бы правильно. но на контроллере для backend-{1,2} генерятся разные апстримы

и proxy pass тока на под первого. ну в принципе ожидаемо, ибо тут https://github.com/kubernetes/ingress/blob/master/controllers/nginx/rootfs/etc/nginx/template/nginx.tmpl#L243 это видно :(

просто не хотелось бы опускаться до ingress.kubernetes.io/configuration-snippet

короче по ходу придется хачить nginx.tmpl

такс я крч покупаю эту книжку и скажу о впечатлениях

а почему pBook + eBook стоят дороже?

а есть ли возможность балансировать один host на несколько serviceName в ingress? аписервер не ругается, но ingress controller генерит только первый serviceName на host. ожидается вообще, что несколько сервисов (не подов) можно будет описывать в одном upstream{} 'e. Но за бекенды считаются только поды

Я не нашёл. Думаю дописывать контролл для вот юзания вот этой штуки http://nginx.org/en/docs/http/ngx_http_split_clients_module.html

Собнсо реализация A/B тестирования

но остаётся вопрос, как это записать в ingress.....видимо прийдётся ещё и палкой в разрабов кубера тыкать

*Когда мне время дадут))

configuration-snippet блин сует этот сниппет в кажыдй location / :( ну на nginx.tmpl куча пулл реквестов, такова специфика любой серьезной абстракции

?

а почему pBook + eBook стоят дороже?

Ну там же печатная еще версия

а

купил крч электронную версию, пиратить же неэтично такие вещи??

купил крч электронную версию, пиратить же неэтично такие вещи??

Ну хз

ой, я не* забыл)

btw, по промокоду всего за 22$ вышло

btw, по промокоду всего за 22$ вышло

Есть код?

mlagile13

Спасибо!

траблшутинг кубернетса это та еще магия

есть вот такой вот

https://github.com/kubernetes/kubernetes/wiki/Debugging-FAQ

и https://kukulinski.com/10-most-common-reasons-kubernetes-deployments-fail-part-1/