нельзя через --values yaml с override значениями подсовывать?

имхо, шаблонизатору не нужна ваша логика внешняя, прод это или дев

снаружи решаешь какой это стенд и подсовываешь нужный yaml с опциями через --values

Rancher 2.0 now in Beta Hi Denis! Today we officially froze feature development on Rancher 2.0 and have released it into Beta testing. We’ve been working on this new version of Rancher for almost a year, and we're excited to get your feedback on the latest release. Built on Kubernetes, Rancher 2.0 provides a single point of management for any Kubernetes cluster running regardless of where it runs. You can deploy new clusters with Rancher on any host, launch cloud-hosted clusters on Google, Azure and AWS, and easily import existing clusters. Perhaps most excitingly, we've brought Rancher's intuitive UI and ease of use to Kubernetes.

некоторые люди настолько не любят helm, что пилят свои напилки: https://github.com/olx-global/rubiks

Ну я пока сделал так: {{- define "env" -}} {{ if eq .Values.environment "develop" }} {{- range $key, $val := .Values.env.develop }} name: {{ $key }} value: {{ $val | quote }} {{- end }} {{ else if eq .Values.environment "production" }} {{- range $key, $val := .Values.env.production }} name: {{ $key }} value: {{ $val | quote }} {{- end }} {{ else if eq .Values.environment "staging" }} {{- range $key, $val := .Values.env.staging }} name: {{ $key }} value: {{ $val | quote }} {{- end }} {{ end }} {{- end -}}

безотносительно вопроса, не храните envs в {} , т.к. их порядок не определен тогда. в k8s envs идут списком [] не просто так

нельзя через --values yaml с override значениями подсовывать?

Там переменных 20+ и для 3 окружениий описывать это в команде запуска не хочется, очень длинно это все получается

Я хотел так изначально подсовывать

ну, делаешь yaml для стенда. все

О, а можно же подключать несколько Values файлов, сделать отдельно с этими переменными для разных окружений, и если они меняются то просто инклюдить другой файл

да. просто логика со стейджами в шаблоне это пздц

При join ноды к матеру сыпится вот такая шляпа: 06 11:08:21 k8s-node1 kubelet[13085]: I0406 11:08:21.566080 13085 feature_gate.go:226] feature gates: &{{} map[]} апр 06 11:08:21 k8s-node1 kubelet[13085]: W0406 11:08:21.587840 13085 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d апр 06 11:08:21 k8s-node1 kubelet[13085]: W0406 11:08:21.594225 13085 hostport_manager.go:68] The binary conntrack is not installed, this can cause failures in network connection cleanup. апр 06 11:08:21 k8s-node1 kubelet[13085]: I0406 11:08:21.594281 13085 server.go:376] Version: v1.10.0 апр 06 11:08:21 k8s-node1 kubelet[13085]: I0406 11:08:21.594332 13085 feature_gate.go:226] feature gates: &{{} map[]} апр 06 11:08:21 k8s-node1 kubelet[13085]: I0406 11:08:21.594500 13085 plugins.go:89] No cloud provider specified. апр 06 11:08:21 k8s-node1 kubelet[13085]: F0406 11:08:21.655850 13085 server.go:233] failed to run Kubelet: cannot create certificate signing request: Unauthorized апр 06 11:08:21 k8s-node1 systemd[1]: kubelet.service: Main process exited, code=exited, status=255/n/a апр 06 11:08:21 k8s-node1 systemd[1]: kubelet.service: Unit entered failed state. апр 06 11:08:21 k8s-node1 systemd[1]: kubelet.service: Failed with result 'exit-code'.

failed to run Kubelet: cannot create certificate signing request: Unauthorized

написано ж

failed to run Kubelet: cannot create certificate signing request: Unauthorized

Это я понял и что?

Куда рыть то?

24ef255e3f119 [preflight] Running pre-flight checks. [WARNING FileExisting-crictl]: crictl not found in system path Suggestion: go get github.com/kubernetes-incubator/cri-tools/cmd/crictl [preflight] Starting the kubelet service [discovery] Trying to connect to API Server "192.168.1.18:6443" [discovery] Created cluster-info discovery client, requesting info from "https://192.168.1.18:6443" [discovery] Requesting info from "https://192.168.1.18:6443" again to validate TLS against the pinned public key [discovery] Cluster info signature and contents are valid and TLS certificate validates against pinned roots, will use API Server "192.168.1.18:6443" [discovery] Successfully established connection with API Server "192.168.1.18:6443" This node has joined the cluster: * Certificate signing request was sent to master and a response was received. * The Kubelet was informed of the new secure connection details. Run 'kubectl get nodes' on the master to see this node join the cluster.

Куда рыть то?

bootstrap token который использует kubelet не рабочий? Так же смущает пустые feature gates

токен рабочий

Включите audit log на apiserver и посмотрите, что он думает на этот счет

Да, уже вроде нашел даже baremetal гайд, попозже скину линк

Может кому пригодится ссылочка https://github.com/Praqma/LearnKubernetes/blob/master/kamran/Kubernetes-The-Hard-Way-on-BareMetal.md

Ребята, dashboard из вне по токину не работает, можно как-то исправить?

да, давай доступ до env'a

да, давай доступ до env'a

What?

Там переменных 20+ и для 3 окружениий описывать это в команде запуска не хочется, очень длинно это все получается

так надо просто values.yaml генерировать каким-то шаблонизатором и там решать для какого env какую переменную передать в чарт. Мы юзаем руби темплейты .erb для этого

Команда kubectl create secret docker-registry $SECRET_NAME \ --docker-server=https://${ACCOUNT}.dkr.ecr.${REGION}.amazonaws.com \ --docker-username=AWS \ --docker-password="${TOKEN64}" \ --docker-email="${EMAIL}" \ --namespace=${NS}

Создает secret data dockerconfigjson вместо dockercfg . Это нормально?

каккой-то странный type

так оно ж не будет так работать

если ECR в том же датацентре что и кластер то надо инстанс роли с которой запущены воркеры права пулить из ECR

если ECR в другом регионе то вроде бы вообще никак, по крайней мере года полтора назад когда мне нужно было это сделать - это было невозможно

какая разница, если ECR в том же акке?

если в другом, то AssumeRole вам в помощь

https://github.com/kubernetes/kubernetes/pull/24369 если вы об этом, пофиксили давненько

а, пофиксили - отлично

кто-нибудь читал https://linkerd.io/getting-started/k8s/ вот это?

так оно ж не будет так работать

работает. только тип другой нужно ставить . Не могу понять почему одна и таже команда генерит разные (dockerconfigjson вместо dockercfg )

если ECR в другом регионе то вроде бы вообще никак, по крайней мере года полтора назад когда мне нужно было это сделать - это было невозможно

там авторизуется просто aws ecr get-login ...

ну и если iam роль сделана правильная, то ecs agent будет тащить все без авторизации

там проблема с аккаунтами есть, для каждой репы нужно разрешать доступ из другого аккаунта, мы для этого дела запедалили lambda, которую cloudtrail тригерит при создании ECR репы

там авторизуется просто aws ecr get-login ...

да но куб не умеет (умел) такое делать - авторизоваться используя IAM credentials

да но куб не умеет (умел) такое делать - авторизоваться используя IAM credentials

да, я не уловил контекста)

для докера есть логин хелпер https://github.com/awslabs/amazon-ecr-credential-helper

а вот почему куб не осилил подобное - я бы хотел знать. с instance role не всегда можно и удобно (особенно если это мультитенант кластер где деплоятся проекты разных команд)

Залогиниься можно с хелпером или с aws cli aws ecr --region=$REGION get-authorization-token --output text --query 'authorizationData[].authorizationToken'

и это работает если сервер даже не в aws

Если не баг, то не должны. Если NoSchedule и правда не работает, то вашу нода пустой только на NoExecute держится. Все равно я вам не верю. Киньте плиз ямл ноды и пода на ней, который там быть не должен

yaml ноды https://pastebin.com/PAkEnyNb yaml пода https://pastebin.com/hb9wqr4j Возможно я не вижу чего-то очевидного :)

Всем привет. Пожскажите, а как лучше просаживать файлики сертификатов и ключи для клиентов в контейнеры?

Ребята, а как вы чистите выполненные Jobs?

Всем привет. Пожскажите, а как лучше просаживать файлики сертификатов и ключи для клиентов в контейнеры?

Vault

А оно и файлики умеет тоже?

Ребята, а как вы чистите выполненные Jobs?

Анотация в темплейте хельма с джобой есть annotations: "helm.sh/hook": pre-install,pre-upgrade "helm.sh/hook-delete-policy": hook-succeeded

А оно и файлики умеет тоже?

Это просто key/value хранилище. Содердимое файла кладется в один key, в соседние метаданные:имя, куда класть, владелец, пермишены. Инит-контейнер запускает минимальное приложение, которое знает, что с этим делать и кладет секреты в volume, доступный другим контейнерам из пода

Plaintext можно класть просто так, бинарники кодируются в base64

Спасибо! Этот ответ сделал мне вечер пятницы! )

Всем привет. Пожскажите, а как лучше просаживать файлики сертификатов и ключи для клиентов в контейнеры?

Secrets

И файлики? Просто @gotmad описал выше подход. А вот с Secretes я как-то не придумал как такое реализовать...

Secrets

Кубернетсовские секреты?

говорят куб в последней версии научился секреты в шифрованном виде держать в etcd

сам еще не смотрел

Vault

Я вот попробовал однажды, ощущения не самые приятные. Из вкусностей оценил только динамическую генерацию юзеров для бд. Может посоветуете качественные рецепты, как готовить, как употреблять?

Я вот попробовал однажды, ощущения не самые приятные. Из вкусностей оценил только динамическую генерацию юзеров для бд. Может посоветуете качественные рецепты, как готовить, как употреблять?

Для kubernetes или вообще?

Для kubernetes или вообще?

Для k8s)

Я вот попробовал однажды, ощущения не самые приятные. Из вкусностей оценил только динамическую генерацию юзеров для бд. Может посоветуете качественные рецепты, как готовить, как употреблять?

https://youtu.be/IulNdGlQR3A понравилось но сам не пробовал

Я вот попробовал однажды, ощущения не самые приятные. Из вкусностей оценил только динамическую генерацию юзеров для бд. Может посоветуете качественные рецепты, как готовить, как употреблять?

В vault хорошо решена проблема курицы и яйца - "первого секрета", чтобы получить доступ в vault из пода. Поды аутентифицируются на kubernetes auth backend с помощью jwt сервис аккаунта (а сервис аккаунт в неймспейсе есть всегда), который vault проверяет у api сервера куба и выдает токен поду для похода в vault. В этом случае границей безопасности является неймспейс куба. В vault секреты раскладываются так же по неймспейсам. За секретами в vault ходит инит-контейнер, кладет их в volume, этот volume подмаунчивается в контейрены пода по одному и тому же пути. Можно написать приложение на go с клиентскими либами от vault, но можно делать простым скриптом на баше с curl. Всю мишуру с инит-контейнером, волюмами и т.д. удобно оформить в сабчарт helm, чтобы люди не копипастили одно и тоже и не запаривались как оно работает.

https://youtu.be/IulNdGlQR3A понравилось но сам не пробовал

Это уже неактуально с появлением kubernetes auth backend в vault, все гораздо проще

Это уже неактуально с появлением kubernetes auth backend в vault, все гораздо проще

Круть, спасибо.

В vault хорошо решена проблема курицы и яйца - "первого секрета", чтобы получить доступ в vault из пода. Поды аутентифицируются на kubernetes auth backend с помощью jwt сервис аккаунта (а сервис аккаунт в неймспейсе есть всегда), который vault проверяет у api сервера куба и выдает токен поду для похода в vault. В этом случае границей безопасности является неймспейс куба. В vault секреты раскладываются так же по неймспейсам. За секретами в vault ходит инит-контейнер, кладет их в volume, этот volume подмаунчивается в контейрены пода по одному и тому же пути. Можно написать приложение на go с клиентскими либами от vault, но можно делать простым скриптом на баше с curl. Всю мишуру с инит-контейнером, волюмами и т.д. удобно оформить в сабчарт helm, чтобы люди не копипастили одно и тоже и не запаривались как оно работает.

Прям добиваешь пятницу решением всех вопросов! Спасибо! Пошел спать со спокойной совестью

В vault хорошо решена проблема курицы и яйца - "первого секрета", чтобы получить доступ в vault из пода. Поды аутентифицируются на kubernetes auth backend с помощью jwt сервис аккаунта (а сервис аккаунт в неймспейсе есть всегда), который vault проверяет у api сервера куба и выдает токен поду для похода в vault. В этом случае границей безопасности является неймспейс куба. В vault секреты раскладываются так же по неймспейсам. За секретами в vault ходит инит-контейнер, кладет их в volume, этот volume подмаунчивается в контейрены пода по одному и тому же пути. Можно написать приложение на go с клиентскими либами от vault, но можно делать простым скриптом на баше с curl. Всю мишуру с инит-контейнером, волюмами и т.д. удобно оформить в сабчарт helm, чтобы люди не копипастили одно и тоже и не запаривались как оно работает.

В мемориз

так надо просто values.yaml генерировать каким-то шаблонизатором и там решать для какого env какую переменную передать в чарт. Мы юзаем руби темплейты .erb для этого

А .erb файлы чем шаблонизируете?

Команда kubectl create secret docker-registry $SECRET_NAME \ --docker-server=https://${ACCOUNT}.dkr.ecr.${REGION}.amazonaws.com \ --docker-username=AWS \ --docker-password="${TOKEN64}" \ --docker-email="${EMAIL}" \ --namespace=${NS}

Был баг с этим в ранних kubectl 1.9.x . если версия последняя, то все правильно.

А .erb файлы чем шаблонизируете?

или это была шутка или я не понял вопрос

В vault хорошо решена проблема курицы и яйца - "первого секрета", чтобы получить доступ в vault из пода. Поды аутентифицируются на kubernetes auth backend с помощью jwt сервис аккаунта (а сервис аккаунт в неймспейсе есть всегда), который vault проверяет у api сервера куба и выдает токен поду для похода в vault. В этом случае границей безопасности является неймспейс куба. В vault секреты раскладываются так же по неймспейсам. За секретами в vault ходит инит-контейнер, кладет их в volume, этот volume подмаунчивается в контейрены пода по одному и тому же пути. Можно написать приложение на go с клиентскими либами от vault, но можно делать простым скриптом на баше с curl. Всю мишуру с инит-контейнером, волюмами и т.д. удобно оформить в сабчарт helm, чтобы люди не копипастили одно и тоже и не запаривались как оно работает.

Спасибо 👍

коллеги, кому-нибудь надо в компанию/команду человека с 16-ти летним опытом? проект в котором я работаю закрывается и с будущего понедельника я готов подключиться (удалённо) к новому проекту имею большой опыт rubyonrails, devops, неплохо умею фротенд, но душа лежит к devops-у и потому пишу сюда тем более в текущем проекте в основном девопсом занимался если кому интересно - пишите, пришлю резюме в личку

Тебе сюда больше https://t.me/devops_jobs

Спасибо

Всем привет, подскажите им имеет ли смысл redis в кластере( мастер+ слэйды) в кубер запихивать?. Слышал там все не так просто с ним.

Есть ли у кого успешно работает или даже пытаться не стоит

Всем привет, подскажите им имеет ли смысл redis в кластере( мастер+ слэйды) в кубер запихивать?. Слышал там все не так просто с ним.

Нет