тестовый deployment не создаёт поды

затыкается на replicaset, в котором как раз эта ошибка

есть service-account, который забинден с restricted

verb: use

деплоймент создается, replicaset создается, pod не создается

1. С чего увереность что с RBAC проблем нет?

2. Сервис аккаунт не связан с несозданием пода....Он создан для работы демонов в поде и их связи с API кубера изнутри кубера

Admission control Это посути набор модулей, которые включают или выключатают те или иные функции

я хочу включить PodSecurityPolicy

без него кластер отлично работает

с ним уже нет

создал роль: apiVersion: rbac.authorization.k8s.io/v1beta1 kind: Role metadata: creationTimestamp: 2017-06-20T12:22:39Z name: role rules: - apiGroups: - "" resources: - pods - pods/log - configmaps verbs: - get - list - watch - create - apiGroups: - extensions - apps resources: - deployments verbs: - get - list - watch - create - apiGroups: - extensions resourceNames: - restricted resources: - podsecuritypolicies verbs: - use

создал psp: apiVersion: extensions/v1beta1 kind: PodSecurityPolicy metadata: creationTimestamp: 2017-06-20T10:10:29Z name: restricted resourceVersion: "3739436" selfLink: /apis/extensions/v1beta1/podsecuritypoliciesrestricted uid: afd70712-55a0-11e7-8248-fa163ecf36c6 spec: fsGroup: rule: RunAsAny runAsUser: rule: RunAsAny seLinux: rule: RunAsAny supplementalGroups: rule: RunAsAny volumes: - '*'

сделал bind: apiVersion: rbac.authorization.k8s.io/v1beta1 kind: RoleBinding metadata: name: role roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: role subjects: - apiGroup: rbac.authorization.k8s.io kind: Group name: role - kind: ServiceAccount name: role

т.е. должно бы и заработать...

вот тестовый deployment, который затыкается: apiVersion: extensions/v1beta1 kind: Deployment metadata: name: test spec: replicas: 1 strategy: type: RollingUpdate rollingUpdate: # Ensure we have at least 1 alive pod during update (don't kill old pod until new pod is up and running) maxSurge: 0 maxUnavailable: 1 template: metadata: labels: app: test spec: serviceAccount: role containers: - name: test image: busybox command: - /bin/sleep - '999999999999'

Ну ошибка у тебя связана с тем, что не кому проверить запрос пода (видимо по секурной части)

и такое впечатление, что нехватает аннотации в деплое

https://github.com/kubernetes/kubernetes/blob/master/examples/podsecuritypolicy/rbac/README.md

liggitt [6 minutes ago] you need to use clusterrole and clusterrolebinding liggitt [6 minutes ago] 1.7 adds the ability to grant within a single namespace liggitt [6 minutes ago] with a rolebinding liggitt [6 minutes ago] also, "restricted" is not a good name for that PSP... that's a super-powerful policy

короче фишка, которую я использовал появится только в 1.7

и в настоящий момент нужно использовать clusterrole и clusterrolebinding

Ну учитывая что RBAC в namespace заработал только в 1.5

)

придется пилить clusterrole

Привет. У кого как работает аутентификация? CSV файлик совсем больно сейчас.

rbac

пилишь сертификаты, в них объявляешь группы через O=groupname subject

Это авторизация)

API server отзыв сертификатов не поддерживает, только перевыпуск intermediate Ca

аутентификация работает в rbac по subject сертификата

это да. всё никак не запилю этот гребаный crl

может поможешь? )

Мне нужно коллег аутентифицировать, желательно через лдап...

тогда openshift https://docs.openshift.com/enterprise/3.1/install_config/syncing_groups_with_ldap.html

Слаб я в golang:) Щас с горя пытался накатать прокси сервер с лдап аутентификацией, и сломался на вебсокетах

В чате 500+ человек. Я надеюсь есть люди не с openshift и gke)

Мне нужно коллег аутентифицировать, желательно через лдап...

dex

dex

он из коробки работает? пользователь в веб-интерфейсе dex логинится через лдап и получает токен для kubectl? я пару месяцев назад пробовал и не осилил. Там нужен был отдельный севрер с example-app и т.д.

ещё хочется обычный http basic, чтобы в дашборд ходить

хм, если ставить каргой k8s, то там это есть из коробки

только не лдап, хотя вроде не так сложно его прикрутить

хм, если ставить каргой k8s, то там это есть из коробки

никакой дополнительной магии не вижу. Нужно указывать oidc опции https://github.com/kubernetes-incubator/kubespray/blob/15fee582cc9fea3e0a51604b0ccf4d4a4b71071a/inventory/group_vars/k8s-cluster.yml#L59

пойду перечитаю dex...

ну как не надо, там из коробки PR висит что бы dashboard: true отрабатывал :) но в общем случае да

кстати, тут есть люди которую каргу используют?

ололо, а много здесь тех, кому сейчас скучно?

ололо, а много здесь тех, кому сейчас скучно?

ололо, а к чему вопрос?)

видимо, у человека кластер не собирается

Я тут три дня убил на очередные заигрывания с k8s и, честно говоря, не очень понимаю, почему люди его используют на bare metal/в public cloud

Гемороя с "собиранием" же немерено

в public cloud норм

Когда какой-нибудь swarm mode заводится с полпинка двумя командами у k8s сплошные приключения: kubeadm в альфе и не для прода, network-плагины полусырые и отданы на аутсорс

в public cloud норм

Где ж норм то, когда с шифрованием беда?

какая беда?

какая беда?

Его нет? Ну везде кроме weave

А наа weave пальцем лучше не показывать, его жор CPU и почти полное отсутствие документации радует

а причем тут k8s?

а причем тут k8s?

А кому нужен кластер без сети?)

Я сейчас не говорю про GCE/AWS, где есть VPC и все в шоколаде

Его нет? Ну везде кроме weave

вы про ipsec?

вы про ipsec?

Да

ну AWS вполне себе public cloud :)

ну AWS вполне себе public cloud :)

AWS - полноценный клауд с внутренней приватной сеточкой, ELB и всеми делами

k8s там - просто рай на земле. Наверное.

А говоря public cloud я имею ввиду что-то вроде DigitalOcean.

Или, в условиях нашей великой страны, что-то еще более бюджетное

ERROR: S client not available

видимо, у человека кластер не собирается

неа, все ок.

А вообще я не понимаю, как ж так вышло то, что на голой чистой убунте (с последним/1.12 докером) kubeadm + calico (по официальному мануалу http://docs.projectcalico.org/v2.3/getting-started/kubernetes/installation/hosted/kubeadm/) не взлетают

https://blog.sonm.io/join-test-alpha-b4f999105fef мне интересно что будет если эту сырую пре-альфу чуток глючащего образа для докера дать тем у кого кластеры на кор-осе постоянно под рукой =)

А вообще я не понимаю, как ж так вышло то, что на голой чистой убунте (с последним/1.12 докером) kubeadm + calico (по официальному мануалу http://docs.projectcalico.org/v2.3/getting-started/kubernetes/installation/hosted/kubeadm/) не взлетают

На мастер-ноде все хорошо, а calico-под на воркере слыхом не слыхивал о мастере

И соответственно никакого connectivity нет в помине

https://blog.sonm.io/join-test-alpha-b4f999105fef мне интересно что будет если эту сырую пре-альфу чуток глючащего образа для докера дать тем у кого кластеры на кор-осе постоянно под рукой =)

Ну поднимите несколько дроплетов на DO да попробуйте

DO под k8s лучшне не использовать

DO под k8s лучшне не использовать

Во как. Там убунта не такая убунтистая?

У нас были проблемы с сетью и артефакты вылазили не понятные. Используем для разворачивания kargo и сейчас переехали на свое железо

Ну поднимите несколько дроплетов на DO да попробуйте

не-не, я-то попробовал, все ок. как говорится, "я просто оставлю это здесь" =)

У нас были проблемы с сетью и артефакты вылазили не понятные. Используем для разворачивания kargo и сейчас переехали на свое железо

И как сейчас выглядит стек?

k8s + flannel + ubuntu 16 + kargo

Лично у меня kargo ни разу нормально не отработал. Ни на конфигурации из трех нод, ни даже на одной

было пару issue, но они быстро прикрыли

Docker 1.13

было пару issue, но они быстро прикрыли

Вы карго из мастера используете или релиз (который похоже уже староват)?

И вообще мне кажется, что kargo творит слишком много магии для продакшена. И как troubleshoot'ить это потом при случае вообще не понятно

А запускать эту штуку на production-кластере под нагрузкой страшно втройне

Сейчас не скажу, но раньше точно использовали какой-то тэг

Там же ansible все читается

Читается. Но блин это хуже php

Ох, ладно. Моя боль так и останется моей. Просто я не понимаю, зачем нужно столько костылей. Буквально вчера поднимал кластер from scratch. Все шло идеально ровно до момента kube-dns и настройки сети

Когда документация вдруг резко закончилась

С докой беда, только гуглить и самому разбираться. Ну и может в доку, что-то законтребьютить)

Когда документация вдруг резко закончилась

"Setup instructions" ведет на https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns/

Казалось бы все очевидно: запихни переменные в шаблон, kubectl apply -f *.yml и готово

Но нет, не поднимается. Притом членораздельных ошибок тоже не вываливает

Ну и как с этим жить? А главное зачем?

А самое "прекрасное" то, что даже Rancher заводит k8s через раз

А в случае с разделением control plane и compute plane так вообще не заработало

И блин, это только самое начало. С разверткой k8s сталкиваются сотни человек как минимум. Где адекватные туториалы? Такое ощущение, что все живут либо в GCE/AWS, либо на bare metal с tectonic/еще чем-нибудь

И почему черт подери у команды докера получилось все свести до элементарных docker swarm init + docker swarm join? Почему у них нормально и быстро работает сетка и есть опциональный ipsec из коробки? Multimaster, raft, ingress все дела...