всем утро я тут думал что самый хитрожопый и смогу статику пихать в configmap чтобы потом ее nginx подхватывал но по факту выяснилось что configmap не умеет директории :) в связи с этим хочу поднять вопрос еще раз: кто как статику деплоит?

микростатика - js, css - куски релизного контейнера с приложением. зашита внутрь. большая статика - в S3-like сторадже.

статику в configmap не комильфо ни разу. т.к. для этого используется etcd. и kubelet считывает обновленную статику каждую минуту приблизительно и перемонтирует volume с обновленной статикой

configmap на то и имеет составляющее config, что оно хорошо только для configгов

ну у меня rest api к которому я через ingress хочу прикрутить папку "/doc" так как хостится это все в гугле то я хз как бакет подсоединить - кто-то делал?

ага, уже понял что дурак )

Тут была ссылка на вариант развертывания k8s кластера внутри docker

внутри одного контейнера?

нескольких.

если я на нодах для кубелета не прописываю --tls-cert-file --tls-private-key-file, то я не могу kubectl exec or logs на поды находящихся на этих нодах

аутенцификация настроена через токены, не очень как то хочется всем нодам выписывать сертификаты(как я понимаю серверные)

хотя курлом с curl -k https://node02:10250/containerLogs/demos/tarantool-1882853530-sxvnq/tarantool все отдается

@yolkov https://github.com/kayrus/kubelet-exploit

я видел и читал твои заметки на хабре, но вопрос не в открытости 10250, а в том что не работает kubectl exec, logs

если не генерить сертификаты на нодах

у меня аутентификация на токенах, и не хочется для каждой ноды генерить сертификаты

версия k8s какая?

1.4.0

kubectl options | grep insecure --insecure-skip-tls-verify=false: If true, the server's certificate will not be checked for validity. This will make your HTTPS connections insecure с этой опцие тоже не работает

потому что kubcetl напрямую не обращается к kubelet порту

к нему обращается apiserver

т.е. получается, что при аутентификации на токенах самоподписанные сертификаты kubelet игнорятся?

а если нет, то всё ок?

как именно настроена аутентификация на токенах?

не уверен что через аписервер kubectl --insecure-skip-tls-verify=true logs tarantool-1882853530-sxvnq Error from server: Get https://node02:10250/containerLogs/demos/tarantool-1882853530-sxvnq/tarantool: x509: certificate signed by unknown authorit

эту ошибку выплевывает apiserver

который коннектится к https://node02:10250

--authorization-mode=ABAC --authorization-policy-file=/etc/kubernetes/tokens/authorization-policy.jsonl

щас исходники посмотрю

все остальное по идее работает, ну или я не заметил. На тех нодах где есть сертификаты, exec logs работают

можно попутный вопрос? У меня поды c weave не могут авторизоваться в API Failed to list *api.Namespace: the server has asked for the client to provide credentials (get namespaces) от weave-npc, например. у сервисаккаунта токен есть, в поде подмонтирован

надо разобраться куда в сорцы смотреть

а политики разрешают для пользователя веаве доступ к неймспесам?

я пользователя не определял, он по default идёт

default создался автоматически, думаю, всё должно быть ок (не уверен)

а поппробуй определить и дать все права

я просто weave в глаза не видел

я думал попробовать руками в API сходить с токеном

@yolkov вот тут нужно искать по kubeletclient

https://github.com/kubernetes/kubernetes/blob/master/pkg/master/master.go

и здесь тоже самое https://github.com/kubernetes/kubernetes/blob/master/cmd/kube-apiserver/app/server.go

apiserver подключается к kubelet и если всё ок - предоставляет туннель для kubectl

т.е. нужно смотреть какие TLSconfig настройки используются и как задаются для инициализации соединения к kubelt

просто к нродам на которых сертификаты есть, все работает

сейчас попробую выписать сертификат для ноды

проверю, заработает ли

если б было время - навернео смог бы найти кусок кода, который за это овтечает. но у меня сейчас другой deadline

ок, спасибо, поразбираюсь

а поппробуй определить и дать все права

у меня —authorization-mode= не был никакой прописан, сделал alwaysAllow - заработало

спасибо

сделаю ABAC на досуге

rbac удобнее

написано экспериментал

работает?

давно. с версии 1.3

значит надо брать)

два

с сертификатом заработало, причем именно серверным сертификатом, в котором еще надо правильно прописать Subject Alternative Name

что значит "серверным"?

а у меня заработал weave

с включенной опцией X509v3 Extended Key Usage: TLS Web Server Authentication

ERROR: S client not available

а, ну да

у всех на нодах сертификаты сгенерированы для kubelet? или я включил какуюто опцию

у меня автогенерация идет

а как ты подписываешь сертификаты?

kubelet по дефолту не проверяет сертификаты

у всех на нодах сертификаты сгенерированы для kubelet? или я включил какуюто опцию

вообще можно отключить судя по опциям

но мой фикс, который я пытался пропихнуть в k8s проверяет

не знаю, может они что-то похожее успели в 1.4 впихнуть

я немного запутался, кто и как авторизуется

kubectl авторизуется видимо или токеном или сертификатом

все системные поды в API тоже сертификатами идут?

хотя у меня все идут в локальный апи на 8080

остальные поды могут сходить сервисаккаунтом

ну у тебя вообще похоже не секурный порт используется

вот тут чтото объясняется, правда могло уже чтото устареть https://github.com/kubernetes/kubernetes/issues/11000

спасибо

как dns засетапить без этих солтов есть инструкция?

вижу только левую статью

от 2015 года по установке пода со skydns

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns

ну это с солтом :)

хотя там внутри ж ямл

надо только раскрыть его

там есть седом)

я только как деплоймент запускал и без kubernetes.io/cluster-service: "true”, с этой опцией у меня crashloop

но без нее как аддон нельзя запустить

хм, про аддоны непонятно "Add-ons extend the functionality of Kubernetes." и всё :)

судя по доке - обычные репликасеты

о, здесь есть дока https://github.com/kubernetes/kubernetes/tree/master/cluster/addons