все вроде как верно

да точно верно

все вроде как верно

kubectl describe configmap -n kube-system kubeadm-config

ClusterStatus: ---- apiEndpoints: 5050k8s-master: advertiseAddress: 10.50.80.50 bindPort: 6443 5051k8s-master: advertiseAddress: 10.50.80.50 bindPort: 6443 5052k8s-master: advertiseAddress: 10.50.80.50 bindPort: 6443 apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterStatus Events: <none>

вот это вроде как дичь

тут я поменял, но это не на что не повиляло)

тут я поменял, но это не на что не повиляло)

Ну проблема ясна)Щас еще раз гляну на конфиг файл. Вот точно рабочий: apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterConfiguration kubernetesVersion: stable apiServer: certSANs: - 192.168.0.50 controlPlaneEndpoint: "192.168.0.50:6443" etcd: external: endpoints: - https://192.168.0.20:2379 - https://192.168.0.21:2379 - https://192.168.0.22:2379 caFile: /etc/etcd/ca.pem certFile: /etc/etcd/etcd.pem keyFile: /etc/etcd/etcd-key.pem networking: podSubnet: 172.16.0.0/16

ну у меня такой же

ну у меня такой же

Проверь балансировщик

а с ним то что?

он же в режиме stream отдает

он же в режиме stream отдает

Он вообще работает, хотя бы узнай.

100% работает, я же через него с кластером работаб

И доступны ли с него другие аписервера

Ты работаешь только с одним мастером из трех

доступны все

доступны все

Нужно понять почему список эндпоинтов не обновляется.

kubernetes 10.50.80.50:6443,10.50.80.51:6443,10.50.80.52:6443 12d

я руками обновил

kubernetes 10.50.80.50:6443,10.50.80.51:6443,10.50.80.52:6443 12d

Сейчас доберусь до кластера тестового и проведу тесты

но это не помогло)

Создаешь файл, к примеру: ClusterStatus.yaml cо следующим содержимым(беру из своего примера): apiEndpoints: kubernetes-master-0: advertiseAddress: 192.168.0.20 bindPort: 6443 kubernetes-master-1: advertiseAddress: 192.168.0.21 bindPort: 6443 kubernetes-master-2: advertiseAddress: 192.168.0.22 bindPort: 6443 apiVersion: kubeadm.k8s.io/v1beta1 kind: ClusterStatus

Ты это попробовал?

Ты это попробовал?

Это я тупо очкую

Это я тупо очкую

Вообщем у тебя при сетапе кластера что то пошло не так. Тебе нужно руками чуточку kubeadmconfig поправить. Там явно прописано что у тебя один мастер, на который и ссылается эндпоинт.

[root@5050k8s-master ~]# kubeadm config view apiServer: certSANs: - 10.50.80.241 extraArgs: apiserver-count: "3" authorization-mode: Node,RBAC timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta1 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controlPlaneEndpoint: 10.50.80.241:6443 controllerManager: {} dns: type: CoreDNS etcd: external: caFile: /etc/etcd/ca.pem certFile: /etc/etcd/kubernetes.pem endpoints: - https://10.50.80.50:2379 - https://10.50.80.51:2379 - https://10.50.80.52:2379 keyFile: /etc/etcd/kubernetes-key.pem imageRepository: k8s.gcr.io kind: ClusterConfiguration kubernetesVersion: v1.14.0 networking: dnsDomain: cluster.local podSubnet: 10.244.0.0/16 serviceSubnet: 10.96.0.0/12 scheduler: {}

вот через кубеадм вытащил

но вижу вообще где тут указан мастер:(

Скинь полную команду kubeadm init

которой сетапил

я такую врядли найду

Это очень важно.Возможно тут и кроется вся соль

apiVersion: kubeadm.k8s.io/v1alpha3 kind: ClusterConfiguration kubernetesVersion: stable apiServerCertSANs: - 10.50.80.241 controlPlaneEndpoint: "10.50.80.241:6443" etcd: external: endpoints: - https://10.50.80.50:2379 - https://10.50.80.51:2379 - https://10.50.80.52:2379 caFile: /etc/etcd/ca.pem certFile: /etc/etcd/kubernetes.pem keyFile: /etc/etcd/kubernetes-key.pem networking: podSubnet: 10.244.0.0/16 apiServerExtraArgs: apiserver-count: «3»

kubeadm init --config=config.yaml

вот так

apiVersion: kubeadm.k8s.io/v1alpha3 kind: ClusterConfiguration kubernetesVersion: stable apiServerCertSANs: - 10.50.80.241 controlPlaneEndpoint: "10.50.80.241:6443" etcd: external: endpoints: - https://10.50.80.50:2379 - https://10.50.80.51:2379 - https://10.50.80.52:2379 caFile: /etc/etcd/ca.pem certFile: /etc/etcd/kubernetes.pem keyFile: /etc/etcd/kubernetes-key.pem networking: podSubnet: 10.244.0.0/16 apiServerExtraArgs: apiserver-count: «3»

Ха)я даже знаю из какого мануала взял)

щас минуту

https://blog.inkubate.io/install-and-configure-a-multi-master-kubernetes-cluster-with-kubeadm/

мне кажется я в момент джоина натупил где-то

apiserver-count: «3» можешь удалит.

а хотя где я это вообще могу натупить

Версия 14.0 ?

да

может у кого было сие чудо)? Error: kubernetes_service.prebid-load-balancer: metadata.0.annotations: "service.beta.kubernetes.io/do-loadbalancer-algorithm" is internal Kubernetes annotation

все ноды числятся как master, тут все кашерно

все ноды числятся как master, тут все кашерно

kubeadm join LB_IP:6443 —token —discovery-token-ca-cert-hash —experimental-control-plane

все ноды числятся как master, тут все кашерно

—experimental-control-plane флаг нужно указывать

да я же вообще join не делал, я делал init на каждом мастере

да я же вообще join не делал, я делал init на каждом мастере

ну это древний способ) https://kubernetes.io/docs/setup/independent/high-availability/

тем временем CRI-O официально стал проектом CNCF - https://github.com/cncf/toc/pull/177#issuecomment-480881475

И что это значит для CRI-O?

может попробовать удалить ноду и заново добавить?

может попробовать удалить ноду и заново добавить?

Да. kubeadm delete node и kubeadm reset на остальных двух мастера. Потом джойнь как как я написал или как в инструкции

kubeadm? не kubectl?

может попробовать удалить ноду и заново добавить?

ну и перед этим на мастере не забуть выполнить kubeadm init phase upload-certs --experimental-upload-certs

kubeadm? не kubectl?

ой, сори.Опечатался

надо бы еще вытащить строку для. join

надо бы еще вытащить строку для. join

Ну токен сгенеришь новый

Хех в slack'е канал ksonnet переименовали в jsonnet, еще один гвоздь в крышку гроба проекта... Может можно петицию замутить чтобы VMware ksonnet тоже отдала CNCF? - интересно так вообще можно?

Хех в slack'е канал ksonnet переименовали в jsonnet, еще один гвоздь в крышку гроба проекта... Может можно петицию замутить чтобы VMware ksonnet тоже отдала CNCF? - интересно так вообще можно?

наверное это будет также как и просить ред хат отдать coreos CNCF 🙂

Ну токен сгенеришь новый

чет не взлетает))

failure loading certificate for CA: couldn't load the certificate file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory

руками его прокинуть?

[root@5051k8s-master pki]# kubectl describe svc kubernetes Name: kubernetes Namespace: default Labels: component=apiserver provider=kubernetes Annotations: <none> Selector: <none> Type: ClusterIP IP: 10.96.0.1 Port: https 443/TCP TargetPort: 6443/TCP Endpoints: 10.50.80.50:6443,10.50.80.52:6443 Session Affinity: None Events: <none>

оО заебок

failure loading certificate for CA: couldn't load the certificate file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory

На каком из мастеров делал kubeadm reset ?

на том который удалил:)

failure loading certificate for CA: couldn't load the certificate file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory

Надеюсь не на 10.50.80.50 ?

конечно нет)

Хех в slack'е канал ksonnet переименовали в jsonnet, еще один гвоздь в крышку гроба проекта... Может можно петицию замутить чтобы VMware ksonnet тоже отдала CNCF? - интересно так вообще можно?

Король умер, да здравствует король! https://qbec.io/

[root@5050k8s-master pki]# kubectl describe svc kubernetes Name: kubernetes Namespace: default Labels: component=apiserver provider=kubernetes Annotations: <none> Selector: <none> Type: ClusterIP IP: 10.96.0.1 Port: https 443/TCP TargetPort: 6443/TCP Endpoints: 10.50.80.50:6443,10.50.80.51:6443,10.50.80.52:6443 Session Affinity: None Events: <none>

все на месте

Надеюсь не на 10.50.80.50 ?

Спасибо))

И что это значит для CRI-O?

больше внимания и фиксов, предполагаю

coredns-fb8b8dccf-gzdrh 1/1 Running 1 13m 10.244.3.54 5100k8s-worker <none> <none> coredns-fb8b8dccf-h5r7w 0/1 Error 45 12d <none> 5050k8s-master <none> <none> coredns-fb8b8dccf-xj28p 1/1 Running 45 6d5h 10.244.5.42 5102k8s-worker <none> <none>

вот теперь и dns не крашится

наверное это будет также как и просить ред хат отдать coreos CNCF 🙂

coreos - это компания, что отдавать-то?

Спасибо))

ca.crt руками как-то скопировал?

вот теперь и dns не крашится

👍

ca.crt руками как-то скопировал?

ага

ну и перед этим на мастере не забуть выполнить kubeadm init phase upload-certs --experimental-upload-certs

вот это для меня осталось загадкой, что оно делает?

ага

Потом попробовал заново kubeadm init phase upload-certs —experimental-upload-certs ?