Lucky SB
Alex
да, похоже про etcd, это не про мастер ноды кубернетеса
Lucky SB
оххмать. все же просто
Dmytro
Dmytro
блин реально сейчас в доке плохо расписано
Alex
etcd можно держать и деплоить отдельно от мастер нод кубера
Alex
это просто пример там такой
Alex
где они на одной тачке
Dmytro
да но вот эта оф дока сейчас подразумевает что etcd на мастере
Lucky SB
Кворум нужен только для etcd - 3 или 5 узлов. (7 и больше не рекомендуют).
API сервера работают параллельно и не зависимо друг от друга.
controller-manager и шедулер через etcd определяются кто работает, а кто в горячем резерве отдыхает.
Dmytro
Lucky SB
путаница из-за того, что в самой начальной HA-конфигурации начинающим советуют три мастера, на каждом из которых по etcd.api,cm и scheduler. вот и путаются, думая что всем им четырем нужен кворум
Dmytro
можно иметь отдельно стоящий etcd кластер и 2 мастера
Alex
ну т.е. сетап из 5 нод etcd (для кворума 3) и 3х мастер нод кубера насколько я понимаю позволит пережить вылет 2х тачек без серьезных последствий
Alex
если сетап под вылет одной тачки, то 3 etcd и 2 мастер ноды
Lucky SB
можно вообще иметь два etcd кластера и N*3 машин под каждый из компонентов контролплейна
Dmytro
главное чтобы выжил etcd, мастера даже если все умрут то не страшно - просто поднять новый
Lucky SB
Dmytro
почему?
Alex
а как поднять мастер ноду вместо упавшей? Если выжил etcd
Dmytro
если мастер умер то поды дальше продолжают работать
Dmytro
на воркерах
Alex
это никто не оспаривает
Alex
я вопрос выше написал
Dmytro
само собой все что связано с обращением к апи серверу сломается
Lucky SB
почему?
если пролюбите приватный ключ от корневого сертификата кластера - проще будет новый налить из iac, чем в старом все сертификаты, секреты от SA и прочее пересоздавать
Dmytro
ну это на baremetal, в случе облака там или в AMI упаковано все или откуда-то из S3 при старте выкачивается
Dmytro
сложно потерять
Dmytro
Dmytro
в случае железа - тут как правильно говорит @LuckySB надо иметь все файлы, но процедура та же
Lucky SB
Lucky SB
или ты с каждого из мастеров образ снимаешь раз в день ?
Dmytro
а кстати разве в 1.15 не сделали что все сертификаты лежать в etcd в конфигмапах?
Dmytro
Dmytro
стейта у самого мастера нет - зачем его снепшотить вообще?
Lucky SB
Lucky SB
George
George
George
Это как с кафкой и зукипером )
Lucky SB
а как поднять мастер ноду вместо упавшей? Если выжил etcd
сложно. тебе нужны сертификаты и конфиги от упавшего мастера. читай каталог /etc/kubernetes
чтобы запустить его копию.
а люди, способные поменять корневой сертификат и все подписанное им, таких вопросов не задают. у них HA-есть ) и бекапы
George
Cholovik
Опираюсь на метрики от cadvisor в прометеусе - container_cpu_cfs_throttled_seconds_total
Dmytro
Dmytro
а еще для чистоты эксперимента стоит сделать requests=limits int value и включить cpu manager https://kubernetes.io/docs/tasks/administer-cluster/cpu-management-policies/#cpu-management-policies (чтобы под прибило на конкретные ядра). Если все равно будет метрика cfs_throttled_seconds_total не нулевая то тут явно врет cadvisor
Cholovik
Про цпу менеджер попробую, спасибо
Dmytro
ключ для шифрования вроде сам указываешь
Dmytro
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
--certificate-key string
Key used to encrypt the control-plane certificates in the kubeadm-certs Secret.
Dmytro
т.е. получается если сломались все мастера то можно вручную залезть в etcd вытащить сертификаты и расшифровать.
Но почему нет такой команды в kubeadm - непонятно
Dmytro
(ну или я не смог нагуглить)
Lucky SB
Cholovik
После установки выделенного ядра метрики по троттлингу для этого контейнера пропали, из чего можно сделать вывод что он пропал
docker inspect:
"CpuShares": 1024,
"CpuPeriod": 0,
"CpuQuota": 0,
Dmytro
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/#uploading-control-plane-certificates-to-the-cluster
> By adding the flag --upload-certs to kubeadm init you can temporary upload the control-plane certificates to a Secret in the cluster. Please note that this Secret will expire automatically after 2 hours. The certificates are encrypted using a 32byte key that can be specified using --certificate-key. The same key can be used to download the certificates when additional control-plane nodes are joining, by passing --control-plane and --certificate-key to kubeadm join.
Dmytro
вообще ерунда выходит
Dmytro
так что выходит я был не прав - этот секрет пропадет и CA нужно где-то хранить все равно
Lucky SB
Й
Й
Марат
Dmytro
еще вот подумал что можно один и тот же CA юзать для etcd и для куба
Dmytro
тогда на мастере больше ничего важного нет
Dmytro
но что это значит в плане сесурити? вопрос
George
George
просто электричество жечь? Ты же понимаешь, что 4 и 6 не дают никакого преимущества овер 3 и 5 соответственно
George
Andrey
George
Andrey
а 6 это как пять, но хуже, я вот к чему
Andrey
+1 нода, которая может упасть, при той же устойчивости к потере только двух. с увеличением, количества нод, правда, пример менее показателен, своего абсолюта он достигает при 2 нодах etcd
Dmytro
это не хуже, это НЕ лучше
Dmytro
у 6 нод кворум как и 5 а платить и обслуживать больше
George
George
Коллега прав насчёт вероятности отказа