Lucky SB
перечитал - был не прав https://kubernetes.io/docs/tasks/administer-cluster/highly-available-master/#overview но вот с контроллером и шедулером как я и говорил - активен ровно 1
ну дык. т.е. три мастера все таки полезной работой заняты, а не простаивают. на них API сервера трудятся
Alex
да, похоже про etcd, это не про мастер ноды кубернетеса
Lucky SB
оххмать. все же просто
Dmytro
ну дык. т.е. три мастера все таки полезной работой заняты, а не простаивают. на них API сервера трудятся
если следовать этой доке то на них же и etcd крутится а значит как ни крути минимум 3 надо
Dmytro
блин реально сейчас в доке плохо расписано
Alex
etcd можно держать и деплоить отдельно от мастер нод кубера
Alex
это просто пример там такой
Alex
где они на одной тачке
Dmytro
да но вот эта оф дока сейчас подразумевает что etcd на мастере
Lucky SB
Кворум нужен только для etcd - 3 или 5 узлов. (7 и больше не рекомендуют). API сервера работают параллельно и не зависимо друг от друга. controller-manager и шедулер через etcd определяются кто работает, а кто в горячем резерве отдыхает.
Lucky SB
путаница из-за того, что в самой начальной HA-конфигурации начинающим советуют три мастера, на каждом из которых по etcd.api,cm и scheduler. вот и путаются, думая что всем им четырем нужен кворум
Dmytro
можно иметь отдельно стоящий etcd кластер и 2 мастера
Alex
ну т.е. сетап из 5 нод etcd (для кворума 3) и 3х мастер нод кубера насколько я понимаю позволит пережить вылет 2х тачек без серьезных последствий
Alex
если сетап под вылет одной тачки, то 3 etcd и 2 мастер ноды
Lucky SB
можно вообще иметь два etcd кластера и N*3 машин под каждый из компонентов контролплейна
Dmytro
главное чтобы выжил etcd, мастера даже если все умрут то не страшно - просто поднять новый
Dmytro
почему?
Alex
а как поднять мастер ноду вместо упавшей? Если выжил etcd
Dmytro
если мастер умер то поды дальше продолжают работать
Dmytro
на воркерах
Alex
это никто не оспаривает
Alex
я вопрос выше написал
Dmytro
само собой все что связано с обращением к апи серверу сломается
Lucky SB
почему?
если пролюбите приватный ключ от корневого сертификата кластера - проще будет новый налить из iac, чем в старом все сертификаты, секреты от SA и прочее пересоздавать
Dmytro
ну это на baremetal, в случе облака там или в AMI упаковано все или откуда-то из S3 при старте выкачивается
Dmytro
сложно потерять
Dmytro
а как поднять мастер ноду вместо упавшей? Если выжил etcd
в случае облака - также как и в первый раз
Lucky SB
сложно потерять
кажись яндекс смог )
Dmytro
в случае железа - тут как правильно говорит @LuckySB надо иметь все файлы, но процедура та же
Dmytro
кажись яндекс смог )
хмм я не слышал, только с удалением виртуалок помню был факап
Lucky SB
хмм я не слышал, только с удалением виртуалок помню был факап
ну вот. виртуалки с мастерми удаляются и привет.
Lucky SB
или ты с каждого из мастеров образ снимаешь раз в день ?
Dmytro
а кстати разве в 1.15 не сделали что все сертификаты лежать в etcd в конфигмапах?
Dmytro
или ты с каждого из мастеров образ снимаешь раз в день ?
зачем? все же и так есть где-то в IaC коде
Dmytro
стейта у самого мастера нет - зачем его снепшотить вообще?
Lucky SB
а кстати разве в 1.15 не сделали что все сертификаты лежать в etcd в конфигмапах?
ссылку дай. я вот не вижу сертификатов. ни в секретах, ни в конфигмапах
George
Это как с кафкой и зукипером )
Lucky SB
а как поднять мастер ноду вместо упавшей? Если выжил etcd
сложно. тебе нужны сертификаты и конфиги от упавшего мастера. читай каталог /etc/kubernetes чтобы запустить его копию. а люди, способные поменять корневой сертификат и все подписанное им, таких вопросов не задают. у них HA-есть ) и бекапы
Cholovik
Всем привет, нужна консультация если кто-то сталкивался Имеется ресурс, у которого установлены для CPU requests и limits - они не равны, так что работаем с QoS - Burstable Потребление ЦПУ практически не выходит даже за установленные requests однако все-равно получается постоянный троттлинг. Нода не загружена, утилизация около 20% в пиках (тестовое окружение). Насколько я понимаю CFS в таком случае гарантирует мне примерно то что я прошу в requests Порывшись в сети нашел баг с CFS https://github.com/kubernetes/kubernetes/issues/67577 который был пофикшен в ядре 4.18 (Bionic) В моём случае используется EC2 инстанс с ядром 4.4.0-1095-aws в котром уже есть этот фикс судя по всему, т.к. он был портирован еще в 4.4.0-1075.85 https://launchpad.net/ubuntu/+source/linux-aws/4.4.0-1075.85, поэтому идея обновить ядро и посмотреть отпала. Установка для kubelet параметра --cpu-cfs-quota=false тоже ничего не изменила - троттлинг как был так и остался Kubernetes 1.11.10 (апдейт на данный момент не рассматривается) Может есть идеи где я повернул не туда и куда копать дальше?
George
Всем привет, нужна консультация если кто-то сталкивался Имеется ресурс, у которого установлены для CPU requests и limits - они не равны, так что работаем с QoS - Burstable Потребление ЦПУ практически не выходит даже за установленные requests однако все-равно получается постоянный троттлинг. Нода не загружена, утилизация около 20% в пиках (тестовое окружение). Насколько я понимаю CFS в таком случае гарантирует мне примерно то что я прошу в requests Порывшись в сети нашел баг с CFS https://github.com/kubernetes/kubernetes/issues/67577 который был пофикшен в ядре 4.18 (Bionic) В моём случае используется EC2 инстанс с ядром 4.4.0-1095-aws в котром уже есть этот фикс судя по всему, т.к. он был портирован еще в 4.4.0-1075.85 https://launchpad.net/ubuntu/+source/linux-aws/4.4.0-1075.85, поэтому идея обновить ядро и посмотреть отпала. Установка для kubelet параметра --cpu-cfs-quota=false тоже ничего не изменила - троттлинг как был так и остался Kubernetes 1.11.10 (апдейт на данный момент не рассматривается) Может есть идеи где я повернул не туда и куда копать дальше?
Как определили наличие троттлинга ?
Cholovik
Опираюсь на метрики от cadvisor в прометеусе - container_cpu_cfs_throttled_seconds_total
Dmytro
ссылку дай. я вот не вижу сертификатов. ни в секретах, ни в конфигмапах
в-общем, это фича kubeadm и появилась еще в 1.14 а в 1.15 стала stable https://github.com/kubernetes/kubernetes/pull/73907
Dmytro
Всем привет, нужна консультация если кто-то сталкивался Имеется ресурс, у которого установлены для CPU requests и limits - они не равны, так что работаем с QoS - Burstable Потребление ЦПУ практически не выходит даже за установленные requests однако все-равно получается постоянный троттлинг. Нода не загружена, утилизация около 20% в пиках (тестовое окружение). Насколько я понимаю CFS в таком случае гарантирует мне примерно то что я прошу в requests Порывшись в сети нашел баг с CFS https://github.com/kubernetes/kubernetes/issues/67577 который был пофикшен в ядре 4.18 (Bionic) В моём случае используется EC2 инстанс с ядром 4.4.0-1095-aws в котром уже есть этот фикс судя по всему, т.к. он был портирован еще в 4.4.0-1075.85 https://launchpad.net/ubuntu/+source/linux-aws/4.4.0-1075.85, поэтому идея обновить ядро и посмотреть отпала. Установка для kubelet параметра --cpu-cfs-quota=false тоже ничего не изменила - троттлинг как был так и остался Kubernetes 1.11.10 (апдейт на данный момент не рассматривается) Может есть идеи где я повернул не туда и куда копать дальше?
а можно цифры в студию? requests, limits и утилизацию CPU пода
Dmytro
а еще для чистоты эксперимента стоит сделать requests=limits int value и включить cpu manager https://kubernetes.io/docs/tasks/administer-cluster/cpu-management-policies/#cpu-management-policies (чтобы под прибило на конкретные ядра). Если все равно будет метрика cfs_throttled_seconds_total не нулевая то тут явно врет cadvisor
Cholovik
Про цпу менеджер попробую, спасибо
Cholovik
а можно цифры в студию? requests, limits и утилизацию CPU пода
limits: cpu: 1 requests: cpu: 200m Потребление в расчете от 1cpu - 100% max avg current 8.924% 6.239% 7.955% Троттлинг в среднем 150ms из rate с периодом 30s
Lucky SB
в-общем, это фича kubeadm и появилась еще в 1.14 а в 1.15 стала stable https://github.com/kubernetes/kubernetes/pull/73907
Вот только есть нееебо́оольшая проблемка. Чтобы загрузить серты надо указывать ключ для кубадма при создании кластера. И эти сертификаты зашифрованы. А ключ для расшифровки тебе сообщают только при загрузке сертов в секрет. Надо ещё почитать, бутстраппинг токены для узлов имеют ограниченное время жизни. Может эти сертификаты также
Dmytro
ключ для шифрования вроде сам указываешь
Dmytro
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/ --certificate-key string Key used to encrypt the control-plane certificates in the kubeadm-certs Secret.
Dmytro
т.е. получается если сломались все мастера то можно вручную залезть в etcd вытащить сертификаты и расшифровать. Но почему нет такой команды в kubeadm - непонятно
Dmytro
(ну или я не смог нагуглить)
Cholovik
После установки выделенного ядра метрики по троттлингу для этого контейнера пропали, из чего можно сделать вывод что он пропал docker inspect: "CpuShares": 1024, "CpuPeriod": 0, "CpuQuota": 0,
Dmytro
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/#uploading-control-plane-certificates-to-the-cluster > By adding the flag --upload-certs to kubeadm init you can temporary upload the control-plane certificates to a Secret in the cluster. Please note that this Secret will expire automatically after 2 hours. The certificates are encrypted using a 32byte key that can be specified using --certificate-key. The same key can be used to download the certificates when additional control-plane nodes are joining, by passing --control-plane and --certificate-key to kubeadm join.
Dmytro
вообще ерунда выходит
Dmytro
так что выходит я был не прав - этот секрет пропадет и CA нужно где-то хранить все равно
Lucky SB
так что выходит я был не прав - этот секрет пропадет и CA нужно где-то хранить все равно
Ага. Значит я правильно помню, что оно удаляется через некоторое время
Dmytro
еще вот подумал что можно один и тот же CA юзать для etcd и для куба
Dmytro
тогда на мастере больше ничего важного нет
Dmytro
но что это значит в плане сесурити? вопрос
George
просто электричество жечь? Ты же понимаешь, что 4 и 6 не дают никакого преимущества овер 3 и 5 соответственно
Andrey
просто электричество жечь? Ты же понимаешь, что 4 и 6 не дают никакого преимущества овер 3 и 5 соответственно
даже наоборот - это вреднее. больше нод - больше вероятность, что одна из них накроется
Andrey
а 6 это как пять, но хуже, я вот к чему
Andrey
+1 нода, которая может упасть, при той же устойчивости к потере только двух. с увеличением, количества нод, правда, пример менее показателен, своего абсолюта он достигает при 2 нодах etcd
Dmytro
это не хуже, это НЕ лучше
Dmytro
у 6 нод кворум как и 5 а платить и обслуживать больше
George
это не хуже, это НЕ лучше
На самом деле хуже. Причины можно придумать
George
Коллега прав насчёт вероятности отказа