George
с пятью мастерами получше, но всё равно плохо
вот скажи - чем 5 мастеров по двум ДЦ помогут коллеге? Может все-таки два кластера посоветуешь? И федерацию?
George
3 мастера в ДЦ1 - 2 мастера в ДЦ2 либо кворум из 3х либо РО
вот именно. Это не спасает от тотального выгорания ДЦ1
Vadim
это лучше чем гарантированный ад при 3х мастерах
George
ну, ок
George
а если я перенесу мастер на дц 3 ?
тебя летенси не смущает?
Just a baka
Чисто теоретически уж лучше 2 кластера держать. Хотя бы потому, что etcd нужны минимальные задержки, чтобы не затуплять на записи. Ну и выпадение в РО это ничего хорошего, даже если и одуплится потом само. Все это надо будет мониторить и костылить вокруг дополнительный слой HA.
George
ок, если у тебя мастера в пределах 100 км
George
а если 1000?
Solyar
Solyar
ок, если у тебя мастера в пределах 100 км
Мастера буквально рядышком
George
ты же не гарантируешь летенси между ДЦ, т.к. это чужой канал
George
я бы вообще попробовал сделать так
George
мастера все в ДЦ1, воркеры в ДЦ2
George
что сгорит, то не сгниет )
Solyar
:D
George
если есть возможность - мути два кластера
Vadim
так, хватит тут оффтопить уже
Solyar
Но вообще металлб еще роль лоад балансера играет у нас
Mikhail
это лучше чем гарантированный ад при 3х мастерах
о каком аде при трех мастерах речь? простите, немного потерялся в дискуссии
Mikhail
Я тогда по другому спрошу. Планируем попробовать(потестировать) кластер растянутый на 3 локации. latency между локациями низкий, не регион. По одному мастеру в каждой локации. Кластер будет использоваться только под управление другими кластерами/пайплайны и тд. Кластера с рабочей нагрузкой только в одном ДЦ. Какие подводные камни, рекомендации?
Mikhail
чтобы собственно control plane для всех кластеров был 1. 1 кластер который знает про все другие кластера и как с ними работать. и вот этот один кластер был чуть более устойчивый чем 1 dc.
Yury
Он не будет устойчивее
Yury
Тут или боль управления тремя кластерами или боль одного нестабильного. Сеть между дц работает пока работает :)
Yury
Ну и по хорошему надо проверять периодически как кластер и приложения реагируют на разделение сети
George
чтобы собственно control plane для всех кластеров был 1. 1 кластер который знает про все другие кластера и как с ними работать. и вот этот один кластер был чуть более устойчивый чем 1 dc.
теоретически тебе ничего не мешает сделать отдельный кластер, в котором разместить элементы управления другими кластерами
George
скажем так, что многие кубероделатели (циска, нутаникс и пр.) делают ровно так
Yury
Твоей, с мастерами в одном дц
George
а, ну, да
Aleksei
Всем привет. Кто-нибудь сталкивался с проблемой на MetalLB, когда недоступен externalIp из pod network? Куда копать, в сторону iptables?
Антон
Всем привет. Если раскатывать новый кластер через kubespray, kubeadm нужно задизейблить? На #СЛЕРМ4 выключали опцией kubeadm_enable: false в group_vars/all/all.yml, но в v2.10.4 не вижу данной опции
Lucky SB
Всем привет. Если раскатывать новый кластер через kubespray, kubeadm нужно задизейблить? На #СЛЕРМ4 выключали опцией kubeadm_enable: false в group_vars/all/all.yml, но в v2.10.4 не вижу данной опции
Привет. Видимо что то подзабылось уже. На слерме я говорил, что кластер мы раскатывали не из обычного кубспрея, а из нашего форка
Lucky SB
Из основного кубспрея установку старым способом удалили давным давно
Lucky SB
И там только через кубадм стпвится
Антон
Ок, спасибо
Igor
как для ингресса увеличить client-max-body-size?
Igor
который nginx-ingress (кубовый)
Igor
не nginxinc
Lucky SB
Не забудь себе в планировщик поставить задание на обновление сертификатов через 11 месЦев
Lucky SB
Это в нашем форке
Dmitry Kamenskikh ITSumma
как для ингресса увеличить client-max-body-size?
apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: nginx.ingress.kubernetes.io/proxy-body-size: 1024m
Антон
Это в нашем форке
certificates_key_size: 2048 certificates_duration: 36500
Lucky SB
А кубадм на год гееирует
Антон
вот так в kubespray/roles/kubespray-defaults/defaults/main.yaml
Lucky SB
Ну а посмотри где оно используется
Lucky SB
Только для генерации сертификатов для etcd
Oleg
Доброго времени суток. Ребят, подскажите, а есть уже какой-то инструмент позволяющий распространять предустановленные кластеры k8s на виртуальных машинах? Или может кто-то свой уже подход выработал - поделитесь? :)
Lucky SB
И то так было в начале мая. Что поменялось на сейчас щас не смотрел
Антон
Только для генерации сертификатов для etcd
https://github.com/kubernetes-sigs/kubespray/blob/master/roles/network_plugin/contiv/templates/generate-certificate.sh.j2 вот тут используется
George
нам проще разливать каждый раз заново. Благо это не так долго
Lucky SB
Это вообще для сетевого плагина серты
Антон
@LuckySB мысль понял, посмотрю где еще генерируются сертификаты
Oleg
вообще стремная история. Зачем оно вам надо?
Задача на внедрение при условии, что доступа к инфраструктуре заказчика нет. Пока делаем так - export/import vms, но такое.
George
это как бы промышленный способ
Sergey V
привет хочу сделать такое, создать папку на всех хостах где демонсет будет работать инит контейнером, потом смонтировать эту папку в основной контейнер но получаю ошибку что под не может быть инициализирован, т.к. эта папка еще не существует, т.е. даже инит контейнер не может запуститься как можно обойти это?
Sergey V
т.е. в инит контейнер я монтирую /folder и делаю mkdir /folder/subfolder а в основной контейнер монтирую уже /folder/subfolder
Sergey V
не пойму про опции. что может мне помочь?
Sergey V
0/1 Init:0/1 0
George
0/1 Init:0/1 0
дай конкретную ошибку