Rainbow
ip первого мастера
G72K
Т.е. в kubespray никакого HA до аписерверов нет? :)
Rainbow
На память говорю, последний раз ставил - он выставил ip приватной сетки и я отложил на этом месте
Rainbow
https://github.com/kubernetes-sigs/kubespray/raw/master/docs/figures/loadbalancer_localhost.png?raw=true
Rainbow
он походу ставит nginx на воркеры
Rainbow
а не для пользователя кластера
G72K
а не для пользователя кластера
Да, так и хочу, не для пользователя. Но мне кажется что эта диаграмма неверна и нету там никаких запросов через nginx, по крайней мере от kubelet когда включен tls bootstrap
Rainbow
И там вчера кто-то спрашивал откуда 443, вот откуда 😆
G72K
Может так и было до переезда на kubeadm, но сейчас я в упор не вижу как оно может так работать. Я у себя костыляю через systemd - на время бутстрапа запускать прокси как systemd юнит, потом детектить бутстрап и убивать его, после чего стартанёт static pod с таким же прокси до аписервера. Думал код с kubespray спереть, а там на вид HA вообще не работает :)
Rainbow
/etc/kubernetes/bootstrap-kubelet.conf: server: https://10.128.2.210:6443
G72K
/etc/kubernetes/node-kubeconfig.yaml: server: https://localhost:6443
Этот файл всяким калико и kube-proxy подсовывают , kubelet его не использует
Rainbow
/etc/kubernetes/kubelet.conf: server: https://localhost:6443
Rainbow
--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf \ --kubeconfig=/etc/kubernetes/kubelet.conf 2 конфига, не знал
G72K
/etc/kubernetes/kubelet.conf: server: https://localhost:6443
Вооот, это правильное значение. Откуда оно берется там? kubelet копирует server: из bootstrap-kubelet.conf , кто и как его подменяет потом?
G72K
https://github.com/kubernetes-sigs/kubespray/blob/8167e5b6908b17f15acb5d68ae30c61cb373167f/roles/kubernetes/kubeadm/tasks/main.yml#L83
👍 то что нужно! Жаль мне не подойдёт , у меня чистый ignition
Artem
Ребят, подскажите, как в кубеспрей задать лейблы на ноды в момент установки кластера?
Artem
Т.е. хочу сразу прописать лейблы и затем запустить установку кластера
G72K
Еще актуально?
Спасибо, уже нет :) нашли как kubespray поверх kubeadm правит конфиги
Denis
Спасибо, уже нет :) нашли как kubespray поверх kubeadm правит конфиги
Хорошо) Я просто тоже подобную штуку пробовал ради эксперимента на своем тестовом кластере. До этого юзал HAProxy, но потом решил такую штуку провернуть
Vyacheslav
Всем привет. Господа а кто-либо строил k8s по верх nsx-t?
Vadim
моднейшая SDN, от cisco емнип
Vadim
vmware
ага, тогда contrail от циско? Вечно их путаю
G72K
а чем он лучше linkerd2 ?
Внутри linkerd2 что http проксирует? Что-то своё?
Vyacheslav
G72K
Vmware nsx transform - sdn
Если у них есть свой CNI драйвер то есть шанс, если нет то либо писать свой либо всю эту магию использовать, как обычный ethernet :)
Vyacheslav
Ок , тогда такой вопрос кто использует overlay сети в k8s ? На базе чего вы их строете?
George
Как букинг. Поясни - какую задачу хочешь решить оверлеем ?
Vyacheslav
Как букинг. Поясни - какую задачу хочешь решить оверлеем ?
Независимость от гипервизоров и облаков с точки зрения построения сетей
George
а что букинг?
booking.com. насколько помню, тупо каждому поду адрес из корп сети назначают.
George
В докладах highload, рит
George
Независимость от гипервизоров и облаков с точки зрения построения сетей
Смотри Совсем утрирую. Если у тебя кластер в одном облаке или на одной платформе, то возможно бенефитов от усложнения нет
George
Если кроссоблачный кластер, то там проблем и без оверлея полно
Vyacheslav
Я честно не силен в k8s , дам пример по swarm - создание единой общей сети для контейнеров, балансировка нагрузки, миграции . Как эти задачи решаются в k8s без оверлея?
G72K
Балансировка разная, на уровне сети ECMP хочется?
G72K
Миграции - миграции чего и куда, это точно про сеть? (CRIU нету, сразу говорю)
Vyacheslav
Оверлей позволяет создать поверх всего. Меня интересует к примеру разнесенные цоды и облака .
Vyacheslav
Я уже вижу вашу visio
Странно, ведь я использую draw.io
Vyacheslav
Ага
George
И кросс-облако?
Vyacheslav
И так и так
G72K
Странно, ведь я использую draw.io
О спасибо, смогу заменить mspaint надеюсь, lucidcharts не зашли
George
В твоих словах половина истины, т.к. во многих облачных платформах можно приватные адреса аллоцировать самому
G72K
И так и так
Где в этой картине nsx-t или как там ее
Vyacheslav
В твоих словах половина истины, т.к. во многих облачных платформах можно приватные адреса аллоцировать самому
Хорошо, давай представим что у меня два разнесенных ДЦ , которые соединены между собой по l3.
G72K
Я не на это сообщение отвечал , хмм
Vyacheslav
В твоих словах половина истины, т.к. во многих облачных платформах можно приватные адреса аллоцировать самому
Вот проблематика не плохо описано в разделе про big switch - https://kubernetes.io/docs/concepts/cluster-administration/networking/#big-cloud-fabric-from-big-switch-networks
Vyacheslav
Собственно и вопрос как ее решаете
Vyacheslav
https://kubernetes.io/docs/concepts/cluster-administration/networking/#nsx-t
Vyacheslav
Про сам nsx-t
George
Про сам nsx-t
Хз, nsx-t не используем
Vyacheslav
Так вот собственно я и спросил кто как живёт используя разнесенную географию дц/облаков для построения кластерных сетей ?
George
где почитать?
http://www.highload.ru/moscow/2018/abstracts/4167
George
Стейтлесс + геоайпи прекрасно работает и так
George
While there are good reasons to avoid multi-cluster if you can, it is currently the only way to do robust multi-region or multi-cloud Kubernetes deployment.
George
https://medium.com/booking-com-infrastructure/introducing-shipper-daf9244e3882