kvaps externalIP ты какие подкидываешь?

куда?

в сервис

мы просто на bare metal

с iptables подкидывали ip нод - работало

на ipvs - вышибает ноду в NotReady

сейчас пока на MetalLB тянем свободные IP

ну у меня тоже metallb, в ipvs нельзя адреса нод указывать вообще, т.к. он добавляется в dummy интерфейс на всех нодах, из-за чего ломается маршрутизация

metallb умеет c externalIPs работать? у меня он arp не слал

пришлось в loadBalancerIP указывать нужный из пула

ну у меня тоже metallb, в ipvs нельзя адреса нод указывать вообще, т.к. он добавляется в dummy интерфейс на всех нодах, из-за чего ломается маршрутизация

странно, но в dummy0 вообще нет ip, он как будто чисто как L2. есть только ipvs0 - там вообще все адреса

metallb умеет c externalIPs работать? у меня он arp не слал

не, походу не работает :(

с iptables подкидывали ip нод - работало на ipvs - вышибает ноду в NotReady логично

если вы вешаете тотже externalIP что на ноде у вас он появляется на 2 интерфесах и актуальнее тот что на внутреннем роут на него идет

ну и нода вылетает

с iptables подкидывали ip нод - работало на ipvs - вышибает ноду в NotReady логично

когда пересобираешь в мультимастер с calico+ipvs после weave+iptables и у тебя сыпется пол кластера - не очень 🙂

я еще и IP мастеров указывал

вообще веселуха была

как экстернал можно вешать только то что свободное

странно, но в dummy0 вообще нет ip, он как будто чисто как L2. есть только ipvs0 - там вообще все адреса

как только выдаешь externalIP сервису, он прописывается на dummy interface, из-за этого все ноды начинаеют ходить на dummy interface в момент когда думают что обращаются на ноду

если вы вешаете тотже externalIP что на ноде у вас он появляется на 2 интерфесах и актуальнее тот что на внутреннем роут на него идет

это уже потом поняли

как экстернал можно вешать только то что свободное

но надо его еще как то подвести на хост.. руками не очень, keepalived какой-нибудь городить тоже не комильфо

а metallb не умеет

ну хз я собирал контейнер и присобачивал к kube-router в нем keepalived в принципе там весьма все просто получалось

но надо его еще как то подвести на хост.. руками не очень, keepalived какой-нибудь городить тоже не комильфо

а чем metallb не устраивает?

keepalived почему не комильфо? если найдете лучше решение - сообщите :)

keepalived сильно приятнее в настройке стал, если последние версии смотреть

а чем metallb не устраивает?

устраивает, если не нужно несколько ip на сервис

keepalived почему не комильфо? если найдете лучше решение - сообщите :)

был еще такой keepalived, никто не проблвал? https://github.com/kubernetes/contrib/tree/master/keepalived-vip

у меня он используется

у меня он используется

с ClusterIP сервисами?

был еще такой keepalived, никто не проблвал? https://github.com/kubernetes/contrib/tree/master/keepalived-vip

Намально

был еще такой keepalived, никто не проблвал? https://github.com/kubernetes/contrib/tree/master/keepalived-vip

в кубе еще поднять можно, т.к. лезвий не мало, на все руками таскать постоянно, да даже если через ansible - не самое приятное занятие

да у меня там с hetcner cloud notify скрипт для переключения ip по нодам

нужен keepalived оператор

Sergey а оно все ip на одну ноду вешает?

я одно время айпишники как deployment запускал, а внутри ip addr change 1.2.3.4 dev eth0 preferred_lft 7 valid_lft 10в цикле

или распределяет?

а потом использую metallb controller для раздачи lb ip

arp - реквесты в hz cloud блочатся, поэтому балансер не работает

и спикеры бесполезны

боль

для примера у меня есть 4 публичные ноды и 4 ip для входа руками я делал что на каждой ноде по 1 ip если какаято нода вылетает ее vip мигрирует на другую ноду если вылетит 3 ноды, все ip соберутся на одной ноде

собственно сия конструкция для нагруженных сервисов актуальна

или распределяет?

присоединяюсь к вопросу

https://github.com/munnerz/keepalived-cloud-provider

странно почему cloud-provider, почему не operator

видимо оно мхом поросло уже

вообще надо что-то с этим делать

https://github.com/kubernetes/kubernetes/issues/23880

аннотацию добавить что-ли какую-нибудь

а кластер консула у меня развалился 3 раза сам по себе

Тоже такое было с ошибкой too many open files. Так и не поняли что это...

https://medium.com/booking-com-infrastructure/introducing-shipper-daf9244e3882

устраивает, если не нужно несколько ip на сервис

тут подсказывают что можно шарить IP'шники между сервисами, добавив такую аннотацию: metallb.universe.tf/allow-shared-ip: "someapp"

тут подсказывают что можно шарить IP'шники между сервисами, добавив такую аннотацию: metallb.universe.tf/allow-shared-ip: "someapp"

мне наоборот нужно

2 ip на один сервис

про шаринг я знаю)

в смысле, а разве это проблема?

можно же просто 2 сервиса создать

не, это не то

да и костылинг

2 IP - это я условно имел ввиду >1

поясните, пожалуйста, почему при раскатке k8s через kubespray etcd остается за кластером? через docker ps его видно

поясните, пожалуйста, почему при раскатке k8s через kubespray etcd остается за кластером? через docker ps его видно

С чего взяли что за?

get pods не показывает

Забавно было бы если он был в кластере

Развалилось дак развалилось

Если смущает его запуск в докере можно установить в хост системе. Там опции есть, как его ставить

Развалилось дак развалилось

У bootkube был такой режим. Решили отказаться, слишком легко разваливалось. Ещё был режим, когда kubelet был дкмонсетом и сам собой управлял :)

Скажите, а CPUAccounting not enabled и MemoryAccounting not enabled в кубелете на что-то влияет? Нужно их включать? Использую cri-o

для kubelet-а не нужно. Для dockerd нужно, если cgroup driver systemd. У меня в CentOS 7 так

У bootkube был такой режим. Решили отказаться, слишком легко разваливалось. Ещё был режим, когда kubelet был дкмонсетом и сам собой управлял :)

Фантазия у людей безгранична :)

Ребят, у кого GKE. Вы используете у себя их родной autoscaling?

У меня кластер региональный, с вот такой настройкой автоскейлера: от 1 до 5 нод в каждой из трех зон. Сегодня во время обновления кластер увеличился с 3х до 6 нод, а потом уменьшился до 5 нод

и до сих пор 5 нод

на кластере никакой нагрузки нет, не понимаю почему обратно до 3х нод не уменьшился

на кластере никакой нагрузки нет, не понимаю почему обратно до 3х нод не уменьшился

Не пользуюсь пока, но чтобы ноду убрать вроде надо чтобы на ней подов не было. Для этого нужен rescheduler , чтобы поды размазанные компактно на меньшем количестве нод запускать

Фантазия у людей безгранична :)

И времени много

Не пользуюсь пока, но чтобы ноду убрать вроде надо чтобы на ней подов не было. Для этого нужен rescheduler , чтобы поды размазанные компактно на меньшем количестве нод запускать

по документации GKE вроде оно само должно решедулить поды с загруженной ноды на остальные

https://medium.com/booking-com-infrastructure/introducing-shipper-daf9244e3882

прикольная штука, Иван показывал как это в живую работает, очень понравилось, надо посмотреть что внутри

Без амазон днс можно kops полнять