jfyi еще минимум два способа как попасть в обход kubectl exec есть

главное ИБ-шникам не рассказывай

Не используй это!

каков твой совет по baremetal и DNS'ам?

локальный bind с зонами

https://gravitational.com/teleport/ умеет exec сессии логировать

куда домен направлять? на серый IP? :D

думал подсунуть его в /etc/ssl/certs/ca-certificates.crt - но так не работает

Подскажите, пожалуйста в чём у меня ошибка ? Настраиваю кластер - три bare-metal сервера - все мастера и поды тоже на них планируется запускать. Сеть - calico Кластер настраивался kubespray Хочу настроить ingress. Если настроить его рекомендованным путём (https://github.com/kubernetes/ingress-nginx/blob/master/deploy/provider/baremetal/service-nodeport.yaml) - то ломается доступ к api kubernetes, т.к. он тоже провешивается на 443 порт на 10.233.0.1 Ок, вешаю его без указания типа с использованием External IP В этом случае этот IP вешается на интерфейс kube-ipvs на каждом мастере и как следствие регулярно случаются конфликты за IP - например падает ssh-соединение. Вопрос - как вы настраиваете bare-metal кластера ? Возможно, вы видите явную ошибку. По запросу могу приложить конфиги - вопрос что именно отправить.

привет. а порт на который пробрасываете не хотите сменить?

нет, http/https хотелось бы принимать на своих портах.

ну так что-то другое убрать с этих портов...

И еще один вопрос - по документации и коду Service type: LoadBalancer - это только для облаков. по коду в случае использования такого типа сервиса должна отдаваться ошибка: https://github.com/kubernetes/kubernetes/blob/a3ccea9d8743f2ff82e41b6c2af6dc2c41dc7b10/pkg/controller/service/service_controller.go#L226 У меня же почему-то такого типа сервисы успешно создаются.

Вопрос-то в том, что с практикой указывания External-IP на интерфейсе kube-ipvs на всех нодах - у меня так и так будут конфликты этого IP как этого избежать?

например потыкать metallb. и load balancer у вас заработает после этого. главное чтоб свободные адреса в сети были, или выделить отдельную сетку и закинуть в AS по BGP

А можно подробнее про отдельную сетку - чем это поможет и в каких случаях ? Выделить сетку в локалке - не проблема в целом.

у вас появится отдельная сеть, ip из которой будут автоматически выделяться при создании loadbalancer сервиса

Подскажите, пожалуйста в чём у меня ошибка ? Настраиваю кластер - три bare-metal сервера - все мастера и поды тоже на них планируется запускать. Сеть - calico Кластер настраивался kubespray Хочу настроить ingress. Если настроить его рекомендованным путём (https://github.com/kubernetes/ingress-nginx/blob/master/deploy/provider/baremetal/service-nodeport.yaml) - то ломается доступ к api kubernetes, т.к. он тоже провешивается на 443 порт на 10.233.0.1 Ок, вешаю его без указания типа с использованием External IP В этом случае этот IP вешается на интерфейс kube-ipvs на каждом мастере и как следствие регулярно случаются конфликты за IP - например падает ssh-соединение. Вопрос - как вы настраиваете bare-metal кластера ? Возможно, вы видите явную ошибку. По запросу могу приложить конфиги - вопрос что именно отправить.

Я писал об этом, у вас IPVS?

И еще один вопрос - по документации и коду Service type: LoadBalancer - это только для облаков. по коду в случае использования такого типа сервиса должна отдаваться ошибка: https://github.com/kubernetes/kubernetes/blob/a3ccea9d8743f2ff82e41b6c2af6dc2c41dc7b10/pkg/controller/service/service_controller.go#L226 У меня же почему-то такого типа сервисы успешно создаются.

Писали где ? IPVS, да. Глупый вопрос, но, возможно, есть быстрый ответ: > Используйте отдельный адрес, который не слушают кубелеты Кубспрей позволяет его задавать ? Что порекомендуете для установки кластера ?

Сервисы создаваться будут, но IP не получат. Для Baremetal можно использовать MetalLB, с пулом адресов, которые вы будете выдавать сервисам. IP должны быть свободными

Для меня просто странно, что без metal lb ничего не работает. но огромное спасибо за советы, будет внедрять чуть раньше, чем планировалось :)

> Писали где? Писал много раз здесь, не вам) > Кубспрей позволяет его задавать ? Кубеспрей деплоит кластер, остальное ложится на вас, вы писали что вручную указываете externalIP для сервиса - вот этот IP-адрес не должен существовать

Огромное спасибо за ответы! Этот пункт сильно не понятен: > externalIP для сервиса - вот этот IP-адрес не должен существовать но я завтра еще перечитаю и задам вопросы.

а что будет endpoint этой haproxy ?

Но если есть возможность, то лучше keepalived, т.к. для балансировки api-server он все равно понадобится

я вот не очень понимаю кто обеспечивает доступность 10.233.0.1 в kubespray, но вопрос зачем тут keepalived https://gist.github.com/bazzilio/938620e4221e8399842be4d67e41e1ed#file-kubectl-get-o-yaml-endpoints В общем, какие минусы у MetalLB по сравнению с keepalived > в качестве endpoint's haproxy будет api-сервер А ingress ?

kubespray вешает nginx в качестве haproxy на каждую ноду, а кубелеты стучатся в localhost

нет там nginx, там kube-proxy.

> А ingress ? Под ingress отдельный IP в keepalived, нужен только IP, т.к. дальше kebe-proxy сам на ингресс отправит

Поэтому я еще задам отдельный вопрос - а у кого-то есть bare metal, установленный через kubespray ? Можете опытом поделиться ? Или лучше, как советует сообщество - поставить через kubeadm ?

kubespray вешает nginx в качестве haproxy на каждую ноду, а кубелеты стучатся в localhost