Привет! Помогите разобраться сетью в кубере. Есть под который сконфигурён с сетевым сервисом типа loadbalancer. Я бы хотел повестить порты пода на lo0 интерфейс хоста и через хапрокси делать проброс трафика на порты пода. Может есть ещё рецепты?

не делайте так. не надо вешать порты пода на lo0 интерфейс хоста. он у вас один - берегите его. второй такой же под вы не повесите, потому что порт будет уже занят первым подом service типа NodePort поможет

Там не хватает конфига ингресс для самого dashboard. После ридеректа в браузере я вижу 404 так ингресс не понимает все что после адрес dashboards

Хотя по хорошему не мешало бы на https://kubernetes-dashboard.kube-system поменять, чтобы не хардкодить к cluster.local

Так не работает

kubectl get svc -n kube-system kubernetes-dashboard

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes-dashboard ClusterIP 10.233.44.69 <none> 443/TCP 243d

значит у тебя с дашбордом чет не так

значит у тебя с дашбордом чет не так

C дашбордом все ок. Не работает ридерект через ingress

Ну у меня ingress предельно простой, eg: apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: kubernetes.io/ingress.class: nginx name: kubernetes-dashboard-proxy spec: rules: - host: dashboard.example.org http: paths: - backend: serviceName: kubernetes-dashboard-proxy servicePort: 80 tls: - hosts: - dashboard.example.org

Даже статик поды не работают :(

хмм, у нас работают

без cni?

Для дашборда не нужен ингресс, прокси стучится напрямую в svc

а какая версия cri-o?

- —redirection-url=https://kubernetes-dashboard.example.org это что за адрес тогда?

это тот url, на который отправит тебя keycloak после удачной авторизации

это адрес твоего прокси

он передает этот url keycloak, когда перенаправляет на форму авторизации, что бы тот знал куда вернуть пользователя обратно

Ну LINSTOR состоит из двух частей: control-plane и бэкенд с drbd9 в главной роли. Сам control-plane пока что еще сыроват и видимо еще не все успели запилить, к примеру модель прав и шифрование общения контроллера с сателитами - есть только в зародышевом состоянии, т.е. она в принципе есть, но интерфейса к ней нет. Я эту проблему решил шифруя все общение через stunnel запущенный сайдкаром, работает збс! В control-plane бывает случаются непонятные баги лечащиеся рестартом, но в последнее время вроде все пофиксили и стало намного лучше, благо разработчики оч. активно работают с комьюнити и отвечают на любой присланный им issue. А в случае чего весь control-plane можно полностю выпилить на время, все что работало - продолжит работать. По бэкендам - их может быть несколько: LVM, thinLVM и ZFS. Мы юзаем LVM и thinLVM. (второй поддерживает снапшоты), для репликации используется DRBD9. С ним проблем почти нет, за исключением того, что прежде чем его в серьез использовать, нужно сначала потюнить его под вашу сеть, а так же настроить кворум или выставить политики разрешения split-brain, все это можно выставить в качестве глобальных параметров в linstor. Кстати drbd9 также поддерживает RDMA. Еще мне не нравится старый flexvolume драйвер, но благо его сейчас переписали на нормальный CSI. К сожалению все созданные старым провижионером тома, по прежнему продолжают использовать старый flexvolume драйвер, я пока не придумал как это решить. Так же советую использовать нормальную бд, например Postgress, вместо встроенной H2. Это не критично, но по мне с постгрессом работать куда приятнее и удобнее чем с H2, ну и бэкапить конфигурацию можно в SQL/

[error] the cookie is set to secure but your redirection url is non-tls

а я правильно понимаю, что могу из существующих трех серверов с живыми данными, собрать linstor ? На сколько я помню надо дополнительно сделать разделы для метаданных только

Что такое живые данные?

нужно либо https, либо отключить SecureCookie у keycloak-gatekeeper

нужно либо https, либо отключить SecureCookie у keycloak-gatekeeper

ну линстору бэкенд нужен какой-нибудь - это может быть lvm, zfs или thinlvm, если у вас есть свободное место в lvm на нодах, то можно, да

хорошо хоть кублеты научили автоматически сертификаты обновлять. но опять эта фича выключена по дефолту

хм, а есть куда-нибудь посмотреть в мануалы по этому поводу?

https://kubernetes.io/docs/tasks/tls/certificate-rotation/

спасибо!

Кстати, а есть какая-то сравнительная статья про докер, крио и контейнерд?

https://habr.com/ru/company/flant/blog/443458/

не знаю чего флантовцы не форвардят свои статьи сюда, они довольно хорошие

Потому что предыдущие их творения вызывали у меня много вопросов)

посмотри можешь ли ты вообще поды запускать, пусть и с хостневорком

Не, не могу, похоже какой-то специфичный для Ubuntu баг DEBU[...] Running conmon under slice and unitName crio-conmon-fc14...007.scope WARN[...] Failed to add conmon to systemd sandbox cgroup: Invalid unit name ''

https://habr.com/ru/company/flant/blog/443458/

Спасибо! Я собираю кейсы и пишем. Я сюда стесняюсь кидать, потому что пиар как-то невежливый получается.

тут грань тонкая конечно, но если вежливо и не 3 раза в день, то я бы почитал с удовольствием

Никто

Кто настраивал правила ingress с path: /*?

Убери * и все заработает. Ну надо ж ответить