Валентин
openvpn - для того чтобы можно было на своей машине коннектиться к сервисам подам кубера. Про proxy forward через kubectl я знаю......но хотелось бы именно vpn
А что мешает к ним подключаться через ingress? Делать vpn со своей машины в кластер выглядит как-то безумно костыльно
Alexei
Не везде подойдёт ingress. Для той же sip/rtp телефонии, контейнеры - это боль (
Валентин
хм....а как подключаться через ingress ? можно пару ссылок
Поставить в кластер ingress контроллер и далее создать ресурсы типа ingress. https://kubernetes.io/docs/concepts/services-networking/ingress/
Й
С каких пор ВПН это костыли???
Валентин
Не везде подойдёт ingress. Для той же sip/rtp телефонии, контейнеры - это боль (
Ну вообще ingress ж не только на базе nginx есть (хотя вроде от комьюнити который научили пропускать чистый tcp), вроде есть haproxy как минимум, который может пропустить не-http через себя. Ну как один из вариантов. Или вообще делать плоскую сеть какую-то. Короче много вариантов
Stas
А что мешает к ним подключаться через ingress? Делать vpn со своей машины в кластер выглядит как-то безумно костыльно
Валь, мы юзаем почти в каждый кластер, vpn в кластере, проблем вообще нет) костылем не выглядит)
Валентин
С каких пор ВПН это костыли???
А с каких пор это НЕ костыль? ;)
Валентин
Для телефонии любые tcp прокси это все равно боль. Т.к в docker bridge использует nat. Пока мы живём на macvlan
Ну так можно ж не использовать nat, ну собственно ты ж дальше и пишешь что используешь macvlan, так что я не понимаю, в чем проблема. В кубе ж дофига разных cni сделано уже, можно найти подходящий.
Stas
А для чего вы его юзаете?
базы в кубе через stateful, доступ к ним организуем через впн, чтобы базы наружу не выводить
Aleksandr
Поставить в кластер ingress контроллер и далее создать ресурсы типа ingress. https://kubernetes.io/docs/concepts/services-networking/ingress/
вообщем с ingress я не оч понимаю.....получится что нада прокидывать кучу портов.....а с впн удобно.....и имена кластерные....можно по ним обращаться....
Aleksandr
базы в кубе через stateful, доступ к ним организуем через впн, чтобы базы наружу не выводить
Да у меня так то теже мысли......как заставить впн то работать ? )))
Stas
конкретно
Валентин
базы в кубе через stateful, доступ к ним организуем через впн, чтобы базы наружу не выводить
понял, ситуация "в кубе вообще всё, что есть". Окей, здесь vpn не выглядит странным решением
Aleksandr
а в чем проблема?
Поставил openvpn через helm, но на клиенте нет ни интернета, ни даже кластерной сети куба. На хостах кластера ip forward есть. Сеть Calico рабочая. Клиент коннектиться, но кроме пода openvpn с адресом кластера 10.*** больше ничего нет. Подскажите куда копать ? т.е. трафик за под не выходит....я так понимаю.....
Aleksandr
вся 10. сеть
Stas
securityContext: capabilities: add: - NET_ADMIN privileged: true
Stas
включено?
Stas
hostNetwork: true
Aleksandr
воот privileged: true ! не уверен.....а NET_ADMIN точно есть
Stas
push "route 10.101.0.0 255.255.0.0" push "route 10.233.0.0 255.255.0.0" push "dhcp-option DNS 10.233.0.3" роуты и нс
Stas
ну если у тебя подсеть та же
Aleksandr
securityContext: capabilities: add: - NET_ADMIN privileged: true
https://github.com/helm/charts/tree/master/stable/openvpn
Aleksandr
может нада что-то другое ставить ? ))
Aleksandr
хмм.....нашел https://github.com/adolli/openvpn.chart/blob/master/templates/openvpn-deployment.yaml форк с privileged: true
Aleksandr
попробую его
Stas
у нас свой собран
Aleksandr
я вычитал что вроде как калико закрыло форвард.....и нада открывать полиси.....но не оч понимаю чтоименно....
Aleksandr
хмм....вообщем да, в этом форке добавили... @@ -79,6 +79,8 @@ data: sed 's|OVPN_K8S_DNS|'"${DNS}"'|' -i /etc/openvpn/openvpn.conf sed 's|NETWORK|'"${NETWORK}"'|' -i /etc/openvpn/openvpn.conf + sysctl -w net.ipv4.ip_forward=1 + openvpn --config /etc/openvpn/openvpn.conf openvpn.conf: |- server {{ .Values.openvpn.OVPN_NETWORK }} {{ .Values.openvpn.OVPN_SUBNET }} diff --git a/templates/openvpn-deployment.yaml b/templates/openvpn-deployment.yaml index bea2607..5c54c2c 100644 --- a/templates/openvpn-deployment.yaml +++ b/templates/openvpn-deployment.yaml @@ -37,6 +37,7 @@ spec: - containerPort: {{ .Values.service.internalPort }} name: openvpn securityContext: + privileged: true capabilities: add: - NET_ADMIN
Aleksandr
у нас свой собран
Спасибо )) у меня с этими хаками все получилось
Vladimir
Там уже ничего не спасти
Отделение Bereke Bank
Зачем VPN в кубере 🤦‍♂️
Aleksandr
Да, я вот понимаю что это хак ! )) но как сделать через полиси ?
NM
ща я снес мастер, попробую iptables почистить
Там маршруты могут быть не прописаны - как выш сказали network policy может не сработать
Oleg
я кароче перестал трахать мозг и кубспрей мне все накатил без ошибок :)
Etki
Зачем VPN в кубере 🤦‍♂️
Чтобы иметь секурный доступ внутрь, не заморачиваясь с кубектл и не предоставляя лишний доступ тем, ком он не нужен.
Solyar
Закрываем кубер за впном. Избавляемся от тонкой настройки рбаков и полисей
Solyar
Отличный вариант)
NM
ip корректный. мастер заинитился на 10.0.0.2 - приватном адресе
Нода значит получает манифест со старым (внешним IP)
Oleg
Можно было так сделать с самого начала
можно было. но я хотел кубадмом поднять :)
Solyar
можно было. но я хотел кубадмом поднять :)
А с чем там у вас не срослось?
Solyar
С джоином нод?
Oleg
С джоином нод?
да я просто первый раз поднимал HA мастера. вот изучал новые фишки с control-plane флагом. и почему то у меня сетка калико не апплаилась нормально. поды лежали
Oleg
ноды то джоинились - не было днс в кубе
Oleg
и сетки )
Solyar
Ууууу
Etki
Если гигабайты лить не надо, то kubectl кмк больше подходит
Это потому что вы все привыкли с ним иметь дело, а теперь представьте пхпшника, которому прям сейчас надо подключиться дебаггером, а тулчейна он в глаза не видел Представьте админский хттп апи, который не стоит выносить наружу
G72K
Я честно пытался использовать kubeadm join, но не осилил :( там нет никакой связи между джоин токеном и нодой, от этого оно на голой ОС, используя только этот джоин, не может скачать конфиг кублета специфичный для этой ноды. Решения кубадма - раскладывать kubeadm.yaml на каждую ноду,но если уж раскладываем файлы, мне не трудно самому положить bootstrap.conf и kubelet.yaml для кублета , нафиг мне этот kubeadm тогда
G72K
Плюс оно хронически несовместимо с доступом к аписерверам через локальный nginx на ноде.
Etki
Нужды пхпшника?
G72K
Нужды девелоперов :) цеплялись профайлерами и дебагерами к jmx нормально
Etki
Я пока не очень представляю, как это работает, но операционные затраты все равно выше чем раз развернуть сетку.
Lucky SB
Коллеги, не могу найти картинку, где штурвал куберенетися с костылем и багами. киньте ссылкой плиз
Artyom
Lucky SB
спасибки
NM
Я опять буду ругаться - бл#!@# сцу#!@#!@ - опять купили:
G72K
Есть ещё banzai cloud pipeline, сидит в закладках на посмотреть
George
Телефония вообще с натированием в кубе очень плохо себя чувствует. Интересно, как решают коллеги эту проблему
Solyar
Ребят а подскажите, есть nginx в кубере как reverse_proxy но форвардит свой IP в хедерах. Кто-нибудь сталкивался?
Solyar
Структура такая: White IP -> Nginx Service (LB) (reverse_proxy) -> App Service -> Deployment
George
Он ингресс ?
George
Тебе нужно и nginx, и ингресс настраивать. Либо менять лб