Артем
И есть ещё вопросик, как можно сделать плоскую сеть, что бы POD IP были из той же сети что и другие локальные сервисы которые не в кластере k8s. Как я понимаю нужно сделать bridge , но вот какой CNI это может обеспечить
Если нужно, чтобы всё обновлялось динамически, то нужно настраивать BGP и использовать CNI, которые поддерживают его (kube-router, calico как примеры). Если кластер достаточно статичен (ноды редко удаляются/добавляются), то можно "сэмулировать" работу BGP и просто везде в сети прописать статичные маршруты. Т.к. CNI обычно выдаёт каждой ноде по определённое подсети для подов, то достаточно иметь маршруты, которые будут посылать траффик в эти подсети на соотв. ноды.
Sergey
Если нужно, чтобы всё обновлялось динамически, то нужно настраивать BGP и использовать CNI, которые поддерживают его (kube-router, calico как примеры). Если кластер достаточно статичен (ноды редко удаляются/добавляются), то можно "сэмулировать" работу BGP и просто везде в сети прописать статичные маршруты. Т.к. CNI обычно выдаёт каждой ноде по определённое подсети для подов, то достаточно иметь маршруты, которые будут посылать траффик в эти подсети на соотв. ноды.
Вы меня не правильно поняли. У меня в локальной сети есть сетка 172.16.184.0/21 в ней крутятся существующие сервисы итд итп, я хочу сделать плоскую сеть между имеющимися сервисами и подами в кластере k8s. Т.е чтобы под при старте из выделенного пула получал IP и без всяких дополнительных протоколов динамической маршрутизации. Т.е чтобы поды были в одном L2 домене с сущействующей инфраструктурой
Sergey
Как я понимаю нужно использовать что-то типа Host-network
Артем
или MetalLb
Артем
он отлично справится с этой задачей, проверено
Sergey
Мне нужна плоская сеть просто )
Andrey
возьми молоток и сделай плоской :)
Артем
ОК, чтобы и поды получали адреса из этой сети, и это всё разруливалось на уровне cni, такого решения я не знаю на данный момент, к сожалению :)
Артем
сообщите, если найдёте
George
Мне нужна плоская сеть просто )
Да заюзай фланнель. В чем проблема.
Andrey
сообщите, если найдёте
vpc native в GKE, в амазоне тоже что-то на эту тему есть
Артем
vpc native в GKE, в амазоне тоже что-то на эту тему есть
да, правда, облачные провайдеры такое умеют, а вот чтобы своими руками сделать...
Andrey
https://docs.projectcalico.org/v3.10/networking/determine-best-networking#unencapsulated-not-peered-with-physical-infrastructure
Andrei
Добрый день. Что значит |2- в конфигмапе? ... data: foo.cfg |2- some content |- это вроде мультистроковое значение. Где всех варианты посмотреть? Возможно это в ямл синтаксисе описано, но гуглится плохо.
Andrey
и сервисы не использовать (точнее, IP)
Anton
чтоб нат убрать
на входящем трафике?
Andrey
в обе стороны
Andrey
например, в GKE балансеры могут разбрасывать нагрузку напрямую на поды, а не через NodePort сервис
Andrey
а поды напрямую могут идти в какой-нибудь инстанс или cloudsql
Andrey
Да заюзай фланнель. В чем проблема.
фланнель как раз такого не умеет вроде
Anton
например, в GKE балансеры могут разбрасывать нагрузку напрямую на поды, а не через NodePort сервис
а если трафик полиси в сервисе балансера на локал поменять это не оно?
Andrey
нет
Andrey
а если трафик полиси в сервисе балансера на локал поменять это не оно?
вот оно https://cloud.google.com/kubernetes-engine/docs/how-to/container-native-load-balancing
Andrey
как раз для него требуется чтоб у подов были IP из той же сети, что и у вмок
Andrey
| - сохранять переводы строк - - удалить все переводы строк в конце 2 - удалить два пробела в начале каждой строки (indent)
Vadim
народ как доступ к приватному репу из кубера настроить? секреты надо для каждого неймспейса, как то неудобно
Vadim
для всего кластера чтобы раз и настроил
Andrey
для всего кластера чтобы раз и настроил
https://kubernetes.io/docs/concepts/containers/images/#configuring-nodes-to-authenticate-to-a-private-registry
𝚔𝚟𝚊𝚙𝚜
или MetalLb
Металлб для сервисов, он не прокидывает IP в под
Sergey
macvlan может решить этот вопрос?
Sergey
нет, главное чтобы они были в одной плоской сети
𝚔𝚟𝚊𝚙𝚜
нет, главное чтобы они были в одной плоской сети
Можете bridget заюзать https://github.com/kvaps/bridget/
𝚔𝚟𝚊𝚙𝚜
Ещё калико вроде умел что-то подобное
Anonymous
нет, главное чтобы они были в одной плоской сети
Я так понимаю вы хотите сделать так, чтобы поды создавались в реальной сети и все компьютеры в этой же сети могли спокойно видеть и заходить на поды
Anonymous
Я это понял, потому что у меня была подобная таска
Anonymous
Когда-то
Sergey
Когда-то
Эм, могу ли я поинтересоваться как Вы решили этот вопрос?
Sergey
Ещё калико вроде умел что-то подобное
Калико пробовал он не умеет это, он может сделать доступными сети через анонсирования этих сетей указывая в качестве nexthopip , ипшникс внешнего локального интерфейса
Sergey
Но это получится не плоская сеть, а маршрутизируемая
Anonymous
Эм, могу ли я поинтересоваться как Вы решили этот вопрос?
Она решается очень просто: Говоришь тому, кто дал такое задание, что это не является правильным подходом и не соответствует принципам Kubernetes и что вся сеть к подам должна создаваться через сервисы и ингрессы. Не существует такой задачи которую нельзя было бы решить посредством адекватных инструментов кубера. Моя таска решилась просто - я показал как эту задачу решает openshift и мы пересели на OKD
Anonymous
И были довольны
Sergey
Эм, а как эту задачу решает Openshift в часности какими средствами?
𝚔𝚟𝚊𝚙𝚜
macvlan может решить этот вопрос?
Может, но как ты его в куб затащишь?
𝚔𝚟𝚊𝚙𝚜
Кстати, сколько у тебя нод планируется?
Sergey
есть multus https://github.com/openshift/multus-cni
Sergey
Он вроде умеет ))))
𝚔𝚟𝚊𝚙𝚜
Можешь cni просто ручками сконфигурить, или ансиблем, смотри к примеру bridget он так и делает: просто конфигурит cni-bridge для каждой ноды, тоже самое можно сделать и с macvlan
Валентин
Может, но как ты его в куб затащишь?
Он ж в стандартных cni плагинах был, так что затащить можно. Но iptables часть сервисов работать не будет :)
𝚔𝚟𝚊𝚙𝚜
Кстати, там даже для DHCP ipam плагин был
Валентин
Ага, но он сильно простой, для "единого центрального dhcp на всю контору" не годится вроде
𝚔𝚟𝚊𝚙𝚜
Его можно к cni-bridge или cni-macvlan прикрутить, но лучше настроить статические рейнджи на ноду
Alexey
Ещё калико вроде умел что-то подобное
калико вряд ли сможет. насколько я понял пул калики должен входить в cluster-cidr иначе пакеты приходящие на воркеры не будут заворачиваться на поды. возможно я что-то делал не так но мои исследования привели к такому выводу
Sergey
у калико есть два режима , calico-ipam с кастомными пулами и алокациями ip из этого пула на поды
Alexey
подскажите плиз, у меня два разных пода с nginx и php-fpm, у них общая папка скриптов смонтирована через hostpath. и php-fpm не находит php файл при обращении. что не так? этот кейс вообще может работать?
𝚔𝚟𝚊𝚙𝚜
Кстати должен признать что стандартный подход bridge+veth интерфейсы работает намного стабильнее и его гораздо проще дебажить чем macvlan
Sergey
и есть ещё calico в режиме host-local ipam , тогда используется пул для аллокации PodCidr выделенный на ноде
Sergey
Разве это не то что тебе нужно?
Это способ аллокации IPшников но не более того
Alexey
Exec в под и php-fpm'ом и смотри что не так, скорее всего volumeMounts забыли для контейнера прописать
они есть, когда в в подах делаю ls /usr/share/nginx то показывается одно содержание
George
коллега хочет плоскую сеть, без всяких изысков. Разве у букинга не так же?
Andrey
без overlay
George
https://ritfest.ru/2018/abstracts/4005
George
фланел тоже. И никаких проблем
George
@nightguide посмотри доклад. В частности, 52 страницу. Может это то что ты хочешь, а может и нет
George
костыли какие-то
а ТЫ что предлангаешь?