Tamerlan
зачем вам белые адреса для подов?
Tamerlan
поды эфемерны. вешайте тогда уже на сервисы белые адреса
Max
нет, нам нужно чтобы при переезде пода с ноду на ноду у нее был тот же айпишник
Tamerlan
Max
а исходящий трафик с этого пода был с тем же айпишником, а это недостижимо при использовании сервисов
Max
уточню, там UDP
V
Ребят кто-то уже использует loki на k8s там вышла стабильная версия, кто-то советует?
Max
поды эфемерны. вешайте тогда уже на сервисы белые адреса
не все пилят сайтики, будучи домохозяйками (yaml девелоперами))
Max
есть и другие кейсы
Tamerlan
мне кажется ваш подход расходится с самой идеей кубернетеса, и нужно подумать - используете ли вы правильный инструмент для этого
Евгений
Max
не расходится
Tamerlan
https://kubernetes.io/docs/tutorials/services/source-ip/
Max
нам нужно чтобы трафик шел конкретно на ту ноду, на которой запущен под
Max
и я хотел узнать, возможно ли это с BGP, или это только c L2/ARP достижимо
Max
нужно чтобы при запуске под лез в сеть с того айпишника, который я укажу
Tamerlan
а как вы прибиваете айпи к поду?
Max
а как вы прибиваете айпи к поду?
аннотацией "cni.projectcalico.org/ipAddrs": "[\"1.2.3.4\”]”
Евгений
как?
man iptables
Max
metallb
и так стоит, но это нужно сервис создавать каждый раз под под, и следить за тем чтобы они удалялись вместе с подом, поэтому нужно писать оператор, который берет айпишник пода и создает для него сервис, а затем удаляет
Max
хотелось чтобы это самим калико делалось нативно
Max
прошлый сисадмин, который собрал нам такую конфигурацию, посоветовал в будущем переделать на calico в режиме BGP
Sn00part
напоминает натяжение совы на глобус! а зачем такие ограничения?
Dmitry
почитал тред - вы хотите очень странного, 1 - в кубе под не переезжает (старый убивается и создаётся новый), 2 чтоб иметь статичную точку входа и придумали "сервис"
Max
напоминает натяжение совы на глобус! а зачем такие ограничения?
Мы запускаем игровые сервера в кубе, им нужно чтобы у них был свой выделенный ip-адрес. И крайне важно чтобы эти поды видели себя в сети с того же айпишника, на который к ним трафик приходит. И внешний айпишник должен быть за конкретным игровым сервером все время, даже при переезде на другую ноду
Andrey
ээээ не стоит так делать в принципе
Andrey
cluster-autoscaler + hpa вам в помощь
Dmitry
а вот calico (как и metallb) + BGB может анонсить IP сервиса именно с тех нод, где есть нужный под
Sn00part
так, ну это айпитейблс решается же и разного рода хидерами если речь про http
Max
а вот calico (как и metallb) + BGB может анонсить IP сервиса именно с тех нод, где есть нужный под
а разве оно не анонсит подсеть вместо конкретных ip-адресов?
Dmitry
это уже не первый заход любителей "игровых серверов" и "переезда подов"
Sn00part
я бы посоветовал выкинуть все эти калико и написать свой CNI плагин на баше или петоне и там все разруливать. видос есть про это с кубекона в мае в Барселоне
Andrey
можно, но абсолютно бессмысленно
Andrey
потому что планировщик куба чихать хотел на амазоновские полиси по скейлингу
Max
я бы посоветовал выкинуть все эти калико и написать свой CNI плагин на баше или петоне и там все разруливать. видос есть про это с кубекона в мае в Барселоне
слушайте, у нас и так все хорошо работает, просто хочется еще более нативно сделать, средствами дефолтных вещей, которые используются везде, без написания своих костылей, и одновременно без использования операторов
Dmitry
кстати вам ещё может помочь сервис с политикой "external traffic policy"
Dmitry
?
Max
я уже написал наверху что сервисы не подходят, так как под в интернет попадает с другого айпишника — с айпишника хоста
Sn00part
там NAT обычный
Max
поэтому метод, когда в поде только один айпишник и внешний — более чем подходит для нас)
Max
там NAT обычный
под в сеть ходит с другого айпишника
Max
не смотря на то что к нему трафик идет через сервис с нужного нам
Andrey
ага. в твоем случае еще и hpa, раз тебя волнует использование ресурсов подом. он будет плодить реплики подов, они будут зависать в pending, если не влезают на ноды, cluster-autoscaler будет подгонять под них машины.
Max
слушайте, это конечно все выглядит будто мы тут куб пытаемся заюзать не по назначению. Конечно это не веб-сервисы и специфика работы тут другая, но к сожалению нет никаких решений лучше чем куб, мы в этом говне варимся уже 9 лет, что только не перепробовали, и контейнеры оказались лучшим решением, а куб — отличным оркестратором, пускай мы от него берем лишь малую часть функционала. Я прекрасно понимаю свой юзкейс и что мне нужно. Я просто спросил как дела с calico bgp peering
Sn00part
в калико это работает. просто никто не парится
Max
Собственно у меня возникло несколько вопросов по bgp в калико: 1. Будет ли он анонсировать всю подсеть или только нужные ip-адреса? 2. Будет ли он анонсировать со всех нод, или только с той, где варится под?
George
пускай остальные утрутся
George
надо только сварить правильно
Andrey
ага
Sn00part
а ноды все в одной сети L2 ога ?
Max
если это мне
Igorь
Блин. Какие еще есть варианты запуска kube-proxy на мастере?
Sn00part
да нужна автономка своя тогда
Max
куда вы хотите анонсировать адреса? у вас своя AS?
Вот, это уже вторая часть вопроса. Мы не хотим под это делаю свою AS, а заюзать хостера. Назрел вопрос, можно ли организовать bgp пиринг конкретно между нашим кластером и их роутером (внутри ДЦ) используя их подсеть?
No1
так это к ним сходите 🙂 сделают
Max
кейс вдруг усложнился :)
со своей AS было бы проще?
Tamerlan
наверное можно ibgp использовать и не заморачиваться. маршрут до шлюза выстраивать а дальше пусть сам ебётся хостер
Sn00part
да блин, цидр раздать из белой подсети, навешать лейблов и теинтов, все експозить через нодепорт
No1
наверное можно ibgp использовать и не заморачиваться. маршрут до шлюза выстраивать а дальше пусть сам ебётся хостер
наверное можно костыль использовать и не заморачиваться. машрут-костыль до шлюза выстраивать а дальше нууу 🤣
Max
поясню: свой роутер не хочется ставить)
Sn00part
вот вам ниче не хочется, но чтобы работало )
Max
ну да)
Max
просто хотел узнать, вдруг это просто делается в калико, или может оставить как есть с metallb L2
Sn00part
если в штате нет сетевика, заморачиваться с кастомными настройками проблематично. что вы будете делать, когда все раздолбит в кашу? читать доки по бгп ?)
Max
конечно если бы в калико была встроена функция анонса айпишника по L2/ARP, было бы гораздо проще
Sn00part
я вот не сетевик, мне все это сложно, быстро не починю