G72K
Кубер может обмазываться network policies. Но какой от этого толк, когда сети еще нет.
CNI делает сеть, оно не делает network policy. Этим занимается агент на каждой ноде, который использует то, что CNI насоздавала
Petr
Было бы интересно посмотреть на бенчмарки сетевых плагинов для >100-нодных кластеров
Sn00part
Калико работает как обычно, там тоже есть куча багов и прочего дерьма.
Sn00part
Фланель норм работает, это да.
Sn00part
И то на паре ядер из семейства ченить три десять, умудрились поломать
Mikhail
первый опыт с flannel - потерял лизы нод :) вот багов где нет)
Mikhail
везде баги, везде. нет такого чтоб багов не было. все падает, все ломается
𝚔𝚟𝚊𝚙𝚜
Sn00part
да, поэтому тут 4к чуваков сидт и усиленно читает чат, а кто-то еще и пишет, хотя казалось бы.
NM
Калико работает как обычно, там тоже есть куча багов и прочего дерьма.
Там всего понапихали. Дерьмо в том что добавляя новую физику начинается попытка инициализации интерфейса калико и ещё раздел полису по bgp криво считает что это его право ;-)
Petr
А такие есть?
Из этого сообщения у меня сложилось такое впечатление: https://t.me/kubernetes_ru/211477
Sn00part
В кубе 3 разных сети
да нет в кубе сети, там есть интерфейс для подключения плагинов CNI
𝚔𝚟𝚊𝚙𝚜
да нет в кубе сети, там есть интерфейс для подключения плагинов CNI
Сеть сервисов (kube-proxy) Сеть подов (CNI) Внешняя сеть (metalb и же с ним)
Petr
Фланнел да
Я вот до сих так и не могу понять чем же фланнел так хорош - там ведь вообще ничего нет. Он подойдёт максимум для маленьких кластерочков из 10 нод внутри частной сети, которые никогда не будут расширяться
NM
Сеть сервисов (kube-proxy) Сеть подов (CNI) Внешняя сеть (metalb и же с ним)
Металb не везде и не на каждом линухе сработает
𝚔𝚟𝚊𝚙𝚜
Sn00part
ну и что тут часть кубернетеса? только CNI, что сетью подов не является, это интерфейс для подключения плагинов. ну и кубе-прокси+, который не будет работать, пока ты не настроишь third-party plugin для работы сети
Sn00part
как ?
Sn00part
kube-proxy это дикий враппер для iptables на хостноде.
Sn00part
а подам как между собой общаться?
𝚔𝚟𝚊𝚙𝚜
как ?
Ну свою функцию он выполнять будет, так что любой под с hostNetwork: true сможет общаться с сервисами
Sn00part
а, ну точно, хостнетворк.
Sn00part
без CNI ничего работать не будет вообще
Sn00part
ну, вы попробуйте окда
𝚔𝚟𝚊𝚙𝚜
без CNI ничего работать не будет вообще
Кстати у кубелетов есть режим работы без CNI, емнип он а GKE используется
Sn00part
нет сети в кубере, ее выпилили из in-tree. скоро и стораджы выпилят
Sn00part
пжлста, пишите или подключайте плагины
Sn00part
а кубелеты и прочее, это же контролплейн, ну пусть работает, а толку то
Sn00part
чо толку от работающего кубелета, если на нем ничего запустить нельзя кроме однострочного хелловорлда?)
Sn00part
и то, с трудом )
Sn00part
от сетей они открестились и выпилили, аминь епта
krakazyabra
Sn00part
а в суровых сибирских условиях до 8! (с)
Oleh
5 + Etcd x3 ))
Oleh
И не 5 а 6 . Аписервер, контролер, шедулер, прокси, кубелет, кубцтл
𝚔𝚟𝚊𝚙𝚜
krakazyabra
5 + Etcd x3 ))
Я ещё в неймспейсе etcd поднимаю. И coredns. Н-независимость!
𝚔𝚟𝚊𝚙𝚜
5 + Etcd x3 ))
Про CRI не забываем
Oleh
Ну тогда вообще, runc, containerd, crictl ...
Sn00part
а кубенет нихера же не умеет, ни роутинга, ни ната. ему надо еще клауд провайдера, который это все решает
Sn00part
и там еще пяток флагоф надо, что сильно меркнет перед =cni и иметь все искаропки
Sn00part
хотя может я опять ошибаюсь, как обычно )
Stas
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
Sn00part
))
Sn00part
выступать - это сложно!
Sn00part
ранчер 1.6 надо убирать, там же трисичуха полная )
Stas
Нельзя убрать сразу. Там у людей свои сервера и костыли. Они не могу в куб переехатт
Sn00part
=уберем через 18 лет, после появления квантового канпутера!
𝚔𝚟𝚊𝚙𝚜
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
Отличный доклад, спасибо! Теперь я имею представление что из себя представляет metal3 :)
𝚔𝚟𝚊𝚙𝚜
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
По вопросу оптимизации флешек: можно держать по rpi на каждый L2-домен)
𝚔𝚟𝚊𝚙𝚜
@kvaps https://youtu.be/QLzL-yPC-jo?t=5512 Во я отстрелялся
Про redis не понял, зачем он вам нужен?
𝚔𝚟𝚊𝚙𝚜
Stas
Про redis не понял, зачем он вам нужен?
Provisioning api кешируют приходящие статус апдейты в редис
𝚔𝚟𝚊𝚙𝚜
кстати grub2 тоже имеет достаточно широкие возможности по сетевой загрузке и кроме того может расширяться с помощью lua
Sn00part
щас набигут апологеты с хабра
Sn00part
пойду спрячусь
Anatolii
Stas
Ага dhcp + ipxe,
Их обслуживать надо плюс фабрика и роутинг требуют соблюдение топологии определенной. Больше проблем чем от влэшки
Sn00part
тут народ еще к системд не привык, а тут такое
𝚔𝚟𝚊𝚙𝚜
Их обслуживать надо плюс фабрика и роутинг требуют соблюдение топологии определенной. Больше проблем чем от влэшки
Ну там можно какой-нибудь pixiecore развернуть который в HTTP-api смотреть будет и все настройки из него брать
Stas
А если кэша нет?
Если Кеша нет то плохо. Сервер может сгрузить статус в любую реплику апи, а контроллер не знает с какой забирать
Stas
Ну там можно какой-нибудь pixiecore развернуть который в HTTP-api смотреть будет и все настройки из него брать
Да и дхцп релей можно впиндюрить так то если поприседать только зачем. Схема которую я рассказал железобетонная, не требует хранения состояния Лиз на дхцп
𝚔𝚟𝚊𝚙𝚜
Да и дхцп релей можно впиндюрить так то если поприседать только зачем. Схема которую я рассказал железобетонная, не требует хранения состояния Лиз на дхцп
не, я имел ввиду использовать dhcp только для раздачи загрузчика, а внутри все тотже ipxe-скрипт, так что никакого состояния хранить тоже не надо, rpi везде одинаковые и смотрят в один общий api