бриджи и туннели

https://www.projectcalico.org/learn/

я сам не сетевик) так слегка понимаю. и все)

представляю как у меня на 3х хостах будет между 40 контейнерами сетка с bgp :)

бенч так и показывает. l3 быстрее, чем l2

плюс-минус так я тоже понимаю

почему l2?

ну все эти *lan

а, я понял

это l2

bgp это опционально

ну да, с другой стороны для vxlan всё должно быть в ядре и без значительного оверхеда, нежели это делать в юзерспейсе

ну да, с другой стороны для vxlan всё должно быть в ядре и без значительного оверхеда, нежели это делать в юзерспейсе

а маршрутизация не в ядре? :)

а маршрутизация не в ядре? :)

то есть?

ты к тому, что на уровне апликейшена надо маршрутизировать?

ну ммм, вы говорите "с другой стороны для vxlan всё в ядре", противопоставляя это bgp на l3.

vxlan это попытка сделать l2 over l3

ну ммм, вы говорите "с другой стороны для vxlan всё в ядре", противопоставляя это bgp на l3.

не, не противопоставляю ни в коем случае

тогда ок, я не так понял. пардон.

в интернете кто-то прав :)

l2 l3 l2 бритву рассела берём и остаётся просто l2)

куда бы я не приходил работать, везде были сетевики и меня сеть не касалась, поэтому я очень-очень смутно могу дискутировать про сеть :) так, размышляю, насколько overlay с vxlan будет медленным

>насколько overlay с vxlan будет медленным достаточно быстрым. тут скорее вопрос, насколько overlay с vxlan будет стоить cpu.

vxlan много теряет на костылянии эмуляции arp и vtep

вот

https://www.slideshare.net/mobile/enakai/how-vxlan-works-on-linux

vxlan много теряет на костылянии эмуляции arp и vtep

в небольшой сети arp не должно быть дорого эмулировать

throughput на гигабитных линках у меня просел ровно на расчетные пару процентов (уменьшение mtu за счет инкапсуляции с сохранением пакетрейта)

vtep там userland

throughput на гигабитных линках у меня просел ровно на расчетные пару процентов (уменьшение mtu за счет инкапсуляции с сохранением пакетрейта)

сетап близкий к продакшену с кучей сервисов? или 1 контейнер шлёт, 2 принимает?

а если в упряжке быстрых коней один дохлый, то они все медленно поскачут же

ну или не сразу, а со временем

сетап близкий к продакшену с кучей сервисов? или 1 контейнер шлёт, 2 принимает?

тесты на синтетике были. инкапсуляция мне все равно не особо нравится, поэтому я отпилил.

а если в упряжке быстрых коней один дохлый, то они все медленно поскачут же

ну вот как раз про это я не особо переживаю, на маленьких кластерах подов будет не так много, чтобы от arp что-то загнулось

а на больших наверное нужно что-то придумывать будет в любом случае

фактически разницы особой нет. в случае calico у вас control plane = bgp + etcd, data plane = pure routing, в случае с vxlan control plane = etcd + какая-то штука, которая наполняет таблицу соответствия адресов, а data plane = vxlan encapsulation. в любом случае есть control-plane в юзерспейсе, который когда-нибудь загнется, и data-plane в ядре. функции у них +- одинаковые. ручаться, что bird + etcd быстрее, чем libnetwork + etcd/flannel + etcd - я б нистал.

фактически разницы особой нет. в случае calico у вас control plane = bgp + etcd, data plane = pure routing, в случае с vxlan control plane = etcd + какая-то штука, которая наполняет таблицу соответствия адресов, а data plane = vxlan encapsulation. в любом случае есть control-plane в юзерспейсе, который когда-нибудь загнется, и data-plane в ядре. функции у них +- одинаковые. ручаться, что bird + etcd быстрее, чем libnetwork + etcd/flannel + etcd - я б нистал.

спасибо, буду изучать

да, sounds reasonable

))

Всем привет

кто-нибудь пробовал развернуть свежий kubernetes на AWS? У меня виснет на шаге Waiting for cluster initialization

в логах api сервера чисто, видимо он даже не запускался

разворачиваю стандартным способом, баш скриптов из репозитория

попробуй через kubeadm

есть так же ansible варианты

kubeadm не настроит на aws оверлей сети, не создаст всех нужных сущностей, типа секьюрити групп эластик ип и прочего

ну это все ручками нужно будет настроить

к тому же с kubeadm придется изобретать механизм поднятия миньёнов кубернейтеса на свежесозданных нодах и подключения их к кластеру

при автоскейлинге нод

поэтому хочу как-то залечить нативный скрипт для авс

попробуй через kubeadm

kubeadm постоянно! виснет при сетапе

ну да не без этого, нужен бубен

у меня работает

какая версия?

и в каком регионе?

https://github.com/kubespray/kargo

1.4 eu

им в слаку можно написать. и тут есть контрибуторы

если что багает или фича нужна

я на гитхаб написал

и на стековерфлоу

я про карго)

аа, спасибо)

Парни, а терраформ никто не использует?

у меня работает

ты имел в виду у тебя работает с карго?

ERROR: S client not available

@hrdcdr на счет развертывания из репозитория, на какой ос разворачиваешь? смотри рекомендации в мануалах

Скрипт запускаю с дебиана, для кластера тоже поднимаются дебианы

Джесси

да я карго разворачивал

в авс

нормуль все

Раньше работало, но тогда куб был 1.3

вот debian в мануалах не видел

видел ubuntu

и у тебя скорее всего это все не работает из-за systemd

в дебиан работает даже лучше

там хоть гребаную aufs пофиксили с горем пополам

или как там её зовут щас

overlay2 надо использовать

Между работает и не работает изменилась версия кубернейтеса, ОС та же

ну мы обсуждали уже оверлей

для прода не совсем подходит

ядро надо 4

БТР тогда уж

Андрей, проверь ключи для сервисов. там они изменились между 1.3 и 1.4

кубелет, аписервер

етцд надо ставить v3

Про ключи и етцд не понял, это же все скриптом хэндлится

каким?

ссылку

и ошибки покажи

етцд жив там?

Для развертки кластера

kubectl get no

kubectl get po

etcdctl cluster-health