Maksim

ну тебе впринцепе пофиг где и какой ip весит

𝚔𝚟𝚊𝚙𝚜

верно

Maksim

главное, что бы все были routeable

𝚔𝚟𝚊𝚙𝚜

все routable, т.к. находятся в одном L2-сегменте

Maksim

ты боишься что нода с externalIP загнётся под напором трафика?

𝚔𝚟𝚊𝚙𝚜

просто было желание все эти внешение IP равномерно размазывать по нодам, что бы не получилось так, что одна нода проксирует весь трафик из-за чего все начнет тупить

Maksim

ты хочешь что бы на нодах запускался только один под с IP ?

𝚔𝚟𝚊𝚙𝚜

ты боишься что нода с externalIP загнётся под напором трафика?

ну да, и в случае если откажет, минимизировать downtime для остальных сервисов тоже

𝚔𝚟𝚊𝚙𝚜

ты хочешь что бы на нодах запускался только один под с IP ?

в идеале да, но теоретически podов с IP может быть больше чем нод

𝚔𝚟𝚊𝚙𝚜

на самом деле я уже нашел решение

Maksim

Копать здесь Node Affinity/Anti-Affinity

Maksim

-)

𝚔𝚟𝚊𝚙𝚜

ага, это как раз и есть podAntiAffinity с preferredDuringSchedulingIgnoredDuringExecution

𝚔𝚟𝚊𝚙𝚜

чуть попозже попробую и приведу готовый yaml, если интересно

𝚔𝚟𝚊𝚙𝚜

ну в общем да, таким образом все внешние IP прекрассно размазываются по всему кластеру: https://gist.github.com/kvaps/889fe2b9eeab9f205c818ab1d1af56a9

Max

Приветствую, заранее извиняюсь за возможно нубский вопрос, но как сейчас правильно поднимать k8s кластер на убунте?

Max

Взял потестить новый ovn/ovs плагтн, вроде все собралось, но вот возник вопрос в поднятии кластера, чтобы указать верный cni

Max

В документации ничего актуального найти не удалось

Anonymous

Приветствую, заранее извиняюсь за возможно нубский вопрос, но как сейчас правильно поднимать k8s кластер на убунте?

на одном компьютере? если да, то minikube нужен

Max

environment следующий, 3 x ubuntu 16.04.2 каждая virtualbox vm, master/node/node, cni ovs/ovn 2.7.2

𝚔𝚟𝚊𝚙𝚜

Приветствую, заранее извиняюсь за возможно нубский вопрос, но как сейчас правильно поднимать k8s кластер на убунте?

я с помощью kubeadm подымал, полет нормальный, но я пока в тестовом режиме гоняю

𝚔𝚟𝚊𝚙𝚜

через ansible не завелось

Max

Не нашёл, как kubeadm сказать использовать cni ovs

Max

На сайте нет этого

Max

Цель завести плагин ovn-kubernetes

𝚔𝚟𝚊𝚙𝚜

ток там нюанс один, пока конфиг в /etc/cni/net.d не положишь, ноды будут NotReady

Max

#whois извините не представился, Максим, где работаю есть в linkedin, профиль сети и виртуализация, посоветовали в ru_devops, текущий проект k8s+ovs

Max

ток там нюанс один, пока конфиг в /etc/cni/net.d не положишь, ноды будут NotReady

Что за конфиг?

Max

Где вообще подробнее познакомится с этим, документация на сайте становится неактуальной на стадии написания по ходу

𝚔𝚟𝚊𝚙𝚜

Не нашёл, как kubeadm сказать использовать cni ovs

Дя начала скажу что я kubernetes только начинаю изучать, и хоть у меня конфигурация похожа на твою, учти мои советы не претендуют на правильность.

𝚔𝚟𝚊𝚙𝚜

Для начала установи на ноды kubeadm

𝚔𝚟𝚊𝚙𝚜

потом сделай кластер с помощью kubeadm init и kubeadm join

Max

Такая же фигня, я тыкал его раньше, но что-то там так сильно все изменилось, специфика работы основная не очень связана с этим просто

𝚔𝚟𝚊𝚙𝚜

потом когда ты сделаешь кластер ноды у тебя будут NotReady

Max

А как быть с тем что kubeadm бета и не рекомендовано для прода?

𝚔𝚟𝚊𝚙𝚜

потом тебе нужно будет установить твой network плагин

Max

С фланелью он у меня завелся, через kubeadm

Max

потом тебе нужно будет установить твой network плагин

Вот на этом моменте нет понимания :)

𝚔𝚟𝚊𝚙𝚜

вот как именно, это уже вопрос :)

Max

Именно :))

𝚔𝚟𝚊𝚙𝚜

ага, когда я поднимал weave я выпилил KUBELET_NETWORK_ARGS из /etc/systemd/system/kubelet.service.d/10-kubeadm.conf и все заработало

Max

Потому я и пошел искать альтернативный метод поднятия кластера, ладно завтра попробую juju manual

𝚔𝚟𝚊𝚙𝚜

но я не уверен что это true way

Max

В общем как было порнография из скриптов и костылей так и осталась

𝚔𝚟𝚊𝚙𝚜

да, старые скрипты тоже уже вроде не поддерживаются

Max

Буду искать тру вей, схожу к ним в слак, может там помогут

Max

ubuntu/kube-up.sh мне нравился

Max

Но он депрекейтед тоже

Max

Бинарии депрекейтед тоже

𝚔𝚟𝚊𝚙𝚜

мое мнение, что kubeadm хоть и бета, но наиболее адекватное решение на сегодняшний день

𝚔𝚟𝚊𝚙𝚜

что там сломаться может не пойму, оно либо сработает либо нет

Max

Ну ок, значит на повестке попробовать kubeadm и juju ( как убунту рекоммендед )

Max

что там сломаться может не пойму, оно либо сработает либо нет

Терпеть такие вещи не могу, черный ящик админить, не серьезно

𝚔𝚟𝚊𝚙𝚜

Терпеть такие вещи не могу, черный ящик админить, не серьезно

не, ну разобраться в теории полюбому надо

𝚔𝚟𝚊𝚙𝚜

а там уже любой tool будет понятно что примерно делает

Max

Ладно, спасибо за советы, значит я на правильном пути, завтра попробую отпишусь, может кому-то пригодится, если взлетит то может и на статейку созрею, но боюсь, что она к этому времени актуальность потеряет, что-нибудь перепишут опять :) грёбаный agile

𝚔𝚟𝚊𝚙𝚜

@maugli_13, а можешь про ovs рассказать? - почему на него выбор пал?

Max

Ну потому что это тру сетевое решение, работал с ним на kvm, и так просто колхозили разное

Max

Функционала встроенного масса, прямая интеграция в openstack

Max

Нативная поддержка vlan, туннелирования

Max

Планирую каждый чтобы каждый контейнер был подключен к своему порту в openvswitch, это позволит применять политики per container

Max

Плюс сервера носители контейнеров, планируется располагать в разных подсетях, а то и в разных локациях - возможно, если все взлетит

𝚔𝚟𝚊𝚙𝚜

а вы как-то централизованно админите ovs?

𝚔𝚟𝚊𝚙𝚜

если да, то чем)

Max

Вот у него сравнительно недавно появился ovn-controller

Max

Ну и плагин, для k8s

𝚔𝚟𝚊𝚙𝚜

благодарю

Anonymous

а кто хостится на azure? меня бесит, что я юзаю 1-5% от мощностей машины, но из-за ограничения на количество виртуальных дисков у меня уже 4 агента по 4к рублей каждый!

Anonymous

это как-то можно решить на azure или куда переехать можно, чтобы такой проблемки не было? у меня примерно 10-12 volumes получается