я создал я создал, https://t.me/rancher_ru

Здесь есть люди, которые юзали ранчер в проде, например я. Можешь спрашивать, если что-то интересно)

сколько сервисов хостили?

В процессе переезда ещё. На текущий момент было около 15, что-ли. Вместе, правда с инфраструктурными вещами: графанки, инфлюксы и прочее. По контейнерам суммарно где-то пока набирается штук 150.

Но пободался я с ним и его разработчиками знатно.

Или, для того, чтобы сделать post replicationcontroller нужно clusterrole?

Да. Всё верно. Вопрос отпал)

https://kubernetes.io/docs/concepts/services-networking/ingress/ "kubectl get ing NAME RULE BACKEND ADDRESS test-ingress - testsvc:80 107.178.254.228 Where 107.178.254.228 is the IP allocated by the Ingress controller to satisfy this Ingress. The RULE column shows that all traffic send to the IP is directed to the Kubernetes Service listed under BACKEND" Нигде не могу найти, как задать свой IP?

никак

ip прилитает от ingress контроллера

https://kubernetes.io/docs/concepts/services-networking/ingress/ "kubectl get ing NAME RULE BACKEND ADDRESS test-ingress - testsvc:80 107.178.254.228 Where 107.178.254.228 is the IP allocated by the Ingress controller to satisfy this Ingress. The RULE column shows that all traffic send to the IP is directed to the Kubernetes Service listed under BACKEND" Нигде не могу найти, как задать свой IP?

можно еще service.type=ExternalIP заюзать , правда трафик будет литься напрямую в поды, минуя ingress controller

а где в Ingress контроллере настроить, чтобы прилетал нужный ?

Получается, нужно ещё создать clusterrolebinding?

Да, если RBAC включён

а что с ингресс случилось https://pastebin.com/mkj9UXsc

после обновления кубернетиса до 1.6.4 поломался ингресс.

Annotations: kismatic/version=1.3.3

Image: gcr.io/google_containers/nginx-ingress-controller:0.8.3

кто сталкивался?

nvm обновил версию заработало все опять

не могу заставить daemonset запускать поды на всех нодах, на контроллерах не запускает. при этом ошибок нет, просто desired стоит меньше, чем нод в кластере. tolerations выставлены 1-в-1 как в рядом запущеном daemonset, который запускает поды везде без проблем. глаза сломал сравнивать конфиги :(

С kubeadm нет же файрвола изкоробочного никакого? То есть единственный вариант - ручками на всех машинках править iptables?

а зачем он? там по идее все закрыто, наружу торчат только exposr

Так и есть, но иногда хочется дополнительно и это фильтровать.

А, нет, погодите-ка. Там всё наружу торчит, наоборот.

всё что на подах нет. а сервисы кубернетеса можно прикрыть вручную на хосте. н в теории это все на серой сети работает все равно

На INPUT всё прикрыто руками, что с интерфейса, торчащего в интернеты, кроме явно определенных адресов других нод.

Сказать ноде, что для кубернетеса всё пускать через такой-то интерфейс, а экспозить на таком-то интерфейсе - это через InternalIP и ExternalIP в итоге или как?

н у вот в кубернетесе ничего такого быть не должно. там торчит один айпишник лоадбалансера и на нем тупой nginx или haproxy

или ещё какой балансер

их вроде хватает

Ну, когда есть локалочка отдельная, чтобы оверлей-сеть поверх нее была, а то, что через ингресс наружу выставляется - было на другом интерфейсе.

у тебя серваки друг к другу по инету ходят?

Пока да, приватной сети нет.

докер свой оверлей на белых адресах строит? там хост1 со своей сетью серой, хост2 с другой. никто никуда не ходит и друг друга не видит. кубернетис их контачит сам. фланель там или калико или ещё что

и даже эти сети серые. а экспозится должен сервис в один два адреса или сколько там ингресов стоит. двух хватает за глаза

покажи ip r

Ну, вот, например default via 99.111.222.1 dev ens3 10.32.0.0/12 dev weave proto kernel scope link src 10.32.0.1 99.111.222.0/24 dev ens3 proto kernel scope link src 99.111.222.33 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown

ну вот weave контачит между собой хосты докера

что конкретно тебя пугает и что ты хочешь фильтровать?

Ну, а он поверх UDP работает ведь, так?

угу

Просто неприятно, когда наружу светятся какие-то порты. :\ Хочется, чтобы weave поверх одной сети строился, а торчали ингресы наружу - с другой. Как минимум если есть приватная сеть быстрая, хотя бы из-за скорости.

это некая кастомная имплементация vxlan

дропай все кроме weave и лоадбалансера где expose)

Собственно, пока ручками так и делаю. :)

Но вот должна подъехать приватная сеть, поэтому интересно сразу, как между собой заставить ноды общаться через нее, а ингресс висеть на той, что во внешку торчит. Просто указать из под нужных интерфейсов InternalIP и ExternalIP для нод?

ну смотря как там все смаршруьизируют

Котики, ещё один нубский вопрос у меня. Как вы вообще объединяете/запускаете/именуете связанные сущности в кубах. Вот к примеру в ранчере есть понятие стека в котором запускаются сервисы(поды в кубе) и нейминг контейнера идёт как stackname_servicename_uuid. Что юзается в кубах? Неймспейсы или какие-то хитрые лейблы?

@ketchoop в поде вы можете запустить несколько контейнеров

А так, если связка логическая, то лейблы

Именно логическая. Мне не нужны сайдкары

Пример — есть приложуля и у неё есть к примеру база, очередь и пр.

То есть мне нужны лейблы фигачить. Типа нейминг будет database, а лейбл — my_app_name?

Конфликта не будет с неймингом? Если у меня такое же имя есть — database

В ранчере решается это на уровне стекнейма.

этот вопрос тут всплывает с такой частотой, что впору его пинить. Нет такого способа. Карго для любителей ансибла, марсианский кукбук - для любителей шефа, кубе-адм для маленьких тестовых инсталляциях

странно, что не упомянули kops

странно, что не упомянули kops

потому, что вопрос был про Bare Metal

упс

Именно логическая. Мне не нужны сайдкары

Можно разделить на namespace

kismatic работает лучше всех. ранчер ок но там версии староватые и придется поплясать с persistent storage

Kargo это приболевший kismatic. вроде все то же самое, но нихера не работает из коробки, постоянно надо чет руками подпинывать

плюс кизматик из коробки ставит pre-install check и тесты и после деплоя заряжает смоктесты

и обновлять одно удовольствие

описано очень вкусно, надо экспериментировать. карго работает весьма коряво

я его выдал джуниору, он за день раскатал ha кластер. вообще до этого кубернетес не видел.

ERROR: S client not available

а карго постоянно что-то не то делает да. ну это опенстек что вы хотите. там все постоянно на ручном педалировании молотка и какой-то матери

У нас карго работает хорошо, единственное, что они немного медлительны и 1.7 еще не поддерживают.

что ещё хорошо в кизматик там можно включить linkerd

одной командой

а карго постоянно что-то не то делает да. ну это опенстек что вы хотите. там все постоянно на ручном педалировании молотка и какой-то матери

карго у меня не заработал вообще, хотя в кубе я немножечко уже понимаю. в кизматик поддерживаются разные сети?

kismatic как раз имеет и минус. из сети там только calico

kismatic как раз имеет и минус. из сети там только calico

это не минус. Это просто неприемлимое поведение, вот и все

почему неприемлемое. calico продукт enterprise класса с широким функционалом. устраивает почти всех.

почему неприемлемое. calico продукт enterprise класса с широким функционалом. устраивает почти всех.

не меня. мне калико не нравится и я им не пользуюсь. Фраза "устраивает почти всех" выбешивает просто невероятно

ну а альтернатива какая? есть лучше?

ну а альтернатива какая? есть лучше?

альтернативы: - kubeadm - kargo - kubespray - minicube.sh - chef coobook от evilmartians

в любом случае заменить один плагин на другой это гораздо быстрее, чем сетапить кластер с нуля кривым инсталлятором.

ни один существующий способ установки нельзя назвать нормальным. Но авторы куба разумно считают, что делать фичи и лечить баги - важнее. У кого есть страстное желание поставить шеф руками - пусть ставит сам или делает свою автоматизацию

альтернатива калико а не инсталлятора.

всё вышеперечисленное это набор мазохиста а не инсталляторы. для прода это все не годится.

альтернатива калико а не инсталлятора.

- weave - canal - flannel - OVS/OVN

всё вышеперечисленное это набор мазохиста а не инсталляторы. для прода это все не годится.

все без исключения исталляторы, с которыми я сталкивался - имели фатальные недостатки. Включая вышеуказанный

калико более функционален. ovs вообще не CNI. canal ещё пилят на ранней стадии.

недостатки есть у всех. но вот kismatic тесты гоняет перед установкой. и там где карго упадёт с непонятной ошибкой, kismatic предупредит например.

Мы в kubespary делали MR, там тоже 2часа тесты гоняются)

это особенности подхода к решению задачи. у остальных подход вообще отсутствует. кучу скриптов запускают и вались оно конем.

Наклепал вот скриптики для деплоя кубера, использую для тестов. мож кому интересно https://github.com/hfrog/kube-deploy

Если что - пишите лучше в личку

Докер в хату

Докер в хату

Есть два варианта контейнеризации, докер и рокит, на каком стейджинг будешь делать, на каком продакшн деплоить

Сам на куб сяду, докер на колени поставлю

Вообщем как я понял проще всего попробовать куб через гугл энжин?

ребят, можно хотя бы здесь без натужного юмора? мне в офисе хватает

Можешь попробовать openshift с простым ansible скриптом для развертывания кластера, веб морда в подарок

ребят, можно хотя бы здесь без натужного юмора? мне в офисе хватает

Офис сделал тебя скучным

а ты переоцениваешь свои творческие навыки