и на ручки

я не хочу ничего запускать, я хочу как GKE, но в рашке

Такого, насколько я помню, у нас ничего и нету. На удивление )

для etcd нормально занимать по 10гиг виртуальной памяти на всех нодах, при том, что кластер практически пуст? DB SIZE = 15MB, три ноды.

для etcd нормально занимать по 10гиг виртуальной памяти на всех нодах, при том, что кластер практически пуст? DB SIZE = 15MB, три ноды.

Да кто эту виртуальную память считает

Просто непонятен этот аппетит

для etcd нормально занимать по 10гиг виртуальной памяти на всех нодах, при том, что кластер практически пуст? DB SIZE = 15MB, три ноды.

SBCL загребает 150Т виртуальной памяти при потребности в 4 ГБ обычной памяти, нопремер.

Эт ты математику вспомнил?

Да

Просто непонятен этот аппетит

С каких пор "виртуальная память" стала "аппетит"?

И с каких пор она начала кого-то беспокоить?..

Вот ага

Видимо, vm.overcommit_memory=2 у беспокоящегося.

по виртуальной памяти подозреваю что такое поведение обусловленно реализацие зеленых трэдов в go их может быть как бы очень много, и им по сути нужно единое адресное пространство это скорей специфика языка, а не конкретно etcd

У меня вопрос, у кого-нибудь есть работоспособный кластер с несколькими мастерами на bare-metal или vmware ?

Yuriy Полагаю что нету) AWS/Google Cloud/OpenStack/OpenShift, возможно диджиталоекан еще - будут работать. С Боксом или баре-метал костыльное решение получается с 1 кластером на одном сервере. На “поучиться” хватает, но в продакшн такоей велосипед не выкотишь

Yuriy Полагаю что нету) AWS/Google Cloud/OpenStack/OpenShift, возможно диджиталоекан еще - будут работать. С Боксом или баре-метал костыльное решение получается с 1 кластером на одном сервере. На “поучиться” хватает, но в продакшн такоей велосипед не выкотишь

Почему ? В чем основные костыли ?

прикольный вопрос

основной костыль это прокси (балансер). Ингрес и прочее - очень больно настраивать

а чего там больного?

на виртуальной коробке я вообще через пару дней данные потерял (Персистант волюм)

хотя да, согласен, вечно доки не актуальные

на виртуальной коробке я вообще через пару дней данные потерял (Персистант волюм)

о, ну вольюмы всегда проблема с докерами)

))) ну я настроил ) просто выбешивало то, что в кластере у ноды может быть 30 000 + порт, а мне скажем 55002 нужно было на дженкинс открывать )

по этому только клауд стоит брать - к8с проектировался в принципе для клауда

ЕС2 + ЕДС + балансер пожалуй все что нужно

Это из ряда чтобы по карману не ударило) у гугла старт будет от 280 баксов в месяц (примерно) за к8с. Остальные - я уже не вспомню цены.

Я просто уже неделю пытаюсь нормальный кластер поднять на BM, и каждый шаг это тонна костылей, не соответсвие документации или ее отсутсивие, сейчас калстер поднялся якобы как но CNI интерфейс почему то поднимается только на одной мастер ноде а не на 3-х как надо. Я уже незнаю что делать.

у меня была инструкция на 1.5 где-то. На 1.9 там все кубадмин разруливает

Я просто уже неделю пытаюсь нормальный кластер поднять на BM, и каждый шаг это тонна костылей, не соответсвие документации или ее отсутсивие, сейчас калстер поднялся якобы как но CNI интерфейс почему то поднимается только на одной мастер ноде а не на 3-х как надо. Я уже незнаю что делать.

На дока там плохая, никуда не деться

У меня вопрос, у кого-нибудь есть работоспособный кластер с несколькими мастерами на bare-metal или vmware ?

Есть

Есть

Ты самый полезный человек

Ты самый полезный человек

Открой мне тайну, почему из 3-х мастер нод только на одной поднимается cni0 интерфейс. Я из перегружаю тушу, что только не делаю но поднимается только на одной любой из 3-х. Щас скрины даже покажу.

Kubespray

Ты самый полезный человек

Тайна простая : Каждый Apiserver должен видеть и уметь подключаться к каждому etcd . Затем каждый kubelet должен видеть и уметь подключаться к каждому apiserver. Все это умеют делать kubespray, typhoon, вручную (советую bootkube чтобы совсем мало руками возиться при таком способе)

Я честно не помню как интерфейсы должны называться. Но интересное дело - cni0 только на той ноде где есть контейнер (под?) запущеный, может связано?

Я честно не помню как интерфейсы должны называться. Но интересное дело - cni0 только на той ноде где есть контейнер (под?) запущеный, может связано?

Я тоже об этом думал, пытался сделать скейл на все 3 ноды но не хочет скейлиться

Все ноды в ready ?

да

Что скейлил?

dns

Что пишкт в describe deploy kube-dns?

(события). Оно поды создает? Или даже поды не создает?

создаёт

при попытке скейла он терминирует старый ДНС и запускает на его месте новый под

Что в describe подов, которые не могут запуститься?

щас гляну минуту

Так. В стабилньом состоянии сколько днс подов у вас (запущенных, с ошибками, pending и проч)

0

при попытке скейла он терминирует старый ДНС и запускает на его месте новый под

"запускает под" != 0

Ну и где же 0? Вон один вижу

опечатка

Бывает. get hpa в том же ns показывает что нибудь?

kubectl get horizontalpodautoscaler —all-namespaces No resources found.

Kube dns деплой или демонсет? Кинь весь его ямл прямо из кластера в pastebin

демонсет

не Деплоймент

kubectl describe nodes тоже в pastebin

Не, добавь -o yaml

И потом сделай kubectl scale его

Взлетело?

щас чет туплю немнго

Взлетело?

Все взлетело и интерфейсы появились. Спасибо за помощь.

Все взлетело и интерфейсы появились. Спасибо за помощь.

Мы ничего,не поменяли, все уже работало значит

Да, видимо зря почти 2 дня танцевал вокруг кластера.

Да, видимо зря почти 2 дня танцевал вокруг кластера.

Осталось победить аутентификацию в Dashboard и базовый кластер готов.

У меня вопрос, у кого-нибудь есть работоспособный кластер с несколькими мастерами на bare-metal или vmware ?

у меня. tectonic

всем привет подскажите, хочу настроить кластер на основании 2-х вирутальных машин (мастер+1 воркер) пока для старта, с перспективой роста хочу на 2-х машинах поставить CoreOS из ISO-образа есть ли смысл на мастере еще разворачивать Kubernetes?

так это ж кластер kubernetes будет из двух машин. что вы имеете ввиду?

ну я говорю об этом образе: https://coreos.com/os/docs/latest/booting-with-iso.html он же идет без Kubernetes, на сколько я понимаю

там на мастере используется etcd

всем привет подскажите, хочу настроить кластер на основании 2-х вирутальных машин (мастер+1 воркер) пока для старта, с перспективой роста хочу на 2-х машинах поставить CoreOS из ISO-образа есть ли смысл на мастере еще разворачивать Kubernetes?

смотрите в сторну tectonic или typhoon, они на coreos и разворачивают кластер на bare metal

на tectonic смотрел, инсталляция показалась слишком сложной как для старта

еще гляну typhoon

смотрите в сторну tectonic или typhoon, они на coreos и разворачивают кластер на bare metal

а есть ли смысл на мастере еще разворачивать Kubernetes, не хватит для старта только функционала CoreOS?

Вы говорите про создание кластера k8s, но при этом говорите про отказ от необходимости разворачивать k8s, это немного контрисключающие положения

Слово "контрисключающие" ломает мне мозг

а постановка вопроса "есть ли смысл на мастере еще разворачивать Kubernetes?" не ломает?

Да, я тоже завис с утра на нём :)

Слово "контрисключающие" ломает мне мозг

Есть идеи что оно может значить?

Типа минус на минус дает плюс? контр+исключающие=соответствующие?

а есть ли смысл на мастере еще разворачивать Kubernetes, не хватит для старта только функционала CoreOS?

на каком нахер мастере? Ты всех запутал нафиг! :)

на tectonic смотрел, инсталляция показалась слишком сложной как для старта

kubeadm тебе хватит, Проще всего будет.

Хм, bare-metal - лучше с kubeboot начать или все же сразу с kubespray или typhoon?

не судите строго, я в процессе изучения этих технологий по документации CoreOS я не вижу зависимости создания кластера от Kubernetes у CoreOS свой мастер с etcd, вот тут прочитал: https://coreos.com/os/docs/latest/cluster-architectures.html

мастером я назвал "etcd-машину" ))