у тиллера есть грпц апи

Только вот в helm 3 tiller не будет

Да и сам Хельм та ещё поделка

а тап делают аппликейшн апи для композиции

А острая пицца есть?))

так, вопрос по поводу опции --endpoint-reconciler-type, ее лучше в какое значение ставить?

Да и сам Хельм та ещё поделка

+1

Только вот в helm 3 tiller не будет

А можно где нибуть почитать что там будет?

А можно где нибуть почитать что там будет?

На их сайте был анонс вроде

А можно где нибуть почитать что там будет?

В Гите есть

А можно где нибуть почитать что там будет?

https://m.habr.com/company/flant/blog/417079/

так, понял судя по всему почему валилось, не было опции --endpoint-reconciler-type=lease

неа, не оно

вопро по поводу опции --apiserver-count= она обязательна, если серверов больше одного?

не, нихера, лезет на локалхост

А сегодня в завтрашний день не все могут смотреть. Вернее, смотреть могут не только лишь все. Мало, кто может это делать.

А можно где нибуть почитать что там будет?

https://github.com/helm/community/blob/master/helm-v3/000-helm-v3.md

https://github.com/helm/community/blob/master/helm-v3/000-helm-v3.md

Да спасибо. Я уже нашел эту страничку) Я вот только не понял когда дату релиза ждать

"when its ready"

Lua всяко лучше выглядит, чем то что сейчас

Кстати, кто-нибудь пытался разворачивать kubernetes внутри lxc?

Кстати, кто-нибудь пытался разворачивать kubernetes внутри lxc?

пытался в лхд в убунте и что-то у него не взлетело

ну я и забил

Я использую local volumes для хранилища. Этот provisioner требует, чтобы на хосте была точка моетирования(mount point), и эта точка монтируется в контейнер. На хосте это приведет к разбуханию /etc/fstab(т.к. волюмов много).

А к lxc контейнеру можно примонтировать директорию/btrfs subvolume без особой головной боли.

да ваще должно работать как есть

Докер же все равно там не развернешь, зачем?

Докер же все равно там не развернешь, зачем?

Развернешь

почему не развернёшь?

Докер в LXC работает нормально

А вот kubernetes - нет

Докер в LXC работает нормально

Yes, docker can run in a linux container. But docker will only run with the lxc execution driver and in a unconfined lxc И что и зачем?

Yes, docker can run in a linux container. But docker will only run with the lxc execution driver and in a unconfined lxc И что и зачем?

Чтобы с mountpoints не мучаться.

Докер же все равно там не развернешь, зачем?

Кто вам такое сказал

помнится пару лет назад не запускался

помнится пару лет назад не запускался

Эти времена прошли

Теперь только б-гмерзкий kubernetes там не хочет работать

это lxc, страдай

Кто вам такое сказал

Там надо ставить privileged, в чем преимущества? "Не мучаться с mountpoints?"

Там надо ставить privileged, в чем преимущества? "Не мучаться с mountpoints?"

Да

Там надо ставить privileged, в чем преимущества? "Не мучаться с mountpoints?"

Ну так разговор же не о преимуществах

Так-то и dind работает, только зачем?

Если не смог в man mount? Окей, принимается

Теперь только б-гмерзкий kubernetes там не хочет работать

какой именно компонент кубера у тебя не запускается в lxc, но при этом запускается на хосте?

[preflight] Some fatal errors occurred: [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist [ERROR SystemVerification]: failed to parse kernel config: unable to load kernel module "configs": output - "modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.4.0-131-generic/modules.dep.bin'\nmodprobe: FATAL: Module configs not found in directory /lib/modules/4.4.0-131-generic\n", err - exit status 1 `

Директория /lib/modules в контейнере пуста

Ошибки возникают при инициализации (kubeadm init)

ну так это проблема kubeadm, а не всего кубера

поставь им баг

Кстати, кто-нибудь пытался разворачивать kubernetes внутри lxc?

Ну я

Неплохо работает кстати, после небольшого допила

Правда у меня в контейнере только мастер и etcd

Неплохо работает кстати, после небольшого допила

А можно тот же вопрос про преимущества?

[preflight] Some fatal errors occurred: [ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist [ERROR SystemVerification]: failed to parse kernel config: unable to load kernel module "configs": output - "modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.4.0-131-generic/modules.dep.bin'\nmodprobe: FATAL: Module configs not found in directory /lib/modules/4.4.0-131-generic\n", err - exit status 1 `

Ну ему просто неоткуда их подгружать, тебе нужно добавить эти модули в автозагрузку на самом хосте или пробросить /lib/mdules в контейнер

Мы убрали варианты с "kubelet/api/etcd в runc контейнере" потому что возни много, а плюсов почти нет

А можно тот же вопрос про преимущества?

Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI

Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI

Бэкапы всего lxc-контейнера? Так etcd их и так делает, снапшотами

Можно деплоить кластер в максимально простой конфигурации, с одним мастером

Мы убрали варианты с "kubelet/api/etcd в runc контейнере" потому что возни много, а плюсов почти нет

схера ли возни много с api в контейнере?

схера ли возни много с api в контейнере?

На варианте static pods остановились, но раньше совали все подряд, например crio

Но на самом деле мне не очень нравится эта схема, хочу смигрировать его на мультимастер

На варианте static pods остановились, но раньше совали все подряд, например crio

а ну статик под мы с тобой обсуждали) что годный концепт

Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI

Ох щи, мультимастер через копирование lxc контейнера?

а ну статик под мы с тобой обсуждали) что годный концепт

Отож, но вдруг пропустили чего

Не, мультимастер отдельно на хостах уже

Отож, но вдруг пропустили чего

ну так при статик под у нас апи шедулер и контроллер в докере же?

ну так при статик под у нас апи шедулер и контроллер в докере же?

Да, но кубелет-то нет

А что не так со статик подами?

сколько там щас подов на одном хосте нормально работают?

сколько там щас подов на одном хосте нормально работают?

До 100 вроде

до 110 это в документации

Точнее до 100 контейнеров

Да, но кубелет-то нет

да, я уточнить)

документацию я читал, я спрашиваю благородных донов, сколько у них реально работает на хостах

сколько там щас подов на одном хосте нормально работают?

250, например? 110 - это цифра времён замера на 1.2

а это была у кубера проблема или у докера?

или у обоих?

Кубера, это сколько он может вообще примерно управлять. Есть ли там реальные контейнеры - зависит от cri

прост если у тебя 256гб оперативки на хосте и при этом у сервисочки жрущие по 500мб, то появляется жирное недоиспользование ресурсов

Угу, оно может и больше держать, но мы поддерживаем что-то вроде 10 на ядро и 250 на хост. Каких-то строгих лимитов я не видел

ну вот что делать в такой ситуации как я описал, например?

простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри

а потом гифками будут кидаться в этом чате :)

простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри

да зачем? увеличил количество подов да и все

ты это тестировал в проде?

простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри

This. Обновлять и скалировать проще будет

ты это тестировал в проде?

пока нет

воооот

но нам похуй)

нет прода - нет проблем?

я не хочу оркестрировать lxc

ну твоё нежелание не решает проблему

нет прода - нет проблем?

камон, есть прод, но у нас замороченная сеть и нам проще держать ноды недозагруженными