Кстати, кто-нибудь пытался разворачивать kubernetes внутри lxc?
Ну я
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
Неплохо работает кстати, после небольшого допила
𝚔𝚟𝚊𝚙𝚜
Правда у меня в контейнере только мастер и etcd
𝚔𝚟𝚊𝚙𝚜
[preflight] Some fatal errors occurred:
[ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist
[ERROR SystemVerification]: failed to parse kernel config: unable to load kernel module "configs": output - "modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.4.0-131-generic/modules.dep.bin'\nmodprobe: FATAL: Module configs not found in directory /lib/modules/4.4.0-131-generic\n", err - exit status 1
`
Ну ему просто неоткуда их подгружать, тебе нужно добавить эти модули в автозагрузку на самом хосте или пробросить /lib/mdules в контейнер
Vadim
Мы убрали варианты с "kubelet/api/etcd в runc контейнере" потому что возни много, а плюсов почти нет
𝚔𝚟𝚊𝚙𝚜
А можно тот же вопрос про преимущества?
Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI
Vadim
Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI
Бэкапы всего lxc-контейнера? Так etcd их и так делает, снапшотами
𝚔𝚟𝚊𝚙𝚜
Можно деплоить кластер в максимально простой конфигурации, с одним мастером
Михаил
Мы убрали варианты с "kubelet/api/etcd в runc контейнере" потому что возни много, а плюсов почти нет
схера ли возни много с api в контейнере?
Vadim
схера ли возни много с api в контейнере?
На варианте static pods остановились, но раньше совали все подряд, например crio
𝚔𝚟𝚊𝚙𝚜
Но на самом деле мне не очень нравится эта схема, хочу смигрировать его на мультимастер
Михаил
На варианте static pods остановились, но раньше совали все подряд, например crio
а ну статик под мы с тобой обсуждали) что годный концепт
Vadim
Ну если деплоить в том же проксмосе то ты сходу получаешь и бекапы и ha в удобном GUI
Ох щи, мультимастер через копирование lxc контейнера?
𝚔𝚟𝚊𝚙𝚜
Не, мультимастер отдельно на хостах уже
Михаил
Отож, но вдруг пропустили чего
ну так при статик под у нас апи шедулер и контроллер в докере же?
𝚔𝚟𝚊𝚙𝚜
А что не так со статик подами?
Andor
сколько там щас подов на одном хосте нормально работают?
Andor
до 110 это в документации
Nik
Точнее до 100 контейнеров
Andor
документацию я читал, я спрашиваю благородных донов, сколько у них реально работает на хостах
Vadim
сколько там щас подов на одном хосте нормально работают?
250, например? 110 - это цифра времён замера на 1.2
Andor
а это была у кубера проблема или у докера?
Andor
или у обоих?
Vadim
Кубера, это сколько он может вообще примерно управлять. Есть ли там реальные контейнеры - зависит от cri
Andor
прост если у тебя 256гб оперативки на хосте и при этом у сервисочки жрущие по 500мб, то появляется жирное недоиспользование ресурсов
Vadim
Угу, оно может и больше держать, но мы поддерживаем что-то вроде 10 на ядро и 250 на хост. Каких-то строгих лимитов я не видел
Andor
ну вот что делать в такой ситуации как я описал, например?
Andor
простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри
Andor
а потом гифками будут кидаться в этом чате :)
Михаил
простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри
да зачем? увеличил количество подов да и все
Andor
ты это тестировал в проде?
Vadim
простейший путь - нарезать на виртуалки/lxc и запускать кубелеты внутри
This. Обновлять и скалировать проще будет
Andor
воооот
Михаил
но нам похуй)
Andor
нет прода - нет проблем?
Михаил
я не хочу оркестрировать lxc
Andor
ну твоё нежелание не решает проблему
Михаил
нет прода - нет проблем?
камон, есть прод, но у нас замороченная сеть и нам проще держать ноды недозагруженными
Andor
эта фраза красненьким была
Михаил
через либвиртъ
Михаил
Andor
но это получится куб в кубе
Михаил
А длкер выдержит хотя бы 100 контейнеров? А не страшно им всем одну ФС отдавать?
ну мы будем тестировать контейнерд и cri-o
Andor
ага
Vadim
Есть и autoscaler'ы, пока только для aws, но это не предел
𝚔𝚟𝚊𝚙𝚜
Andor
там же как раз libvirt
Михаил
Vadim
Аки опеншлак с их undercloud и overcloud
Richard
ну мы будем тестировать контейнерд и cri-o
интересно, можно ли сделать ноду кубернетес как контейнер, впихнуть это в докер, и в контейнерах кубернетеса запустить еще один такой же слой...
Richard
Andor
но ты вряд ли это хочешь
Михаил
пошла ночная жара
Vadim
Михаил
со своей веселухой
𝚔𝚟𝚊𝚙𝚜
а что не так?
не вижу причин решать следствие а не саму проблему, есть baremetal, я бы постарался сделать все возможное, что бы оставить его таким же baremetal, чем проще система - тем она стабильнее
Andor
ну оттуда же и вопрос о стабильности доскера
Михаил
не вижу причин решать следствие а не саму проблему, есть baremetal, я бы постарался сделать все возможное, что бы оставить его таким же baremetal, чем проще система - тем она стабильнее
ну поэтому нафиг lxc решаем проблему "больше подов на ноде"
Andor
lxc и было решением этой проблемы, когда подов на ноде много не взлетало
Dmitry
митап в записи можно посмотреть? ютуб говорит что все
Andor
если есть решение получше - лично я буду рад
Михаил
но обещали порезать