Anonymous
MetalLB имеет смысл если планируется много входных точек и много IP
Имеется 10 серверов. Все в одной L2-подсети Требуется 3 точки балансировки Плюс, для разных технических сервисов было бы круто использовать еще несколько IP. Я бы в metallb/keepalived отдал эти 3 адреса, а остальные было бы круто использовать просто по IP-адресу сервера.
𝚔𝚟𝚊𝚙𝚜
А keepalived оставить только под api-server
Lucky SB
nginx в качестве haproxy - это в анналы
Anonymous
нельзя повесить сервис типа NodePort на 443 порт. только на 30000+ порты (по дефолту)
Это я понимаю потому и спрашиваю - как повесить сервис на 443 порт при том, что ему apiserver мешается, который по умолчанию ставит kubespray
Lucky SB
металлб - стремная и ненужная штука
rambling
Пирог
Lucky SB
опиши плиз инфраструктуру. в плане железный-вирутальный. адреса в локалке реальные. кто хостер
Anonymous
Итак, инфраструктура простая - есть 10 серверов. У каждого есть LAN и WAN IP LAN и WAN - изолированные сети. IP-адреса в WAN выделяются из общего пула ДЦ. Кто ДЦ, думаю, не принципиально.
Anonymous
Сами сервера развернул kubespray Сейчас в кластере 3 сервера. Все мастера, на них же ingress + поды.
Lucky SB
жесть так делать
Anonymous
что именно?
Lucky SB
на одной ноде держать мастер, ингрес и рабочуюю нагрузку
Anonymous
Это была идея proof of concept. Как ты рекомендуешь ?
Lucky SB
мы ставим kvm на железку и в kvm виртуалках поднимает master, ingress и node
Lucky SB
в отдельных
Lucky SB
под ингрессы ноды - отдельные виртуалки
Lucky SB
всем виртуалкам даем интерфейс только в локалку
Anonymous
то есть у нас получится: 1. 3 виртуалки на мастера 2. 3 виртуалки на ingress 3. сколько останется - на worker верно ?
Lucky SB
и только локальный адрес.
Vadim
А если все три вмки с мастерами упадут на одну железяку?
Lucky SB
наружу через NAT на железках
Lucky SB
А если все три вмки с мастерами упадут на одну железяку?
рруками раскладываем виртуалки по железкам
Vadim
Клауднативненько
Lucky SB
Клауднативненько
нефик лишние сущности городить там где они не нужны. KISS
Nikolay
рруками раскладываем виртуалки по железкам
а что, движки на квм не умеют в правила миграций? =)
Lucky SB
а что, движки на квм не умеют в правила миграций? =)
зачем там миграции ? образы вм локальной лежат на железках. ха обеспечивается кубом.
Nikolay
а, настолько
Anonymous
а что, движки на квм не умеют в правила миграций? =)
то есть сначала openstack и только потом кубер ?)
Евгений
А зачем вам вм, если у вас железки?
Евгений
Поддерживать 40 ненужных слоёв абстракции?
Lucky SB
то есть у нас получится: 1. 3 виртуалки на мастера 2. 3 виртуалки на ingress 3. сколько останется - на worker верно ?
на ингресс=виртуалка два интерфейса - один в локалку, второй в интернет. на втором в интернет реальный ip, В зависимости от хостера на трех ингрессах запущенный pacemaker рулит или роутингом хостера, или прописыванием ip адресов. ингресс-контроллер запущен с hostnetwork: true
Lucky SB
А зачем вам вм, если у вас железки?
хочется деражть мастера куба и ингрессы в отдельных линуксах. а выделять под каждого по железке - жирновато - у нас не такие большие нагрузки.
Anonymous
я как-то надеялся, что получится избежать кучи nat на пути запрос - nat - ingress - nat - pod и обратно всё вот это.
Vadim
А зачем вам вм, если у вас железки?
Вмками (пока что) проще управлять
Anonymous
Вмками (пока что) проще управлять
так кубер это же про то, что нахрена вам вм ?
Anonymous
лёгкая виртуализация, это вот всё.
Anonymous
cgroups, итп.
Vadim
так кубер это же про то, что нахрена вам вм ?
Обновлять кубер в вмках как-то привычнее (опять же пока что)
Rainbow
Я могу снапшот виртуалки сделать и размножить её. Вот для меня основной профит в облака. Переездаю с baremetal
Rainbow
Снапшот виртуалки, в nodegroup её и крутишь scale. круто же.
Anonymous
Я могу снапшот виртуалки сделать и размножить её. Вот для меня основной профит в облака. Переездаю с baremetal
Я уже понимаю почему в облаках кубер - это райское щастье. Что в bare metal делать-то ? вм костылить ?) ну за что боролись..
Rainbow
Я уже понимаю почему в облаках кубер - это райское щастье. Что в bare metal делать-то ? вм костылить ?) ну за что боролись..
если у вас больше 10-20 серверов - все тоже самое почти будет. Проблемы у тех, ктодержит пару железок с кубом.
Anonymous
нет там кучи nat
ну а hostnetwork у тебя как работает-то ? Я может не прав и оно как-то на уровне драйвера, но вроде через iptables было. Посмотрю, в общем.
Nikolay
лично попугаев не замерял, но считается, что оно сильно быстрее
Lucky SB
ну а hostnetwork у тебя как работает-то ? Я может не прав и оно как-то на уровне драйвера, но вроде через iptables было. Посмотрю, в общем.
при hostnetwork внутри контейнера виден интерфейс хост-системы. сетевой неймспейс туда системный подключается. контроллер напрямую слушает порт.
Lucky SB
psp ?
pod security policy
Lucky SB
любой под, запущенный в кубе может смонтировать / в себя и прочитать сертификаты с мастера
𝚔𝚟𝚊𝚙𝚜
Я вообще образы нод через Dockerfile собираю :)
Vadim
Вот, (почти) правильное решение проблемы снапшотов
Vadim
Но ignition + бекапы etcd все же проще
𝚔𝚟𝚊𝚙𝚜
Евгений
Я могу снапшот виртуалки сделать и размножить её. Вот для меня основной профит в облака. Переездаю с baremetal
Речь идёт о том, что люди поверх бареметал держат прайвет клауд, в котором уже куб
Евгений
Бареметал не автоскейлится, сколько на него прайвет-клауд не ставь
Anonymous
Ubuntu с LTSP
в смысле сервис, который PXE обеспечивает, собирается докером ?
Евгений
три квм - это нифига не прайвет клауд.
Три квма это воображаемое что-то, вам придётся этой богодельней как-то управлять
Rainbow
куча iptables будет всегда при наличии cni
Rainbow
Речь идёт о том, что люди поверх бареметал держат прайвет клауд, в котором уже куб
Это я постоянно говорю, когда кто-то спрашивает про autoscale на baremetal. тянуть нерезиновое не получится
Rainbow
лан, не так вопрос прочитал
Евгений
Это я постоянно говорю, когда кто-то спрашивает про autoscale на baremetal. тянуть нерезиновое не получится
Можно заявки на закупку и установку серверов автоматически писать. Автоскейлинг с лагом в два месяца xD
Rainbow
Можно заявки на закупку и установку серверов автоматически писать. Автоскейлинг с лагом в два месяца xD
Да ну, там где я хостился ставят меньше чем за сутки. Особенно если типовое, то 2-3 часа
Rainbow
Просто тебя пошлют через неделю туда-сюда
Евгений
Ааа, у тебя аренда