Тихон
да, я только сейчас заметил - там есть опция https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#drain –ignore-daemonsets
Vladimir
еще лучше добавить --force
Mikhail [azalio]
Я слышал есть доклад авито где они рассказывают, что они используют сервер->несколько виртуалок на квм(?)->kubelet на этих виртуалках. Что-то не могу найти линк на это выступление, может подскажет кто? Хочется понять зачем.
Roman
https://www.slideshare.net/AvitoTech/kubernetes-avito
https://1drv.ms/b/s!Amj80x6fPKBehOAUHXxuUXOOqeEn9g
Roman
ничего особенного у них там нет
Mikhail [azalio]
https://www.slideshare.net/AvitoTech/kubernetes-avito
https://1drv.ms/b/s!Amj80x6fPKBehOAUHXxuUXOOqeEn9g
спасибо! На слайдах нет ничего про виртуализацию как я посмотрю.
Maksim
спасибо! На слайдах нет ничего про виртуализацию как я посмотрю.
А смысл про неё писать? Виртуализация уже давно живёт как основной слой интерпрайза
Mikhail [azalio]
А смысл про неё писать? Виртуализация уже давно живёт как основной слой интерпрайза
я хочу понять почему используют несколько виртуалок на одном сервере и в них уже запускают kubelet, а не просто kubelet на сервере.
Старый
я хочу понять почему используют несколько виртуалок на одном сервере и в них уже запускают kubelet, а не просто kubelet на сервере.
бэкап делать проще, и меньше шанс что зависнет всё
Й
как аналог VPC. "Снаружи" это делать дольше и геморней
Й
взять тот же фаервол
Maksim
я хочу понять почему используют несколько виртуалок на одном сервере и в них уже запускают kubelet, а не просто kubelet на сервере.
потому что среда виртуализации отличный водораздел между экплуатаций и devops
Maksim
я хочу понять почему используют несколько виртуалок на одном сервере и в них уже запускают kubelet, а не просто kubelet на сервере.
Так же это спосбо обстракции от железа.
Mikhail [azalio]
потому что среда виртуализации отличный водораздел между экплуатаций и devops
если эксплуатация занимается и кубером, то получается нет смысла.
𝚔𝚟𝚊𝚙𝚜
я хочу понять почему используют несколько виртуалок на одном сервере и в них уже запускают kubelet, а не просто kubelet на сервере.
Ну я вообще запускаю мастер в LXC-контейнере
𝚔𝚟𝚊𝚙𝚜
так бэкапить проще и не надо с мультимастером париться
Mikhail [azalio]
так бэкапить проще и не надо с мультимастером париться
что значит не надо париться с мультимастером?
Mikhail [azalio]
у вас один мастер?
𝚔𝚟𝚊𝚙𝚜
один мастер в HA-контейнере
Dmitrii
Я слышал есть доклад авито где они рассказывают, что они используют сервер->несколько виртуалок на квм(?)->kubelet на этих виртуалках. Что-то не могу найти линк на это выступление, может подскажет кто? Хочется понять зачем.
1) Лимитировать по дисковому пространству
2) Чтобы не упереться в лимит ~100 подов на ноду и айноды и пр.
3) Труднее уронить все разом =)
𝚔𝚟𝚊𝚙𝚜
а что за лимит такой? ~100 подов на ноду
Mikhail [azalio]
1) Лимитировать по дисковому пространству
2) Чтобы не упереться в лимит ~100 подов на ноду и айноды и пр.
3) Труднее уронить все разом =)
- диски: нуууу, лучше вообще не писать, но ок, лимит сейчас кажись 250 и блин, даже 100 подов это много кмк. Айноды решаются xfs, уронить - ну так себе ) Уронил сервер, уронил кучу нод.
Vadim
обновление - один сервер труднее обновлять чем несколько нод
безопасть - доступ к ноде - песец будет поменьше чем если получил ко всему серверу
Aleksey
Ну и ребутнуть какой-нибудь физ. Dell и виртуалку - таки две большие разницы
Mikhail [azalio]
но у виртуализации есть оверхед. Что, он настолько мал, что им пренебрегают?
Dmitrii
- диски: нуууу, лучше вообще не писать, но ок, лимит сейчас кажись 250 и блин, даже 100 подов это много кмк. Айноды решаются xfs, уронить - ну так себе ) Уронил сервер, уронил кучу нод.
100 много в целом в кластере или на одной ноде? Если у тебя нода 256/512 гигов, чего еще делать то. У меня на виртуалке 8гб ~50 подов запущено.
Aleksey
но у виртуализации есть оверхед. Что, он настолько мал, что им пренебрегают?
А в чем оверхед и сколько в граммах?
Mikhail [azalio]
А в чем оверхед и сколько в граммах?
у меня все крутилось на голом железе, не могу точно сказать, но вот например табличка от 13 года. http://dtrace.org/blogs/brendan/2013/01/11/virtualization-performance-zones-kvm-xen/ , возможно что-то улучшилось.
Maksim
у меня все крутилось на голом железе, не могу точно сказать, но вот например табличка от 13 года. http://dtrace.org/blogs/brendan/2013/01/11/virtualization-performance-zones-kvm-xen/ , возможно что-то улучшилось.
Я дал офф статистику VMware. Именно так нужно расчитывать overhead при постороении кластера vSphere -)
Maksim
А ещё есть гугл, инфа открытая-)
Mikhail [azalio]
ага
Aleksey
Но виртуалки в итоге экономят врямя на operations
Aleksey
Ну и деньги соответсвенно
Aleksey
Но тут уже исключительно вопрос составления сметы
Maksim
Но виртуалки в итоге экономят врямя на operations
Тут всё зависит от конкретной инфрасруктуры и её реализации
Aleksey
Тут всё зависит от конкретной инфрасруктуры и её реализации
Естественно: будь у меня 50+ нод - я бы их изолировал из вне и мутил кубер честно baremetal
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
ноды грузятся по pxe, образ для них собирается автоматически через Dockerfile, по обслуживанию почти ничем не хуже виртуалок
Maksim
миграция цод 2 цод?
Konstantin
ноды грузятся по pxe, образ для них собирается автоматически через Dockerfile, по обслуживанию почти ничем не хуже виртуалок
образ через Dockerfile для нод? это как?
𝚔𝚟𝚊𝚙𝚜
Ну в Dockerfile прописано установить tftp-сервер и nbd-сервер.
Затем запустить скрипт который с помощью debootstrap устанавливает гостевую систему и весь необходимый софт в нее + дрова и необходимые модули ядра. Затем делает из нее squashed-образ
𝚔𝚟𝚊𝚙𝚜
А дальше в кубере запускается под с двумя контейнерами которые этот образ и раздают по pxe и nbd
𝚔𝚟𝚊𝚙𝚜
чую надо статью забабахать, хорошее решение получилось :)
Konstantin
чую надо статью забабахать, хорошее решение получилось :)
Думаю стоит, ибо я нифига не понял всё равно)
Aleksey
Ну в Dockerfile прописано установить tftp-сервер и nbd-сервер.
Затем запустить скрипт который с помощью debootstrap устанавливает гостевую систему и весь необходимый софт в нее + дрова и необходимые модули ядра. Затем делает из нее squashed-образ
Я даже смутился - какой смайл ставить. Ах да, у меня самого foreman для менеджмента DHCP/dns :D
Aleksey
То ещё ruby
𝚔𝚟𝚊𝚙𝚜
Я чет с ruby не подружился совсем, для dns/dhcp у меня ansible :)
Aleksey
Я чет с ruby не подружился совсем, для dns/dhcp у меня ansible :)
Да у Формана ui есть, ну да - такое
Aleksey
Но кейс нужный, когда у тебя ещё вагон верстальщиков
𝚔𝚟𝚊𝚙𝚜
у ansible тоже есть, тоже такое, хы
Aleksey
И развернуть env - звучит как магия
Vitaliy
привет.
народ, у нас тут один кластер оказался с expired сертификатами, как их правильно перегенерить?
Konstantin
А как использовать kube-dns/env vars в случае helm? Он же имена модифицирует, в итоге все днсы разные...
Konstantin
https://github.com/kubernetes/helm/issues/2060
Konstantin
нашел, вроде hostname можно прописать
𝚔𝚟𝚊𝚙𝚜
привет.
народ, у нас тут один кластер оказался с expired сертификатами, как их правильно перегенерить?
не уверен что поможет, но попробуйте посмотреть сюда:
https://stackoverflow.com/questions/46360361/invalid-x509-certificate-for-kubernetes-master/47284147#47284147
𝚔𝚟𝚊𝚙𝚜
После этого скорее всего придется заново добавить ноды в кластер. В случае kubeadm kubeadm reset`/`kubeadm join должно быть достаточно
Vitaliy
читал, не был уверен что это что-то не отломает дальше внутри кластера. насколько безопасно менять эти сертификаты (apiserver.*) ?
𝚔𝚟𝚊𝚙𝚜
ну бэкап мастера - никто не отменял)
𝚔𝚟𝚊𝚙𝚜
apiserver - сертификаты используются для доступа к api кубера, ваш кэп)
𝚔𝚟𝚊𝚙𝚜
в вашем случае нужно перегенерить и другие сертификаты скорее всего
Darkwing
Коллеги, реально ли сделать гибридный кластер срествами tectonic на aws и baremetal?
Logan
Коллеги, реально ли сделать гибридный кластер срествами tectonic на aws и baremetal?
tektonik работает только с AWS
Darkwing
tektonik работает только с AWS
Ну не, его же можно и на baremetal развернуть через matchbox
Logan
с таким не сталкивался, надо будет посмотреть на него
Darkwing
Вопрос в том, как сделать кластер с нодами и там и там
Logan
кто-нибудь в курсе, в связи с покупкой редхатом кореос – последний вообще будет развивать свою операционку? @vrutkovs ?
Vadim
кто-нибудь в курсе, в связи с покупкой редхатом кореос – последний вообще будет развивать свою операционку? @vrutkovs ?
https://groups.google.com/forum/#!topic/coreos-user/GR4YlF2c1dM
G72K
привет.
народ, у нас тут один кластер оказался с expired сертификатами, как их правильно перегенерить?
Используйте старый ключ, но генерируйте новый сертификат
G72K
https://groups.google.com/forum/#!topic/coreos-user/GR4YlF2c1dM
Это все фигня. Купили потому что продавались за дешево, что реально с этим делать будут думать и не ясно что останется вживых, а что в фонд апачи перейдет )
Vitaliy
@rossmohax мы это и пытаемся. но все равно, к примеру, kubectl отваливается. в логах полно ошибок про сертификат expired и тп. ничего не работает
Ivan
Народ, подскажите пожалуйста, kubelet и dockerd отжирают стабильно каждый по 15% проца. Это нормально? Нода 2cpu, 4 памяти, 35 подов на ней крутится
Vadim
https://www.reddit.com/r/kubernetes/comments/8b7f0x/we_are_kubernetes_developers_ask_us_anything/ - кубернетесовские девелоперы AMA проводят