Alexey
можно кубеспреем деплоить control-plane, а на нодах просто использовать kubeadm join например
Т.е. просто выполнить предварительно часть шагов, которые выполняет кубспрей, вместо него? Правильно идею понял?
George
тебе для раскатки воркера достаточно 1. рабочей оси 2. докер-шмокер 3. кубеадм
𝚔𝚟𝚊𝚙𝚜
Т.е. просто выполнить предварительно часть шагов, которые выполняет кубспрей, вместо него? Правильно идею понял?
Да, но стоит понимать что kube-spray делает достаточно много шагов перед тем как выполнить kubeadm join, например устанавливает docker, конфигурит локальный load-balancer и т.д. Но если у вас образ системы деплоится автоматически, эти шаги можно сделать заранее, тогда всё что останется что бы присоединить новую ноду в кластер это выполнить kubeadm join
G72K
Да, но стоит понимать что kube-spray делает достаточно много шагов перед тем как выполнить kubeadm join, например устанавливает docker, конфигурит локальный load-balancer и т.д. Но если у вас образ системы деплоится автоматически, эти шаги можно сделать заранее, тогда всё что останется что бы присоединить новую ноду в кластер это выполнить kubeadm join
Я ещё не дошел, но интересно, как там вопрос с локальным прокси (nginx) до аписерверов решен. Он запускается как static pod, но кублет не стартует статик поды, пока не пройдет бутстрап, а что б прошел бутстрап надо до аписервера достучаться :)
G72K
Для бутстрапа у кублета есть отдельный kubecoflnfig, но kubeadm сует туда controlplaneEndpoint , т.е. нельзя переопределить адрес аписервера только для бутстрапа
Ilia
Всем привет, есть у кого-нибудь дока, типа kubernetes hard way, чтоб руками ставить все сервисы, раньше вроде было такое на оф сайте в доке, сейчас ничего не могу найти нормального.
Ilia
𝚔𝚟𝚊𝚙𝚜
Я ещё не дошел, но интересно, как там вопрос с локальным прокси (nginx) до аписерверов решен. Он запускается как static pod, но кублет не стартует статик поды, пока не пройдет бутстрап, а что б прошел бутстрап надо до аписервера достучаться :)
> кублет не стартует статик поды, пока не пройдет бутстрап, Не обязательно, мастера же как-то работают. Скорее всего оно работает по тойже логике как и деплой external etcd с помощью kubeadm https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/
𝚔𝚟𝚊𝚙𝚜
Там есть phase который подготавливает конфиг для kubelet и стартует его
𝚔𝚟𝚊𝚙𝚜
емнип kubeadm init phase kubelet-startбудет достаточно
G72K
Вот в init phase kubecoflnfig создается конфиг с адресом controlPlaneEndpoint, т.е. локальным nginx или я не туда смотрю
𝚔𝚟𝚊𝚙𝚜
Вот в init phase kubecoflnfig создается конфиг с адресом controlPlaneEndpoint, т.е. локальным nginx или я не туда смотрю
ну когда деплоишь external etcd по этой инструкции, то кубелеты получается без api-сервера работают
G72K
ну когда деплоишь external etcd по этой инструкции, то кубелеты получается без api-сервера работают
Ладно,дойду до джоина воркеров, отпишусь. В текущем инсталлере я запускают локальный прокси через rkt, затем ожидаю конфиг , который кублет создаёт по завершению бутстрапа и останавливаю этот временный сервис. Тогда у кублета получается и забутсирапиться и статик под с прокси запустить
G72K
Думал в кубадм как-то решено это дело
𝚔𝚟𝚊𝚙𝚜
А ну вот собстна первого пункта Configure the kubelet to be a service manager for etcd уже достаточно чтобы kubelet запустился и начал рабоать
𝚔𝚟𝚊𝚙𝚜
дальше ему можно подпихивать любые static-манифесты
𝚔𝚟𝚊𝚙𝚜
почему я и говорю: Если кто-то хочет разобраться как kubeadm работает, разберитесь что делает каждая из его phase, сразу всё станет понятно: https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init-phase и хардвей учить для этого не нужно
G72K
Я фазами и делаю :) но похоже придется разные kubeadm.yaml для разных фаз подсовывать
𝚔𝚟𝚊𝚙𝚜
Alex
Ребят, нужен рецепт скейла etcd через кубеспрей с 3х нод до 5. Вопрос с подвохом т.к. на текущей версии кубеспрея просто добавление нод в блок etcd валится с ошибкой ненаденных admin и member сертификатов
Alex
В доках рецепты не рабочие, в комментах каша. Один из принципов - удаление сертификатов на мастер ноде, но интересуют подводные камни
G72K
кто сказал?
Видел в issues (точно) и где то в релиз нотах (кажется)
Andrey
в релизнотах чего?
G72K
Поиск по containerized kubelet на github.com/kubernetes скорее всего найдет
Andrey
херня. не верю
G72K
Ну что поделать
Igorь
А что делать, если ингресс при запуске падает по 143 ошибке и фейлятся пробы. падает до того, как начинают поступать осмысленные логи.
G72K
херня. не верю
https://github.com/kubernetes/kubernetes/issues/74148#issuecomment-465663859 и ниже
Vadim
nodefs.available<10% nodefs.inodesFree<5% imagefs.available<15% кто-нибудь может простыми словами объяснить в каком месте это свободное место чекается для EvictedHard
Vadim
nodefs.available это на ноде в целом? а imagefs.available в /var/lib/docker ?
Vadim
nodefs.inodesFree что это
George
nodefs.inodesFree что это
Свободные иноды, очевидно
George
У тебя две метрики свободного места: количество байт, количество inode
George
Нет inode, но есть место - файл все равно не создашь
Vadim
df -i можно проверять?
Vadim
в точке монтирования корневой допустим
Vadim
куберу они все доступны с хоста, или там хитрый способ есть их смотреть, как с памятью через cgroupfs
George
Не понимаю вопроса
Nikolay
Мне нужно разобраться как работают/настраиваются/взаимодействуют базовые компоненты kubernetes кластера. Разобраться как менеджить весь зоопарк. Что эффективнее: - Запускать руками на виртаулках/bare metal - или GKE подойдет для начала? - или minikube/microk8s?
Tadeusz
на кодокаку
Nikolay
Берешь купон от Гугла 300$ Берешь купон от гитлаба 200$ Идёшь в гке Смотришь катакоду
уже взял 300$ и читаю kubernetes-the-hard-way как раз. Т.е. норм варинт. Спасибо!
Egor
уже взял 300$ и читаю kubernetes-the-hard-way как раз. Т.е. норм варинт. Спасибо!
лучше было с гитлабом в коллаборации делать
Egor
там 500 баксов дают
Alex
там 500 баксов дают
кстати, а есть линк куда нажимать? )
Nikolay
лучше было с гитлабом в коллаборации делать
а, блин, теперь 200 бачей от гитлаба не получить? Почитаю условия.
Egor
угу
Egor
хотя хз, погуглить надо, может и дадут
Egor
но просто если в тупую кликнуть по ссылке, то ничего не дают
Alex
https://about.gitlab.com/solutions/google-cloud-platform/
Alex
а, типа 300 баксов от гугла + 200 от гитлаба
Sergey
там 500 баксов дают
А можно на карту вывести?
Egor
кстати, а есть линк куда нажимать? )
внутри гитлаб.ком или своего собственного гитлаба жмакаешь внутри любого проекта operations/kubernetes и там будет персональная ссылка
Egor
Egor
судя по описанию там и для existing accounts накидывается
Семён
у меня 200 бачей от гитлаба так и не получилось выцыганить
Семён
но 300 дораров с лихвой хватает пройти hardway
Egor
у меня тоже, но в канале гитлаба часто вспоминают, что мол пользовались
Nikolay
хотя хз, погуглить надо, может и дадут
1. щелкнул на главной странице на “Free Trial” 2. Авторизовался через google аккаунт 3. Дал Gold Plan просто на 30 дней правда (99$), когда гугл дает на год. может еще какой лайфхак есть
George
но 300 дораров с лихвой хватает пройти hardway
А ещё можно на мощностях клиента или работодателя устроить кубернетесь
Egor
но 300 дораров с лихвой хватает пройти hardway
мне не хватило, я развернул свою инфраструктуру на тест, в итоге 72 бакса долго
Egor
а не гугл
Egor
ты на кастомерс сервайс зарегался
Egor
с платными подписками