Отделение Bereke Bank
Lucky SB
?
сам себе злобный буратно! если вы хардвей в прод пускаете ) то все остальное тоже руками добавляйте https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-tls-bootstrapping/#approval
Отделение Bereke Bank
openssl в руки и вперед
зачем openssl? речь же только про бутстрапленные серты, которые автоматом не апрувятся
Отделение Bereke Bank
остальное все на 10 лет
Lucky SB
остальное все на 10 лет
и серты кублетов на мастерах ? которые не бутстрапленные
Отделение Bereke Bank
да серты кубелетов на мастерах (не бутстрапленные), и всех остальных компонентов на 10 лет
Отделение Bereke Bank
Кстати Let Eat Bee мне и посоветовал их на 10 лет выпустить, когда я, видимо, задолбал его с вопросом как правильно обновлять их 😂 kubeadm тогда не умел это. Времена 1.13
Lucky SB
Lucky SB
"Начиная с версии 1.15"
Чуть ниже читай ) Не будет обновлен только сертификат kubelet — это тот, который лежит в файле /etc/kubernetes/kubelet.conf! Для обновления этого сертификата надо воспользоваться командой создания user account
Lucky SB
ну ты кублет один щас рестартани и посмотри в /var/lib/kubelet/pki
Lucky SB
по идее там уже новые серты должны быть
Отделение Bereke Bank
сам себе злобный буратно! если вы хардвей в прод пускаете ) то все остальное тоже руками добавляйте https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-tls-bootstrapping/#approval
хотя минуту. если я сделал все правильно - при добавлении ноды мне не приходилось бы approve-ить руками. так?
Отделение Bereke Bank
ничего
Lucky SB
а на узле в /var/lib/kubelet/pki есть чо ? ;)
Отделение Bereke Bank
есть) kubelet-client-2018-11-15-18-20-45.pem kubelet-client-2019-08-15-00-29-44.pem (current)
Отделение Bereke Bank
ща по гитлабу гляну что было 15 августа
Lucky SB
ща по гитлабу гляну что было 15 августа
9 месяцев. новый сертификат родился )
Lucky SB
или 10.... калькулятор мне в руки
Отделение Bereke Bank
ща по гитлабу гляну что было 15 августа
ноды не добавляли. видимо он approve-нулся автоматом. Но вот почему он не апрувит csr-ы свежих нод - не понятно 😑
Отделение Bereke Bank
Отделение Bereke Bank
А чем ?)
ну грубо говоря hard way, из которого выпилены ужасные вещи, типа скачивания бинарей, и завернутый в ансибл
Отделение Bereke Bank
так
а в логи чего надо смотреть чтоб узнать почему он автоматом не аппрувится? controller-manager?
Grigorii
Странная штука с coredns в моем кластере: две реплики coredns на разных нодах, если одну ноду ребутнуть(или она испытывает какие-нибудь сетевые проблемы), то половина dns запросов все равно летят в сторону реплики coredns, которая недоступна(нода в ребуте). При этом k -n kube-system describe svc coredns показывает Эндпоинты по обоих подов. Можно заставить Service как-то реще понимать, что Под недоступен и его ендпоинт нужно выкинуть из списка?
Lucky SB
а в логи чего надо смотреть чтоб узнать почему он автоматом не аппрувится? controller-manager?
боюсь в них отгрепать что-то осмысленное будет сложно. я бы начал с просмотра get csr, get events
Lucky SB
у тебя ж они аппрувятся когда продляются.
George
(лучше на пейстбин)
George
НОДУ РЕБУТНУТЬ
George
фак
Grigorii
Отделение Bereke Bank
у тебя ж они аппрувятся когда продляются.
да вот черт знает) но когда добавляется новая нода - не аппрувятся
George
это означает, что @LuckySB прав - кластер может не успеть понять, что в нем внутри что-то отвалилось
George
Так лучше https://i.imgur.com/aqDnVmx.png
ну, это только часть
George
ну а в дескрайбе проблемного пода что написано ? он Ready или нет ?
я бы даже сказал, что куб скажет, что НОДА в ребуте == Ready
Nik
короч калика бяка, но конфигом и енвом ее можно научить смотреть в dns а не в ip
Grigorii
ну а в дескрайбе проблемного пода что написано ? он Ready или нет ?
В дескрайбе как раз все ОК, никаких статусов, все эндпоинты на месте, и даже тот, который недоступен в момент дескрайба
Grigorii
ну, это только часть
Там только 1 манифест сервиса coredns, других нет)
𝚔𝚟𝚊𝚙𝚜
зацени количество warning в тексте ) и я к ним руку приложил
> prior to kubeadm version 1.17, there is a bug where you manually have to modify the contents of kubelet.conf. Хех я просто удалил kubelet.conf и сделал: kubeadm init phase kubeconfig kubelet
George
Там только 1 манифест сервиса coredns, других нет)
эм. Он у тебя через оператор задеплоен? Моя не понимайт
George
он намного более.... приятен.... чем unbound
Grigorii
Вся эта хрень не работает, единственный вариант это unbound на каждой ноде и сказать кублету использовать его в подах
Как это не работает, работает ещё как. Не понимаю только почему сервис дохлый эндпоинт не выкидывает когда это нужно.
Grigorii
эм. Он у тебя через оператор задеплоен? Моя не понимайт
Нет, не оператор. Там деплоймент обычный
G72K
у нас прекрасно работает в кластере кореднс
А вы подергайте один из корднс подов туда сюда
Grigorii
Кубспрейный кластер
Grigorii
вот его и покажи
https://pastebin.com/raw/taxW545V
Отделение Bereke Bank
я думал я один некрофил с 1.13.12
Andrey
Много фиксов было недавно с udp graceful termination и ipvs
Lucky SB
Вся эта хрень не работает, единственный вариант это unbound на каждой ноде и сказать кублету использовать его в подах
перевожу. на каждой ноде локальный ресолвер, который умеет перебирать вышестоящие dns сервера. в кубспрее например под с названием nodelocaldns этим занимается (внутри coredns)
Grigorii
я думал я один некрофил с 1.13.12
Так этого монстра непонятно как обновлять. У меня там 2000 контенйеров заряжено, а обновлять я боюсь
Grigorii
Упадет все, я прям больше чем уверен
𝚔𝚟𝚊𝚙𝚜
ю ар велкам https://github.com/kubernetes/kubernetes/issues/81775
Grigorii
Отделение Bereke Bank
Так этого монстра непонятно как обновлять. У меня там 2000 контенйеров заряжено, а обновлять я боюсь
ну если минорное обновление - я просто обновляю манифесты control-plane, kube-proxy yum-ом kubelet-ы и systemctl restart kubelet если все прошло гладко (а если это минорное, то проблем быть не должно) - ноды даже не успевают перейти в NotReady
G72K
Вообще вся абстракция Service в кубе - это одна большая ошибка
George
фигня. Странная. Потому что он должен через 10 секунд прочухать, что под сдох
George
Вообще вся абстракция Service в кубе - это одна большая ошибка
нет. У тебя приложение клиентское ошибка
George
которое ретрай не делает
Lucky SB
Ну пока не вижу профита для обновления
только не высовывай api наружу. а то тебе сразу профитов навставляют )