Мастер один он и отошел

Ну смотри логи на нем. Я бы для начала проверил статус etcd и kube-apiserver

kube get cs- посмотри состояние компонентов в кластере. Посмотри логи kube-apiserver и etcd на мастерах.

И говорю, что команда kubectl не пашет

Ну смотри логи на нем. Я бы для начала проверил статус etcd и kube-apiserver

Как это сделать, если я не могу достучаться ни до кого

Дашборд так же отъехал

Как это сделать, если я не могу достучаться ни до кого

идти на ноду и смотреть через docker ps и тп

Как это сделать, если я не могу достучаться ни до кого

Всмысле?)))) заходишь на инстанс с матсером и смотришь

идти на ноду и смотреть через docker ps и тп

Я на ней сейчас

И на ней не работает команда kubectl

И на ней не работает команда kubectl

че и докер тоже не работает?

идти на ноду и смотреть через docker ps и тп

Как ни странно, но пусто

О чем это говорит?

че и докер тоже не работает?

Докер работает

Докер работает

ты же полюбому кластер развертывал чере kubeadm?

Но почему kubectl не пашет, если сервис работает? Статус эктив

ты же полюбому кластер развертывал чере kubeadm?

Да

Да

Ну у тебя значит все компоненты в докере. Берешь docker logs и смотришь Можешь еще сделать ss -taln | grep 6443

curl -k https://localhost:6443

пашет?

curl -k https://localhost:6443

Нет конечно, ругается так же как и kubectl

Что за страшная трабла?

journalctl -u kubelet ничего такого?

systemctl restart kubelet ?

Что за страшная трабла?

Обычно моя практика показывает либо это etcd лежит или kube-apiserver

systemctl restart kubelet ?

Я пока не хочу это делать, хочу докопаться что не так со всеми работающим

journalctl -u kubelet ничего такого?

Есть такие же как и по курлу, что рефюзед

Можно же systemctl status kubelet -l

Или journalctl

Не могло же молча все сдохнуть

Такое ещё бывает, если http_proxy https_proxy установить

Можно же systemctl status kubelet -l

Писал статус active(running) зелёный, вот и мне интересно как так

А логи?

Или отломал папку .kube

Я пока не хочу это делать, хочу докопаться что не так со всеми работающим

Я тебе уже сказал куда копать для начала. Ты бы вместо того что бы тут вопросы задавать, пошел бы и проверил мою теорию

А логи?

Выше писал, что ошибки по запросу разных объектов кубера с рефьюзом

Я тебе уже сказал куда копать для начала. Ты бы вместо того что бы тут вопросы задавать, пошел бы и проверил мою теорию

Я всё сделал, но перезапускать не хочу пока

Так быть не должно

Так быть не должно

Что не должно то? ЧТо у тебя сломалось?

Что без видимых причин все встаёт раком

Все работает, но не работает

Что без видимых причин все встаёт раком

А что встает то?

Какой компонент?

Вся суть куба, перезапускать все, что стоит раком

А что встает то?

Часть сервисов легло, видимо те которые были на мастере который помер

Вся суть куба, перезапускать все, что стоит раком

Ага, тока внутри куба, а не сам он

Часть сервисов легло, видимо те которые были на мастере который помер

Крч логи api-server и etcd в студию за период, когда была поломка. Я думаю экстрасенсов нет тут

Это типа толчок обновления на новую версию, и мастер как надо полег))

Крч логи api-server и etcd в студию за период, когда была поломка. Я думаю экстрасенсов нет тут

А как их достать, это же не kubelet

А как их достать, это же не kubelet

аааа))мужик)) ну ты че) docker logs

Всем привет, кто смог подключить ElasticBlockStore к StorageClass? вот ошибка в pvc Failed to provision volume with StorageClass "gp2": Failed to get AWS Cloud Provider. GetCloudProvider returned <nil> instead

Доступа к кластеру нет, но там что-то все же живое крутится

аааа))мужик)) ну ты че) docker logs

Если ведел выше, мужик, то по ps пусто на ноде

Тогда читай логи кубелета

И интересно как кластер работает без мастера?...

Доступа к кластеру нет, но там что-то все же живое крутится

Ну тогда х.з как тебе помочь. Собирай логи с контейнеров, которые реализуют control plane и отлавливай ошибки

Кто спрашивал неделю назад чем подгонку лимитов автоматизировать? Есть решение? Просто какой-то линтер, мол request такой-то, а используется в 10 раз меньше, не хотите ли порезать?

И интересно как кластер работает без мастера?...

Мне кажется, все работает не так ты себе представляешь)

И интересно как кластер работает без мастера?...

Как курица без головы

Тогда читай логи кубелета

Там только попытки запроса на объекты кубера, типа конфигмапа, секретов, и с такой же ошибкой connection refused

И интересно как кластер работает без мастера?...

все живет, пока не упадёт.

все живет, пока не упадёт.

Дак мастер упал

Там только попытки запроса на объекты кубера, типа конфигмапа, секретов, и с такой же ошибкой connection refused

Крч у тебя явно c kube-apiserver траблы или c etcd. Даю 80% что у тебя etcd загнулся

ну а контейнеры на нодах будут жить, пока не упадут

ну а контейнеры на нодах будут жить, пока не упадут

Контейнеры понятно, но работают сервисы кубера

Там только попытки запроса на объекты кубера, типа конфигмапа, секретов, и с такой же ошибкой connection refused

у тебя есть доступ к мастеру? control plane запускается в static pods?

Значит сам кластер функционирует частично

у тебя есть доступ к мастеру? control plane запускается в static pods?

У меня только к нему и есть пока

Кто спрашивал неделю назад чем подгонку лимитов автоматизировать? Есть решение? Просто какой-то линтер, мол request такой-то, а используется в 10 раз меньше, не хотите ли порезать?

https://github.com/kubernetes/community/blob/master/contributors/design-proposals/autoscaling/vertical-pod-autoscaler.md

у тебя есть доступ к мастеру? control plane запускается в static pods?

Что такое?

У меня только к нему и есть пока

тогда внимательно читай логи и смотри отчего умер apiserver

тогда внимательно читай логи и смотри отчего умер apiserver

Логи чего? В кубелете нечего кроме рефьюзед нет, но их много

У меня только к нему и есть пока

Ты мне вот выше писал что доступа нет)

https://github.com/kubernetes/community/blob/master/contributors/design-proposals/autoscaling/vertical-pod-autoscaler.md

сложнова-то. Попробую, но тут просто таск запросить max за сутки и сравнить с limit. Или это отстойно сработает?

тогда внимательно читай логи и смотри отчего умер apiserver

У Анатолия нет доступа k control plane , как я понял)

Тогда я могу по астралу к его кластеру подключится, тут высоковольтовая линия

Ты мне вот выше писал что доступа нет)

Нет доступа к kubectl

Нет доступа к kubectl

лол)Зачем тебе kubectl? DOCKER LOGS !!!!

Что такое control plane?

docker ps -a тоже пусто?

лол)Зачем тебе kubectl? DOCKER LOGS !!!!

Нет запущенных контейнеров на ноде, чего логи смотреть?

Что такое control plane?

Это мастер нода, где системные компоненты запущены