судя по всему, у вас именно апи упал, то, что все остальные контейнеры продолжают жить - так и должно быть, но никаких операций администрирования вы пока, понятно, сделать не можете

В этом случае он не может освободить место, и те контейнеры, которые пишут себе что-то в верхний слой, рискуют рано или поздно столкнуться с ошибкой записи

Хорошо, но почему поды умирают?

Как кубы могут удалить под и оставить при этом живой контейнер?

Ведь он должен прибить под, при удаление пода умрет и контейнер.

А у него поды умерли, а контейнеры живее всех живых

"Поды умирают" - это по каким физическим признакам был сделан вывод?

По признакам, что я не могу достучаться до апишки кубов

это не поды умерли, это вы до апишки не можете достучаться

Хорошо, но я вижу в netstat, что порт не забинжен

теоретически там уже возможно уже никто ни за чем не следит, но в случае падения самого кубера как системы предполагается, что контейнеры продолжают жить, это ожидаемое поведение

А можно как понять без апишки, что в системе есть поды?

Скажем по etcd?

у тебя мастера на тех же нодах живут что ли, где и поды запускаются?

Ну да... Это издержки системы

Если умеете читать исходный код, то да, можете с его помощью проанализировать содержимое etcd и понять текущее состояние системы, но я бы в первую очередь сконцетрировался на возврате привычной работоспособности

На то есть причины вообщем.

ваще апи же вроде стейтлесс, они только в етцд смотрят

может у тебя етцд помер?

Ну его контейнер я вижу

и?

В списке запущенных...

это не значит что он жив

А что вы подразумеваете под словом жив, тогда?

Если бы он умер, в смысле процесс, то и контейнер за ним?

отвечает на запросы в разумное время

контейнер может например постоянно перезапускаться и примерно ничего не делать

логи пробовал смотреть?

апи-то почему помер?

к тому же у вас все инстансы могли просто потерять друг друга и ждать восстановления кластера. опросить такую штуку тоже вряд ли получится.

ImageGc что-то там пришел и попытался очистить память

В смысле образ

и задай себе вопрос: почему рекомендуют мастера и етцд отселять на отдельные ноды

стрелять себе в ногу мало любителей

Вообщем из всего выше сказано может следовать примерно следующее 1) мертвый под != Мертвый контейнер ?

я бы все-таки еще раз проакцентировал, что мертвых подов пока нет

Но апишка недоступна...

логической связи-то между этим никакой

Я бы согласился, но тогда хотя бы сокет был забинжен

Или это тоже ничего не значит?

мы не знаем, что это за сокет, многие вещи делаются через iptables и не отображаются в привычном выводе

точно место кончилось?

и аписервер запуститься не может?

Да, уверен. Да он судя по логам даже не особо старается запуститься. Scheduler усиленно старается всех на свете прибить подряд. Пока не дошел до api сервиса, у него были ошибки вида - не могу удалить образ, т.к. есть запущенный контейнер. А после того, как постарался прибить апишку, стали валится ошибки - недоступен сервис апи

Поэтому я сделал вывод, что он каким-то образом прибил апишку...

Вот и стараюсь выяснить, что кубы делают, когда начинали чистить контейнеры и возможна ли смерть пода без убийства контейнера

а логи-то читал той же самой апишки?

Кубы очень много чего делают магического... Это одно из них.

наоборот, там никакой особой магии нет

Да, в syslog

читаешь логи и обычно всё понятно

и?

И я написал.

Да, уверен. Да он судя по логам даже не особо старается запуститься. Scheduler усиленно старается всех на свете прибить подряд. Пока не дошел до api сервиса, у него были ошибки вида - не могу удалить образ, т.к. есть запущенный контейнер. А после того, как постарался прибить апишку, стали валится ошибки - недоступен сервис апи

Вот что я вычитал в логах

Или сам лог надо?

про логи апишки ты ничего вообще не написал

Хммм, посмотрю

Спасибо большое. Посмотрю, отпишусь

Коллеги подскажите. Gitlab который в облаке использовать в связке ci/cd и k8s использовать можно? До этого в проектах обычно был self hosted всегда. А тут облако на free тарифе. Я так понял там особо ничего изменить под себя нельзя или без разницы будет?

Коллеги подскажите. Gitlab который в облаке использовать в связке ci/cd и k8s использовать можно? До этого в проектах обычно был self hosted всегда. А тут облако на free тарифе. Я так понял там особо ничего изменить под себя нельзя или без разницы будет?

Тоже интересно

Пытаюсь поставить Rancher HA mode на esxi, кто поможет?

Коллеги подскажите. Gitlab который в облаке использовать в связке ci/cd и k8s использовать можно? До этого в проектах обычно был self hosted всегда. А тут облако на free тарифе. Я так понял там особо ничего изменить под себя нельзя или без разницы будет?

Тоже интересно

Что такое cattle server в rancher?

Ну «особо изменить под себя нельзя» - выясняется просто же) есть дока, можно потыкать и понять, хватает всего или нет. Я правка их кубер ещё не пользовал, но вот хочу потестить тоже. CI вполне себе ок Работает все

https://rancher.com/docs/rancher/v2.x/en/installation/server-installation/ha-server-install/#provision-linux-hosts

Кто нибудь пробовал rancher ставить?

Кто нибудь пробовал rancher ставить?

🙈

забудьте вы это язделие

Почему?

Что такое cattle server в rancher?

В версии 1 это движок который проглатывает docker-compose v2

Господа, добрый день. Я правильно понимаю, что поднять nginx ingress-controller на своём облаке и без внешнего балансировщика невозможно?

Господа, добрый день. Я правильно понимаю, что поднять nginx ingress-controller на своём облаке и без внешнего балансировщика невозможно?

возможно.

Господа, добрый день. Я правильно понимаю, что поднять nginx ingress-controller на своём облаке и без внешнего балансировщика невозможно?

возможно, смотри service c типом ClusterIP

Благодарю, пойду гуглить

И всё же кто по rancher подскажет?

Не могу понять где брать ключи авторизации, хочу кластер поднять и настраиваю yml файл сейчас

Товарищи, я правильно понимаю, что пока не задеплоен прометей-оператор, кубер не знает его api Error: apiVersion "monitoring.coreos.com/v1" А как правльно делать чтоб одновременно деплоить все helm-ом?

запиливать всё вместе в одном манифесте

хз про хельм