Логи чего? В кубелете нечего кроме рефьюзед нет, но их много

если у тебя аписервер запускается через статик поды - то логи кубелета, если еще какой-то новомодный способ - то там тоже посмотри

docker ps -a тоже пусто?

Есть, но там все в статусе exited, месячной давности

Контейнеры понятно, но работают сервисы кубера

сервисы не то, чем кажутся

если у тебя аписервер запускается через статик поды - то логи кубелета, если еще какой-то новомодный способ - то там тоже посмотри

Кубер это же только демон кубелета, остальное всё потом разворачивается уже внутри, нет?

Типа api и etcd

не знаю что такое "демон кубелета", я только демон Максвелла знаю

не знаю что такое "демон кубелета", я только демон Максвелла знаю

Это то что стартуешь вне кубера, на ноде из оси..

kubelet

systemctl

Кубер это же только демон кубелета, остальное всё потом разворачивается уже внутри, нет?

Советую почитать про kubernetes и control plane и взаимодействие и роли других компонентов

Потом только уже пытатся понять почему сломалось

Кубер это же только демон кубелета, остальное всё потом разворачивается уже внутри, нет?

не обязательно, способов доставки аписервера есть уйма, вот у вас какой?

не обязательно, способов доставки аписервера есть уйма, вот у вас какой?

Который предоставил kubeadm init

У меня bare metal

впрочем, если docker ps -a показывает контейнеры месячной давности в exited, то либо у вас сервер лежал месяц, либо у вас crio/containerd, либо вы банально не туда смотрите

У меня докер...

У меня докер...

Ну значит либо сервер месяц лежит или ты не туда смотришь, как сказали выше

Куда можно не туда смотреть? До куда вообще кроме логов kubelet, могу дотянутся?

Куда можно не туда смотреть? До куда вообще кроме логов kubelet, могу дотянутся?

Ну значит либо сервер месяц лежит или ты не туда смотришь, как сказали выше

Крутые выводы) он как раз месяц в использовании)

Крутые выводы) он как раз месяц в использовании)

Значит у тебя kubernetes лежит уже месяц)

так контейнеры started месяц назад или exited месяц назад?

Судя по таргетам Прометея лежит аписервер, и кубелет

(подозреваю что вы просто смотрите в вывод docker ps -a, так что первое)

Причем кубелет с 401 ошибкой, вот это поворот

найдите контейнер с именем kube-..api.. и читайте его логи

так контейнеры started месяц назад или exited месяц назад?

Exited

Еще логи etcd посмотри

Exited

как вы узнали это, кстати?

(подозреваю что вы просто смотрите в вывод docker ps -a, так что первое)

Без параметры пусто, с параметром старые уже отработанные контейнеры

Без параметры пусто, с параметром старые уже отработанные контейнеры

вот в этих отработанных и посмотрите

как вы узнали это, кстати?

В столбике статус, вестимо

ага, ну там показывается время создания, но это и так понятно уже

Там контейнеры, которые я раньше через докер у себя запускал

ага, ну там показывается время создания, но это и так понятно уже

Время создания и завершения немного отличаются

Ну так не честно нахрен, перезапустил kubelet всё-таки и заеблось! Но пля так и не понятна причины логического падения ноды

По статусам все живо было

Ха-ха, опять прилегло)

Все опять лежит, хоть Прометей работает, можно как то жизнь смотреть

может докеру места не хватает ?

Все опять лежит, хоть Прометей работает, можно как то жизнь смотреть

Скинь логи кубелета при старте

у нас для такого есть https://raw.githubusercontent.com/openshift/openshift-ansible/master/roles/openshift_control_plane/files/scripts/docker/master-logs master-logs api api

Кажется догадываюсь, возникает алерт disk pressure, и ноду кубер фейлит

сделай docker system prune -а

*prune -f

Уже с а запущено)

Жестко конечно

Очистил не богато, на 800мб

извини, punto switcher )))

Уже с а запущено)

патч Бармина пробовал?

патч Бармина пробовал?

Что это?

штука, которая не даёт выполнять незнакомые команды

Кажется догадываюсь, возникает алерт disk pressure, и ноду кубер фейлит

https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/

Значит он сам все числит, но у меня было 85% юзед сейчас 83, пока живём, но такими темпами опять упадет, спасибо всем за помощь

кто-то работает с ipv6? как слелать, чтобы было включено по умолчанию во всех подах? v1.12

Значит он сам все числит, но у меня было 85% юзед сейчас 83, пока живём, но такими темпами опять упадет, спасибо всем за помощь

Ды может диск заресайзить?

Ды может диск заресайзить?

Ага, неплохо бы было, но с этим проблемы, по добавлению пространства в виртуалку(

Ага, неплохо бы было, но с этим проблемы, по добавлению пространства в виртуалку(

Я как понял у тебя это какой-то тестовый стенд. Пересоздай клстер заново, а то ожидает тебя бесконечный секс. У тебя что за виртуализация? Кто вольюмы предоставляет VM ?

кто-то работает с ipv6? как слелать, чтобы было включено по умолчанию во всех подах? v1.12

Как раз все вкючено должно быть. Сложнее выключить ипв6

Как раз все вкючено должно быть. Сложнее выключить ипв6

так как же включить?

Если на железке есть то и поде должно быть

Добрый день. Docker крашится во время коммита какие могут быть причины?

У меня сейчас стоит версии 1.12.1 я могу сейчас на 13 или ещё какие-то патчевые обновлять?

Ага, неплохо бы было, но с этим проблемы, по добавлению пространства в виртуалку(

Вот в виртуалку обычно не проблема места добавить, это ж не в магазин за hdd сходить, а потом еще его вкручивать

Вот в виртуалку обычно не проблема места добавить, это ж не в магазин за hdd сходить, а потом еще его вкручивать

Они у них дорогие, и поэтому это большая проблема

А 13 версия ещё и не доступна в yum по крайней мере

Если на железке есть то и поде должно быть

мой пример доказывает обратное

Что ты хочешь? Опиши подробнее

Что ты хочешь? Опиши подробнее

хочу, чтобы в поде был ipv6 адрес на интерфейсе

а как обновить ENV в поде Б, когда я деплою под А?

кто-то работает с ipv6? как слелать, чтобы было включено по умолчанию во всех подах? v1.12

Ты с этой целью про sysctls спрашивал? Сделай initContainer с /sbin/sysctl -w net.ipv6.conf.all.disable_ipv6=1

Только он привелегированный должен быть

а как обновить ENV в поде Б, когда я деплою под А?

звучит как service discovery

ну ему все равно нужен бекенд файловый , то есть будет там тот же ceph

Не будет, minio использует Erasure Coding по умолчанию, так что никакой Ceph там не нужен

К слову побэнчмаркал тут Ceph, Minio и NFS на sequence write (под хранилище бекапов). NFS оказался куда быстрее и менее ресурсозатратный чем S3

К слову побэнчмаркал тут Ceph, Minio и NFS на sequence write (под хранилище бекапов). NFS оказался куда быстрее и менее ресурсозатратный чем S3

Ну S3 совсем не про скорость. Он про durability

Это да, NFS не так просто на несколько хостов размазать, и в нем нет коррекции ошибок и избыточности.

Тут обсуждали переезд подов sts, я там про taints и toleration писал, видимо забыл что включал эту фичу и она не из коробки: https://github.com/kubernetes/features/issues/166

Кстати minio очень понравился, он запускается одной командой и работает из коробки, в дефолтной конфигурации быстрее чем ceph с erasure codes