в объектных стораджах, а не блочных

Это когда приложение умеет

слышал что можно научить

А как вы храните пользовательские файлы, например?

в контейнерах???

в контейнерах???

в tmpfs

используйте pingfs! https://github.com/yarrick/pingfs

в контейнерах???

почему в контейнерах? через pv монтируется что-то типа nfs

А как вы храните пользовательские файлы, например?

при чем тут пользовательские файлы?

почему в контейнерах? через pv монтируется что-то типа nfs

с пользовательскими файлами? что это за файлы такие?

Ребзя, подскажите плиз, у меня по питанию выпала одна нода, поды которые на ней были запущены, находятся в состоянии Terminating и так висят уже много часов, это норм или как-то лечится? если под пытаться удалить через delete pod, то будет висеть очень долго и не удалит

Ребзя, подскажите плиз, у меня по питанию выпала одна нода, поды которые на ней были запущены, находятся в состоянии Terminating и так висят уже много часов, это норм или как-то лечится? если под пытаться удалить через delete pod, то будет висеть очень долго и не удалит

https://stackoverflow.com/questions/35453792/pods-stuck-at-terminating-status

Ребзя, подскажите плиз, у меня по питанию выпала одна нода, поды которые на ней были запущены, находятся в состоянии Terminating и так висят уже много часов, это норм или как-то лечится? если под пытаться удалить через delete pod, то будет висеть очень долго и не удалит

Через force с grace-period =0

да, я понимаю как их удалить:)

но проблема в том что у меня helm крашится из за этого

он ждет пока под в состоянии terminating удалится и валится по таймауту

В чем проблема удалить руками с форсом, а только потом запускать хелм?

В чем проблема удалить руками с форсом, а только потом запускать хелм?

в том что я руками вынужден туда полезть, а это как бы не круто

странная реализация у куба)

А нода, которая по питанию ложится, типа, нормальная 🤔

нет)

но ведь как-то это нужно обработать

а куб делает не разумно, говорит просто - я не знаю:) ничего поделать не могу

но ведь как-то это нужно обработать

как?

странная реализация у куба)

Вообще это не нормальное поведение. Через некоторое время поды должны будут переехать на здоровый воркер, если конечно соблюдены будут все условия для из запуска.

а куб делает не разумно, говорит просто - я не знаю:) ничего поделать не могу

посмотри kubectl get events

Вообще это не нормальное поведение. Через некоторое время поды должны будут переехать на здоровый воркер, если конечно соблюдены будут все условия для из запуска.

я вот как-то так же себе это представлял

[root@5051k8s-master ~]# kubectl get events LAST SEEN TYPE REASON OBJECT MESSAGE 5m1s Warning EvictionThresholdMet node/5051k8s-master Attempting to reclaim ephemeral-storage 40m Normal Starting node/5051k8s-master Starting kube-proxy. 18m Normal Starting node/5051k8s-master Starting kube-proxy.

правда ноды уже нет почти сутки

тут должен прийти квапс и сказать про фенсинг

а мертвые поды еще есть

[root@5051k8s-master ~]# kubectl get pods --all-namespaces -o wide| grep Terminating cp cp-deploy-67d979cc5-ts5jh 3/3 Terminating 0 3d21h 10.244.5.229 5102k8s-worker <none> <none> cp cp-deploy-6dc8c558c9-bdsb7 1/3 Terminating 0 3d21h 10.244.5.230 5102k8s-worker <none> <none> kube-system coredns-fb8b8dccf-nfkgz 1/1 Terminating 0 18h 10.244.0.46 5050k8s-master <none> <none> kube-system kubernetes-dashboard-5f7b999d65-pjgq4 1/1 Terminating 0 18h 10.244.0.45 5050k8s-master <none> <none> rnd-rc tracker-rc-tracker-api-74697cf565-4zrrq 2/2 Terminating 0 2d21h 10.244.5.76 5102k8s-worker <none> <none>

я вот как-то так же себе это представлял

Я бы пошел смотреть логи системных сервисов k8s. Так сложно сказать где проблема

мне важно было понять, нормально ли это что поды висят в таком состояни продолжительное время или нет

если не нормально, то я буду инвестигейтить

мне важно было понять, нормально ли это что поды висят в таком состояни продолжительное время или нет

https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/#soft-eviction-thresholds

кратко - нормально, потому что триггернулся soft eviction, а он не удаляет с форсом

только вот у тебя косяк на ноде, которая их не может удалить

мне важно было понять, нормально ли это что поды висят в таком состояни продолжительное время или нет

А нода осталась в списке kubectl get nodes ?

А нода осталась в списке kubectl get nodes ?

Помечена как не доступна

только вот у тебя косяк на ноде, которая их не может удалить

дай урлу гитхаба на своего бота в тг, я чет похерил

Помечена как не доступна

Попробуй сделать cardon, а после этого drain и посмотри что будет

дай урлу гитхаба на своего бота в тг, я чет похерил

https://github.com/vrutkovs/ecasbot

https://github.com/vrutkovs/ecasbot

спс

жсон по читабельности проигрывает, ямл по индентации и наркомании шаблонизации, да

чего не скажешь про jsonnet

Ребзя, подскажите плиз, у меня по питанию выпала одна нода, поды которые на ней были запущены, находятся в состоянии Terminating и так висят уже много часов, это норм или как-то лечится? если под пытаться удалить через delete pod, то будет висеть очень долго и не удалит

kubectl delete node

тут должен прийти квапс и сказать про фенсинг

я пришел https://github.com/kvaps/kube-fencing

а подскажите такой вопрос, одна мастернода не работает уже сутки, а get pods показывает поды на ней в состоянии running

так и задуманно, или что-то пошло не так?

мне важно было понять, нормально ли это что поды висят в таком состояни продолжительное время или нет

это нормально, потому что

Ахах

а подскажите такой вопрос, одна мастернода не работает уже сутки, а get pods показывает поды на ней в состоянии running

а как ты понял что она не работает?

она физически потушена

а подскажите такой вопрос, одна мастернода не работает уже сутки, а get pods показывает поды на ней в состоянии running

тогда это не нормально, попробуй посмотреть в логи controller-manager

какой статус имеет нода?

ну и я про поды kube-systtem, не апликейшен

она NotReady

так ты мастер потушил?

да, один

тогда читай про k8s disaster recovery

если у тебя там был etcd особенно

подожди, меня не это интересует, ноду я и поднять могу

это скорее всего статик поды, который без этой ноды никуда сами не переедут

надеюсь твои сертификаты за это время не заэкспайрились, а то будет весело

в том что я руками вынужден туда полезть, а это как бы не круто

зачем туда лезть?

это скорее всего статик поды, который без этой ноды никуда сами не переедут

++

надеюсь твои сертификаты за это время не заэкспайрились, а то будет весело

а как быстро они экспайрятся?

а как быстро они экспайрятся?

соответсвенно настройкам

зависит от их срока действия )

дефолтные

@kvaps у тебя qbec не глючил?

:) каждый раз когда задаю тут вопросы, вспоминаю анекдот про Шерлока, Ватсона, воздушный шар и программиста

нутыжепрограммист, читай документацию к kubeadm/kubespray/eks/gke/чтозакубтытампоставил

как ваще это дебажить: $ qbec apply infra setting cluster to gke_..._europe-north1_infra setting context to gke_..._europe-north1_infra cluster metadata load took 2.074s will synchronize 36 object(s) ✘ EOF command took 2.14s

@kvaps у тебя qbec не глючил?

глючил когда я применял helm-теплейты им

не ну я до такого не доходил конечно

он переодически пытался какие-то конфигмапы рандомно удалить (заодно на всякий случай)

как ваще это дебажить: $ qbec apply infra setting cluster to gke_..._europe-north1_infra setting context to gke_..._europe-north1_infra cluster metadata load took 2.074s will synchronize 36 object(s) ✘ EOF command took 2.14s

EOF - это тебе скорее всего кубапи возвращает

но ведь kubectl apply -f на сгенерированное нормально работает :/

какое щас самое модное и полезное решение для автоматизация разворачивания кластера кубернейтс?

GKE