Alexey

можно еще hostNetwork: true использовать, но не знаю насколько это приемлимо в вашем случае

Скорее не получится, порт-то все поды хотят занять один и тот же.

Vadim

https://groups.google.com/forum/#!msg/metalkube-dev/JYjoyc81AlE/N4ldkvOaDAAJ Просто оставлю это здесь

Demetrio⚡️

привет, кто-нибудь сталкивался с такой ситуацией: $ cat dummy.json { "kind": "Secret", "apiVersion": "v1", "metadata": { "name": "dummy", "namespace": "default", "annotations": { "kubernetes.io/service-account.name": "dummy" } }, "type": "kubernetes.io/service-account-token" } $ kubectl create -f dummy.json secret/dummy created $ kubectl describe secret dummy Error from server (NotFound): secrets "dummy" not found

Demetrio⚡️

не создается сервис аккаунт

Andrey

https://groups.google.com/forum/#!msg/metalkube-dev/JYjoyc81AlE/N4ldkvOaDAAJ Просто оставлю это здесь

Превосходно. Спасибо!

Demetrio⚡️

не создается сервис аккаунт

похоже старую доку прочитал

Alexander

Привет В чем может быть проблема? Error: UPGRADE FAILED: no Deployment with the name "nginx" found Конфиги хельма https://pastebin.com/s8FzqNiV чет не могу понять почему не видит деплоймент😕

Evgenii

Используйте свежий хелм с —atomic

Maksim

Namespace совпадают?

Alexander

неймспейсы совпадают самое интересное что деплой в локальный миникуб залетает а гитлаб и гуглклауд чет не могут в это

Alexander

ща попробую версию хельма обновить

R2

Привет В чем может быть проблема? Error: UPGRADE FAILED: no Deployment with the name "nginx" found Конфиги хельма https://pastebin.com/s8FzqNiV чет не могу понять почему не видит деплоймент😕

helm upgrade —install ?

Alexander

да

R2

да

helm ls |grep nginx ?

R2

может стейт failed

Alexander

гцп говорит что сервисы апнулись и helm ls их видит😒

R2

тогда сначала helm delete —purge nginx

R2

а потом upgrade —install

R2

такое бывает в каких-то случаях если меняется деплоймент или была неудачная попытка и стейт фейлед

Arthur

Ребят, а есть какие-нибудь нормальные альтернативы Microclimate IBM? Задача в том, чтобы условно парой команд можно было развернуть default-ное окружение с преконфигуренными ci/cd пайплайнами. (пока в рамках того, чтобы на одиночном серваке поставить, исключая готовые cloud PaaS решения)

Alexander

такое бывает в каких-то случаях если меняется деплоймент или была неудачная попытка и стейт фейлед

да, удалил поды и сервисы

Alexander

деплой прошел

Alexander

правда балансировщик отвалился🤷‍♂️

Alex Sharov

А подскажите пожалуйста, кто подключал external-dns в кластер на aws? У меня вопрос как быть. У меня есть nginx controller, который создал себе ELB. Я создал ingress правило, где ручками указал аннотации: external-dns.alpha.kubernetes.io/hostname: myservice.mydomain.com external-dns.alpha.kubernetes.io/target: <ELB DNS> В самом route53 при этом создалась корректная запись (ALIAS), и все вроде бы работает. Если при этом всем я в ingress пропишу - host: myservice.mydomain.com, то по myservice.mydomain.com будет отдаваться 404.

Alex Sharov

что я сделал не так?

G72K

https://groups.google.com/forum/#!msg/metalkube-dev/JYjoyc81AlE/N4ldkvOaDAAJ Просто оставлю это здесь

Надо начинать смотреть на все это дело

Andrey

Ребят, а есть какие-то варианты выхода из ситуации, когда все инстансы приложения равномерно доходят до своего лимита памяти, k8s их прибивает и получается даунтайм?

Artyom

ну, думать, а куда память утекает

Andrey

ну, думать, а куда память утекает

да это понятно. Я скорее про то, чтобы убивать их не одновременно. Или сначала поднимать новые, а потом убивать старые.

Andrey

Ребят, а есть какие-то варианты выхода из ситуации, когда все инстансы приложения равномерно доходят до своего лимита памяти, k8s их прибивает и получается даунтайм?

Говноскриптом на bash и kubectl удалять поды случайно.

Andrey

Chaos Engineering. Это модно!

Andrey

Ок, может на ingress есть балансировка по весам?

Andrey

Ок, может на ingress есть балансировка по весам?

https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#canary

Andrey

эт canary, это не то)

Vadim

Ребят, а есть какие-то варианты выхода из ситуации, когда все инстансы приложения равномерно доходят до своего лимита памяти, k8s их прибивает и получается даунтайм?

pod disruption budget чтобы хотя бы один был живой?

Andrey

pod disruption budget чтобы хотя бы один был живой?

Вооот да, что-то похоже то что мне нужно. Посмотрю. Спасибо

Andrey

Хотя нет, что-то читаю там в основном про drain ноды и выход ее из строя. А у меня ситуация когда все инстансы приложения подошли к своему лимиту и k8s начинает их отстрелливать. И проблема в том что есть период от момента когда все убиты и до момента когда первый инстанс стал доступен.

G72K

pod disruption budget чтобы хотя бы один был живой?

Оно не поды убивает, а контейнеры, pod disruption budger не поможет. Убивает OOMKill :)

Vadim

Оно не поды убивает, а контейнеры, pod disruption budger не поможет. Убивает OOMKill :)

а, точно, это involuntary

Vadim

тогда можно навелосипедить вебхук в алертманагере, который будет убивать поды при достижении n% памяти наверное

Arty

involuntary celebate

G72K

Хотя нет, что-то читаю там в основном про drain ноды и выход ее из строя. А у меня ситуация когда все инстансы приложения подошли к своему лимиту и k8s начинает их отстрелливать. И проблема в том что есть период от момента когда все убиты и до момента когда первый инстанс стал доступен.

Деплоить с разными лимитами . Учесть скорость роста и скорость рестарта в разнице между лимитами, чтобы простоя не было

Andrey

Деплоить с разными лимитами . Учесть скорость роста и скорость рестарта в разнице между лимитами, чтобы простоя не было

Вот да, ща тоже идея пришла сделать 2 деплоймента, чтоб лимиты были разные и соответственно время кила тоже будет разное.

G72K

Можно ещё фоновый процесс в контейнере который сожрёт память и заснёт. Каждый раз при старте будет жрать разное количество памяти, тогда оомкилл придет всем подам в разное время.

Andrey

Можно ещё фоновый процесс в контейнере который сожрёт память и заснёт. Каждый раз при старте будет жрать разное количество памяти, тогда оомкилл придет всем подам в разное время.

🤣🤣🤣, тогда проще башем бегать и килять по одному если доступны. Но я сначала хотел поискать штантное решение, потом уже велики писать)

G72K

🤣🤣🤣, тогда проще башем бегать и килять по одному если доступны. Но я сначала хотел поискать штантное решение, потом уже велики писать)

Нет, башем это императивно, а фоновый процесс декларативненько

Vadim

тут кто-то кидал ссылку на ынтырпрайз-солюшены по недопущению оомкилла

Andrey

Еще такой вопрос. Почему так долго не убивалось приложение? Ну т.е. потребление проца на графике пошло вверх как раз в тот момент когда приложение должно было быть убито(дошло до лимита памяти). terminationGracePeriodSeconds стоит 30 сек.

Andrey