Make sure you put the backup certificates into /etc/kubernetes/pki folder before kubeadm init. It will pick up the same certificates. https://medium.com/velotio-perspectives/the-ultimate-guide-to-disaster-recovery-for-your-kubernetes-clusters-94143fcc8c1e docker run --rm \ -v '/data/backup:/backup' \ -v '/var/lib/etcd:/var/lib/etcd' \ --env ETCDCTL_API=3 \ 'k8s.gcr.io/etcd:3.2.24' \ /bin/sh -c "etcdctl snapshot restore '/backup/etcd-snapshot-2018-12-09_11:12:05_UTC.db' ; mv /default.etcd/member/ /var/lib/etcd/" kubeadm init --ignore-preflight-errors=DirAvailable--var-lib-etcd --config kubeadm-config.yaml # из kubeadm-config.yaml выпиливаю секцию про etcd видимо

Кто восстанавливал мультимастер кластер из снэпшотов? Правильно понимаю, что по аналогии то же самое делается на трех мастерах? Из одного и того же снэпшота? Или на остальных мастерах достаточно просто kubeadm join --experimental-controle-plane ?

Make sure you put the backup certificates into /etc/kubernetes/pki folder before kubeadm init. It will pick up the same certificates. https://medium.com/velotio-perspectives/the-ultimate-guide-to-disaster-recovery-for-your-kubernetes-clusters-94143fcc8c1e docker run --rm \ -v '/data/backup:/backup' \ -v '/var/lib/etcd:/var/lib/etcd' \ --env ETCDCTL_API=3 \ 'k8s.gcr.io/etcd:3.2.24' \ /bin/sh -c "etcdctl snapshot restore '/backup/etcd-snapshot-2018-12-09_11:12:05_UTC.db' ; mv /default.etcd/member/ /var/lib/etcd/" kubeadm init --ignore-preflight-errors=DirAvailable--var-lib-etcd --config kubeadm-config.yaml # из kubeadm-config.yaml выпиливаю секцию про etcd видимо

им новый кластер создать надо, через etcdctl snapshot restore --initial-cluster

Спасибо, получается на трех мастерах docker run, в котором etcdctl snapshot restore --initial-cluster m1=http://host1:2380,m2=http://host2:2380,m3=http://host3:2380 --initial-cluster-token ... --initial-advertise-peer-urls ... По аналогии с https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/recovery.md#restoring-a-cluster И потом на первом мастере kubeadm init --ignore-preflight-errors=DirAvailable--var-lib-etcd --config kubeadm-config.yaml На остальных kubeadm join --experimental-controle-plane

Или kubeadm join --experimental-controle-plane в таком случае не сработает?

18 июня в Москве пройдет AWS Dev Day, организованные Provectus вместе с Amazon Web Services. Что будет на AWS Dev Day: • Сильные технические специалисты от AWS и комьюнити • Доклады разных сложностей про облачные технологии и сервисы AWS • «Ask an AWS Architect», где участники смогут пообщаться с AWS архитекторами 1:1 Будут доклады на темы, охватывающие ☁️ Modern App Development, ☁️ Machine Learning и ☁️ Backends & Architecture. Кому будет интересно на AWS Dev Day? • Systems Reliability Engineers • Solution Architects • Software Developers • DevOps Engineers/Managers • Release Engineers/Managers • IT/OPS Engineers/Managers • Enterprise Architects • Security Engineers/Managers • Compliance Engineers/Managers 📌 Участие бесплатное по предварительной регистрации. Подробности 👉 http://amp.gs/dG67

сил нет кто-нибудь знает кишочки okd ? клиент не хочет видеть роуты (роутер был заменен на k8s ингрес-контроллер) при создании ингрессов игрался с apiServerArguments: runtime-config: - route.openshift.io/v1=false толку ноль

18 июня в Москве пройдет AWS Dev Day, организованные Provectus вместе с Amazon Web Services. Что будет на AWS Dev Day: • Сильные технические специалисты от AWS и комьюнити • Доклады разных сложностей про облачные технологии и сервисы AWS • «Ask an AWS Architect», где участники смогут пообщаться с AWS архитекторами 1:1 Будут доклады на темы, охватывающие ☁️ Modern App Development, ☁️ Machine Learning и ☁️ Backends & Architecture. Кому будет интересно на AWS Dev Day? • Systems Reliability Engineers • Solution Architects • Software Developers • DevOps Engineers/Managers • Release Engineers/Managers • IT/OPS Engineers/Managers • Enterprise Architects • Security Engineers/Managers • Compliance Engineers/Managers 📌 Участие бесплатное по предварительной регистрации. Подробности 👉 http://amp.gs/dG67

@DenisIzmaylov запинь плиз?

сил нет кто-нибудь знает кишочки okd ? клиент не хочет видеть роуты (роутер был заменен на k8s ингрес-контроллер) при создании ингрессов игрался с apiServerArguments: runtime-config: - route.openshift.io/v1=false толку ноль

в кач-ве тупового воркэраунда удалить sa ingress-to-route-controller из openshift-infra мде

сил нет кто-нибудь знает кишочки okd ? клиент не хочет видеть роуты (роутер был заменен на k8s ингрес-контроллер) при создании ингрессов игрался с apiServerArguments: runtime-config: - route.openshift.io/v1=false толку ноль

убрать system:openshift:controller:ingress-to-route-controller ClusterRoleBinding у system:serviceaccount:openshift-infra:ingress-to-route-controller в любом случае штатные апгрейды будут ругаться и\или вернут его на мес

убрать system:openshift:controller:ingress-to-route-controller ClusterRoleBinding у system:serviceaccount:openshift-infra:ingress-to-route-controller в любом случае штатные апгрейды будут ругаться и\или вернут его на мес

о спасибо за инфу

можно ли стандартными фильтрами kubectl выбрать (и соответственно удалить) все персистент вольюм клэймы, у которвх Маунт бай = ноне? Гугл находит вот что https://stackoverflow.com/questions/53202727/how-to-cleandelete-unmounted-pvcs-and-pvs но там какая-то башевская магия с грепами

можно ли стандартными фильтрами kubectl выбрать (и соответственно удалить) все персистент вольюм клэймы, у которвх Маунт бай = ноне? Гугл находит вот что https://stackoverflow.com/questions/53202727/how-to-cleandelete-unmounted-pvcs-and-pvs но там какая-то башевская магия с грепами

что-то вроде kubectl get pvc -n default -o jsonpath='{.items[?(@.status.phase=="Pending")].metadata.name}'

спасибо. я правда уже прочекал каждый руками и удалил по имени, поэтому наверное этот запрос ничего не выдает. но я планирую играться с добавлением группы ресурсов и удалением их как каскадно так и вручную по лабелам, и протестирую тогда еще

всем привет. подскажите с ошибкой. Есть билд агент дженкинса в кубернетс при деплое доходит до последнего шага где нужно бы выполнить helm instal blablabla. и вот происходит затык $HELM_HOME has been configured at /tmp/jenkins/.helm. Warning: Tiller is already installed in the cluster. (Use --client-only to suppress this message, or --upgrade to upgrade Tiller to the current version.) $HELM_HOME has been configured at /tmp/jenkins/.helm. Tiller (the Helm server-side component) has been upgraded to the current version. E0606 09:35:51.795054 2004 portforward.go:400] an error occurred forwarding 40097 -> 44134: error forwarding port 44134 to pod 49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146, uid : exit status 1: 2019/06/06 09:35:51 socat[139985] E connect(5, AF=2 127.0.0.1:44134, 16): Connection refused E0606 09:35:52.802081 2004 portforward.go:400] an error occurred forwarding 40097 -> 44134: error forwarding port 44134 to pod 49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146, uid : container not running (49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146) E0606 09:35:54.580329 2004 portforward.go:400] an error occurred forwarding 40097 -> 44134: error forwarding port 44134 to pod 49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146, uid : container not running (49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146) E0606 09:35:56.775989 2004 portforward.go:400] an error occurred forwarding 40097 -> 44134: error forwarding port 44134 to pod 49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146, uid : container not running (49210600e9b7723babdef713d3a7a946759a09f9689c4f2085f1dfff34090146) E0606 09:36:30.347704 2004 portforward.go:340] error creating error stream for port 40097 -> 44134: Timeout occured E0606 09:36:56.288626 2004 portforward.go:362] error creating forwarding stream for port 40097 -> 44134: Timeout occured

версия tiller и helm клиента разные. Зделай степ helm version перед инсталом чтобы точно знать.

Играюсь с кубером, хочу научиться группировать ресурсы по меткам и выбирать/удалять их всей группой по kubectl get/delete all -l key=value. Деплойменты, репликасеты, сервисы и поды таким образом выбираются нормально, а персистент вольюм клэймы и персистент вольюмы не хотят выбираться гет оллом, хотя в них есть метка с тем же кей-валью. Что я делаю не так?

--all-namespaces возможно?

ммм, щас попробую

Но я думаю что лучше это делать по аннотациям, а не по лейблам

не выдает pvc/pv по оллу все равно

персонально пвц выдает kubectl get pvc -l lab=test

kubectl api-resources --verbs=list --namespaced -o name | xargs -n 1 kubectl get --show-kind --ignore-not-found -l <label>=<value> -n <namespace>

https://github.com/kubernetes/community/blob/master/contributors/devel/sig-cli/kubectl-conventions.md#rules-for-extending-special-resource-alias---all

kubectl 1.14 всьо видет

k get pvc -l app=harbor пример

Но я думаю что лучше это делать по аннотациям, а не по лейблам

то есть тэгировать для последующего группового удаления не по лэйблам а по аннотациям? можно наверное, но вольюмы скорее всего тоже не будут. щас посмотрю какой кубер

ну тыж пвц гетишЪ

пвц и у меня видед

есть вопрос по nginx ingress controller для aws eks. Не могу понять какой вариант из 3х мне нужно использовать: https://github.com/kubernetes/ingress-nginx/tree/master/deploy/aws

а по ссылке выше все прямым текстом сказано…. спасибо

значит напишу в руководство по эксплуатации - удалять все по меткам, а пвц отдельно - такая фича )

версия tiller и helm клиента разные. Зделай степ helm version перед инсталом чтобы точно знать.

это выхлоп из логов билд агента

Привет всем. А есть какая то возможность что бы не указывать tag (версию новую) а кубер сам проверял последнюю и скачивал если у него к примеру 2.0.0 а при apply в регистри появился образ 2.0.1?

tag latest не подойдет? + gitlab job

получается в кластере 2.14 а в имедже билд агента 2.11

значит напишу в руководство по эксплуатации - удалять все по меткам, а пвц отдельно - такая фича )

Удаление всего кроме пвц/пв не удаляет персистент данных, да?

Кажется стремновато это удалять-то

a https://github.com/kubernetes/community/blob/master/contributors/devel/sig-cli/kubectl-conventions.md#rules-for-extending-special-resource-alias---all

почему стремновато? понятно что это анрекаварабал, но если засунули в кластер фигню поиграться, ее надо вычистить всю

Я из 30 вольюмов (не считая внутренних куберовских) удалил 20 только что - чищу кластер

не считая сервисов и прочего

Я из 30 вольюмов (не считая внутренних куберовских) удалил 20 только что - чищу кластер

docker system prune

docker system prune

Лол

у меня все в одном нэймспейсе дефаулт - и прод и дев и куча всего нужного к ним типа кафок и прочего

а вы мне тут рм -рф советуете значит

можно rm -fr по французки

вы вот шутите, а мне надо с этим вашим кубером разобраться и наш кластер причесать, прямо на ходу. и не завалить прод желательно. поэтому тренируюсь на кошках - создаю свои тестовые ресурсы и пытаюсь их удалять групповым образом. щас еще до ОвнерРеференс дойду

а вы мне тут рм -рф советуете значит

Выполнение dokker system prune никак не поможет твоей задаче, если чо

я подозревал это, потому что надо чтобы мутабор начинался с kubectl а не с docker

так и есть, делит олл по меткам оставляет сиротский вольюм с маунт бай ноне ) значит дорабатываем напильником, удаляя вольюмы отдельно

Подкиньте инструкцию как сейчас собирают кластеры на baremetal ?

Ansible + Kubespray ?

Подкиньте инструкцию как сейчас собирают кластеры на baremetal ?

Да, да это легко когда у тебя одна нода

А не 20

вы вот шутите, а мне надо с этим вашим кубером разобраться и наш кластер причесать, прямо на ходу. и не завалить прод желательно. поэтому тренируюсь на кошках - создаю свои тестовые ресурсы и пытаюсь их удалять групповым образом. щас еще до ОвнерРеференс дойду

кубер шляпа

Да, да это легко когда у тебя одна нода

у тебя kubespray и так ансибл

зачем тебе еще сверху?

у тебя kubespray и так ансибл

Я видимо от жизни отстал

Последний раз пересобирал год назад

В интернете писали, что я сам могу установить связь ownerReferences но при деплое оно ругается, что нужно указать айди ресурса ссылки. Но я не знаю его айди. Или надо сначала задеплоить без ручных референсов, прочитать айдишники, забить их в манифест и апдейтнуть деплой? Но это же кривизна неимоверная

В интернете писали, что я сам могу установить связь ownerReferences но при деплое оно ругается, что нужно указать айди ресурса ссылки. Но я не знаю его айди. Или надо сначала задеплоить без ручных референсов, прочитать айдишники, забить их в манифест и апдейтнуть деплой? Но это же кривизна неимоверная

Зачем тебе это?

В интернете писали, что я сам могу установить связь ownerReferences но при деплое оно ругается, что нужно указать айди ресурса ссылки. Но я не знаю его айди. Или надо сначала задеплоить без ручных референсов, прочитать айдишники, забить их в манифест и апдейтнуть деплой? Но это же кривизна неимоверная

ownerReference ручками ставить не надо, это для CRD

лейблы наше всё

Для того, чтобы навести порядок в кластере. Я сейчас руками вычленял все связи всех ресурсов, удалял лишние (как отдельные сиротские, так и целые несвязные с остальным графом куски), но надо теперь навести порядок в том что осталось - чтобы оно было связано как надо и удалалось сразу пачкой если надо. А не как было - куча вольюмов от старых опытов жрет память и деньги

Для того, чтобы навести порядок в кластере. Я сейчас руками вычленял все связи всех ресурсов, удалял лишние (как отдельные сиротские, так и целые несвязные с остальным графом куски), но надо теперь навести порядок в том что осталось - чтобы оно было связано как надо и удалалось сразу пачкой если надо. А не как было - куча вольюмов от старых опытов жрет память и деньги

ownerReference — внутренняя штука. У тебя связи более высокоуровневые. Лейблы.

Ок. Я просто поверил тому что писали, что можно руками самому ownerReference влепить. И тогда было бы красиво - удаляешь деплоймент - а оно тебе все сервисы поды и вольюмы его само каскадно удаляет

Вариант с лейблами-тегами понятен. С учетом того, что олл не умеет в вольюмы

Ок. Я просто поверил тому что писали, что можно руками самому ownerReference влепить. И тогда было бы красиво - удаляешь деплоймент - а оно тебе все сервисы поды и вольюмы его само каскадно удаляет

Поды он и так удаляет. Тебе что-то с volume'ами надо решить.

Ну напишу инструкцию - лепить новые сервисы и вольюмы ТОЛЬКО Б…ТЬ с лабелом как у деплоймента, а удалять в 2 приема - черезе олл по лэйблу все рекавередное, и вольюмы отдельно. Такая задокументированная кривизна, какую мы заслужили….

Ну напишу инструкцию - лепить новые сервисы и вольюмы ТОЛЬКО Б…ТЬ с лабелом как у деплоймента, а удалять в 2 приема - черезе олл по лэйблу все рекавередное, и вольюмы отдельно. Такая задокументированная кривизна, какую мы заслужили….

Если хочешь Kubernetes-native решение, то поразбиравшись чутка в API и потребностях бизнеса, можно сделать логику в кластере. https://metacontroller.app/api/decoratorcontroller/

Пасиб, покурю

Подскажите по ingress. у половина нод такая ошибка Readiness probe failed: HTTP probe failed with statuscode: 500

Не могу понять в чём дело? Может кто сталкивался

Подскажите акутальную иструкцию по kubespray

Офф дока с косяками

Которых хотелось бы избежать

Подскажите по ingress. у половина нод такая ошибка Readiness probe failed: HTTP probe failed with statuscode: 500

у тебя поломались поды