пользуюсь связкой Rancher + Kubernetes. пока настроено 2 хоста - один EC2 от AWS и один VPS от местного провайдера. вчера EC2 потерялся (статус disconnected в Rancher/hosts), из-за него Kubernetes стал почти read-only, ничего не могу деплоить\удалять. стер EC2-сервер, теперь при попытке удалить деплои или поды мне выдает "Error from server: client: etcd cluster is unavailable or misconfigured" etcd перезапускал, тщетно

2 мастера?

два участника кластера etcd, судя по всему

нужно сказать оставшемуся etcd, что он теперь в кластере один, перезапуски вообще никак не помогут

нужно сказать оставшемуся etcd, что он теперь в кластере один, перезапуски вообще никак не помогут

как это сделать?

но запускать кластер из двух участников это гхм та еще идея

а вот это уже знает гугл (я не знаю)

но запускать кластер из двух участников это гхм та еще идея

это пока тест возможностей. а почему?

Товарищи, а ктото натыкался на хорошую статью по установке кубера на Debian ? Сколько не пробую - всё как то костыльно.

это пока тест возможностей. а почему?

ну кворум только из двух участников

2 мастера?

я не знаю тонкостей настройки Kubernetes Ранчером, но насколько я понял, 1 мастер.

без других вариантов

один выпал - кластер умер

что и произошло

какой оптимальный вариант?

в данный момент ставим в приоритет high availability

https://github.com/kubernetes/kubernetes/issues/33729 блин, вот с этой уже час вожусь

какой оптимальный вариант?

делать кластер из нечетного количества участников

написано в любой доке по любому распределенному решению

если там ранчер сам всё разворачивал, то не думаю, что там можно развернуть четное число

ещё и в разных ДЦ

as you see

хм

1 кубернетис-кластер в разных дц кажется не очень ха идея

kops вроде умеет делать в разных дц если не путаю

но не по одной ноде

федеративный кластер - согласен, а с таким сетапом понимания что будет происходить с кластером у меня нет. даже если мастер-слейв в разных дц

Товарищи, а ктото натыкался на хорошую статью по установке кубера на Debian ? Сколько не пробую - всё как то костыльно.

а что не так?

коллеги, использующие kargo-cli – кто-нибудь смог собрать go-версию? Или я неправильно понимаю концепцию карго?

Ayrat ping, ты же kargo-cli пробовал?

провозился с карго полтора часа, пока нет понимания видимо - мало провозился. Копаю дальше. Если кто-то поделится опытом - буду рад

пока что максимум, чего я от карго добился - это вот такой фигни: Traceback (most recent call last): File "/usr/local/bin/kargo", line 381, in <module> args.func(config) File "/usr/local/bin/kargo", line 73, in deploy Run.deploy_kubernetes() File "/usr/local/lib/python2.7/dist-packages/kargo/deploy.py", line 269, in deploy_kubernetes display.display(' '.join(cmd), color='bright blue') TypeError: sequence item 0: expected string, NoneType found

python ❤️

Я использую вот этот карго: https://github.com/kubernetes-incubator/kargo

ну да. но в его же документации сказано - используйте kargo-cli

в общем пока что все это создает впечатление набора кривоватых велосипедов

чем ansible-playbook не устроил?

посмотрите на даты последних коммитов в kargo-cli и kargogo

чем ansible-playbook не устроил?

В смысле написать? Я не настолько хорошо знаю куб :)

да нет, он в репе kargo есть

https://github.com/kubernetes-incubator/kargo/blob/master/docs/getting-started.md#starting-custom-deployment например

link preview - просто огонь

я не уверен, что хочу знать, что это

ну всегда есть https://kubernetes.slack.com/messages/kargo/ :)

Мой опыт показывает, что развернуть куб не разбираясь в нем практически невозможно

Это либо брать тул, в котором все гвоздями прибито, где максимум можно поменять количество нод

Либо что то "широкого" профиля, но которое нужно под каждый use case допиливать

Я на днях попробовал Azure Container Engine - типа развертывание "production ready" куба от Azure.

Так вот, он НЕ работает :)

Деплой этого всего дела (делающийся мышкой в веб интерфейсе Azure) падает с невразумительной ошибкой через полторы минуты выполнения

я не говорил "вообще не разбираясь", просто мне не хочется делать руками совсем все

Причем я и так, и сяк, и все креденшиалы перепроверил, все равно одна хрень

А вот коллеге удалось эту штуку задеплоить в Azure: он не смотря на то, что написано в документации (а там это явно указано и даже предупреждение стоит, "не перепутайте!"), поменял местами пару гуидов (application id и object id), и у него это дерьмецо развернулось!

я не говорил "вообще не разбираясь", просто мне не хочется делать руками совсем все

А фичи всякие охота, небось?)

Мне вот руками тоже не хочется это дело разворачивать, но при этом "короьочного" функционала нигде не хватает

это именно БАГ. У меня такой любимый на убунте есть с weave. если на хосте есть два интерфейса, то адреса нод должны быть строго публичными. Еесли указать приватные - weave будет падать. При этом трафик пойдет строго по приватному интерфейсу

вот такой вот подарок

Я поэтому и выбрал kargo как что то с знакомой основой (Ansible), активным сообществом, развивающееся и отчасти unopionated

вот я и пытаюсь постичь карго

пока что максимум, чего я от карго добился - это вот такой фигни: Traceback (most recent call last): File "/usr/local/bin/kargo", line 381, in <module> args.func(config) File "/usr/local/bin/kargo", line 73, in deploy Run.deploy_kubernetes() File "/usr/local/lib/python2.7/dist-packages/kargo/deploy.py", line 269, in deploy_kubernetes display.display(' '.join(cmd), color='bright blue') TypeError: sequence item 0: expected string, NoneType found

БАГ - это ты про это?

с документацией-то катастрофа, ни квикстарта, ничего

про то, что надо поменять гуиды, хотя в документации написано, что делать этого нельзя

это явный баг, кто-то где-то в коде что-то посеял

А, ты про Azure Container Engine?

ага

Ага согласен

В чём ты разворачиваешь?

В AWS?

bare-metal, у нас свои сервера

А kargo-cli умеет bare metal?

Для обычного kargo, который на ansible, все конфигурации в какой то степени как bare metal

написно что умеет. В результате вся возня с карго для меня вылилась в генерацию конфигов. Как только я пойму, как сгенерить именно то, что мне нужно - решу 90% поставленой задачи. Осталась мелочь

add_header Public-Key-Pins

Но тут задача в Ingress сделать :)

А вот как реализовать Public-Key-Pins средствами Ingress?

Hello! Сорри, давно тут не проявлял активность, допиливал вот эту штуку https://github.com/Mirantis/kubeadm-dind-cluster Если у кого есть желание попробовать, то теперь можно запустить тестовый многонодовый k8s кластер, например, вот так: $ wget https://cdn.rawgit.com/Mirantis/kubeadm-dind-cluster/master/fixed/dind-cluster-v1.5.sh $ chmod +x dind-cluster-v1.5.sh $ ./dind-cluster-v1.5.sh up Нужен свежий докер (1.12+), проверялось на Mac OS X, Ubuntu 16.04, Fedora 25. Может работать с удалённым докером. При необходимости может собирать k8s из исходников, но может работать и без этого. Крайне быстро работает перезапуск кластера. Пока что не работает со storage driver'ом btrfs в докере (баг в cadvisor -> kubelet, проблема с зачисткой volumes).

неплохо работает в Travis CI

взлетает довольно легко на Маке с 8 Gb RAM

за фидбэк буду признателен :)

а что не так?

Видимо руки не из того места :) Только осваиваю кубер, медленно продвигается освоение.

У всех на определенном этапе бывает :)

Без этого, конечно, никуда :)

ой ничего себе, Михаил, мир круглый

на свадьбе твоей сестры виделись))

на свадьбе твоей сестры виделись))

Вот это поворот !

Мир и правда тесен =)

У Миши за последние полчаса аж два подобных сюрприза) Мир - Шар. Sorry за оффтоп)

тут много кто кого знает. мне написал чувак с которым 10 лет назад работали

Коллеги а кто-то знает аналогичный чатик по GCP? )

ага, тоже интересно было бы, а то тут такое ощущение, что у всех кубер только на bare metal развернут)

а там есть некоторые свои нюансы

GCP сам по себе, ссуко, странен - там и без k8s вопросов хватает

то-ли дело AWS/OpenStack

Hello! Сорри, давно тут не проявлял активность, допиливал вот эту штуку https://github.com/Mirantis/kubeadm-dind-cluster Если у кого есть желание попробовать, то теперь можно запустить тестовый многонодовый k8s кластер, например, вот так: $ wget https://cdn.rawgit.com/Mirantis/kubeadm-dind-cluster/master/fixed/dind-cluster-v1.5.sh $ chmod +x dind-cluster-v1.5.sh $ ./dind-cluster-v1.5.sh up Нужен свежий докер (1.12+), проверялось на Mac OS X, Ubuntu 16.04, Fedora 25. Может работать с удалённым докером. При необходимости может собирать k8s из исходников, но может работать и без этого. Крайне быстро работает перезапуск кластера. Пока что не работает со storage driver'ом btrfs в докере (баг в cadvisor -> kubelet, проблема с зачисткой volumes).

???

Коллеги а кто-то знает аналогичный чатик по GCP? )

подписался бы

Hello! Сорри, давно тут не проявлял активность, допиливал вот эту штуку https://github.com/Mirantis/kubeadm-dind-cluster Если у кого есть желание попробовать, то теперь можно запустить тестовый многонодовый k8s кластер, например, вот так: $ wget https://cdn.rawgit.com/Mirantis/kubeadm-dind-cluster/master/fixed/dind-cluster-v1.5.sh $ chmod +x dind-cluster-v1.5.sh $ ./dind-cluster-v1.5.sh up Нужен свежий докер (1.12+), проверялось на Mac OS X, Ubuntu 16.04, Fedora 25. Может работать с удалённым докером. При необходимости может собирать k8s из исходников, но может работать и без этого. Крайне быстро работает перезапуск кластера. Пока что не работает со storage driver'ом btrfs в докере (баг в cadvisor -> kubelet, проблема с зачисткой volumes).

я правильно понимаю, что по функционалу это некоторый гибрид minicube и kargo?

не совсем