решаем как будем деплоить к8с

kismatic смотрите в первую очередь. Там тоже ансибл под капотом как и в кубеспрей, но на порядок удобнее продуман

kismatic смотрите в первую очередь. Там тоже ансибл под капотом как и в кубеспрей, но на порядок удобнее продуман

Благодарствую, сейчас почитаем

kubespray норм

думаю написать статейку как в 10 команд поднять baremetal кластер с использованием kubespray и демо-приложение с letsencrypt

думаю написать статейку как в 10 команд поднять baremetal кластер с использованием kubespray и демо-приложение с letsencrypt

флаг в руки (я не шучу)

думаю написать статейку как в 10 команд поднять baremetal кластер с использованием kubespray и демо-приложение с letsencrypt

Плюсую яростно заочно! Просим!!!

Ну это без тонкостей. Для быстрого старта в самый раз. То, чего мне не хватало две недели назад

Ну это без тонкостей. Для быстрого старта в самый раз. То, чего мне не хватало две недели назад

Всё украдено до нас :))

https://dev-ops-notes.ru/%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%B8%D0%BA-kubernetes/

это 1/3. А еще Ingress, а еще letsencrypt

это 1/3. А еще Ingress, а еще letsencrypt

https://dev-ops-notes.ru/kubernetes/kubernetes-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-ingress/

letsencrypt для чего? https на внешку?

letsencrypt - спорный вопрос

для входа да, остально проще своими сертами мутить

прочитал, у меня несколько по-другому. И не факт что у меня правильно

letsencrypt для чего? https на внешку?

ну да

letsencrypt - спорный вопрос

а чего спорить? лично у меня нет желания покупать Wildcard SSL за >$ 334.95 /год для различных севисов на своем домене - от блога и своих проектов до owncloud

а чего спорить? лично у меня нет желания покупать Wildcard SSL за >$ 334.95 /год для различных севисов на своем домене - от блога и своих проектов до owncloud

я прекрасно вас понимаю - у самого более сотнее доменов на letsencrypt с автоматическим обновлением через jenkins. Речь про то, что тянуть letsencrypt для etcd и master - оверхед в подовляющем большинстве случаев.

да. кстати автообновление letencrypt я не проверял. Но могу сказать что в моем самосборе а-ля Ingress-controler для Docker Swarm автообновление letsencrypt не работало. Как только подходил срок приходилось стопорить контейнера и перезапускать чтобы сертификаты обновлились

я прекрасно вас понимаю - у самого более сотнее доменов на letsencrypt с автоматическим обновлением через jenkins. Речь про то, что тянуть letsencrypt для etcd и master - оверхед в подовляющем большинстве случаев.

почему? Если собственного CA нету

почему? Если собственного CA нету

ну о том речь - поднять его для кубера - отличная затея. Гораздо лучше, нежели пытаться выехать на сервисе letsencrypt. Ну мы накушались с обновлением, я тоже не на ровном месте полемику развожу. Ждём wildcard от letsencypt - в 2018 обещали

ну о том речь - поднять его для кубера - отличная затея. Гораздо лучше, нежели пытаться выехать на сервисе letsencrypt. Ну мы накушались с обновлением, я тоже не на ровном месте полемику развожу. Ждём wildcard от letsencypt - в 2018 обещали

поднимать CA только ради того, чтобы поднять CA - идея очень плохая

поднимать CA только ради того, чтобы поднять CA - идея очень плохая

Kubernetes hard way - вроде с сертов и начинается, и это правильно, поскольку на понимание этого уходит много времени. В конце концов - просто точка зрения.

А кто нибудь уже поднимал на CoreOS кубернет 1.8 ? А то у меня что-то не поднимается, не пойму почему. kubelet поднимает паузные контейнеры "gcr.io/google_containers/pause-amd64:3.0 "/pause" k8s_POD_kube-proxy-10.1.29.12_kube-system_30c721be7d28f79fadf551ad172b9927_0" И дальше тишина - основные контейнеры не поднимаются((

Господа, пытаюсь делать kubeadm init в сислоге Oct 30 17:12:00 gmuweb-srv kubelet: W1030 17:12:00.767469 51660 cni.go:196] Unable to update cni config: No networks found in /etc/cni/net.d

Что ему не хватает? какой нить flannel просит?

для летсенкрипт есть кубе лего с автообновлением и плюхами

Что ему не хватает? какой нить flannel просит?

up

ну епт

а документацию почитать?

https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/

после инита на мастере нужно сеть втащить

Так инит не проходит

Я в этой доке и сижу

там еще открыв инфу по calico, можно увидеть ключ pod-network-cidr

хочешь сказать он тебе не выдал в конце kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>

после init kubelet еще не может начать работу, сети нет

хотя нет, гоню. он уже должен запустить apiserver точно

и etcd

Подскажите пожалуйста, как изменить путь к образу гиперкуба на локальный реджестри для кублета? делаю вот по этому мануалу: https://coreos.com/kubernetes/docs/latest/deploy-master.html Добавил это: Environment=KUBELET_IMAGE_TAG={{.hyperkube_version}} Environment=KUBELET_IMAGE_URL=docker://{{.insecure_registry}}/k8s/hyperkube В итоге в рокете гиперкуб стартует, но при попытке поднять аписервер (и прочие компоненты) в докере - ошибка "Back-off pulling image \"quay.io/coreos/hyperkube:1.8.1\" и как видно из ошибки - лезет опять наружу...

там еще открыв инфу по calico, можно увидеть ключ pod-network-cidr

что с ключом, что без - kubeadm init не проходит

[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10255/healthz' failed with error: Get http://localhost:10255/healthz: dial tcp [::1]:10255: getsockopt: connection refused.

Стопицот ошибок что он локально ломиться пытается

выхлоп у kubeadm init какой?

[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10255/healthz' failed with error: Get http://localhost:10255/healthz: dial tcp [::1]:10255: getsockopt: connection refused.

Ну это одна из строк

Полный вывод кинуть?

iptables не блокирует общение?

блин, да не должен

порт 10255 должен кубелет открыть

я кэп, посмотри логи кубелета

я не помню, kubeadm его на ноде вроде через systemd запустит

я кэп, посмотри логи кубелета

логи кублета на центоси в общем /var/log/messages?

я надеюсь достаточно journalctl -u kubelet

у меня кублет в докере

так что логи я смотри из докера)

а как же бага с cgroups или что там мешает kubespray запускать kubelet в докере?

а как же бага с cgroups или что там мешает kubespray запускать kubelet в докере?

а это кстати интересная тема для дискаса. У нас изначально была идея фикс - засувать кубер в lxd(не докер, конечно, но тоже про cgroups) - ушли на квм...

а как же бага с cgroups или что там мешает kubespray запускать kubelet в докере?

что за бага?

что за бага?

забили, там каждый раз новое появлялось. Ну первое - privileged container нужен, ок пофиксили, дальше - специальные пермишины

По центоси https://github.com/kubernetes/kubernetes/issues/43805#issuecomment-320965626 Это раз для начала Потом https://github.com/kubernetes/kubernetes/issues/48798#issuecomment-316223833 частично помогло

Только один фиг kubectl init не завершается

либо ждёт может чего то, но больно уж долго. Пока тишина

У кого еще не сетапится на фланнеле cni интерфейс?

Вернее сетапится, но например из 20 нод - часть будет с ним, часть без него.

Причем это все рандомом происходит...

Вернее сетапится, но например из 20 нод - часть будет с ним, часть без него.

ну вы же понимаете, что решаете задачу специфичную, сложную, но просите чат наставить на путь истинный?

нету его

от слова совсем

Все ставится по дефолту через копс.

Вполне кто-то из чата мог иметь уже подобную проблему

если что-то идёт не так с какой-либо компонентой, я пишу в слак этой компоненты. Попробуйте, помогает!

@DenisIzmaylov

Pavel @kalevas @not_logan вот накатал по-быстрому https://medium.com/@olegsmetanin/how-to-setup-baremetal-kubernetes-cluster-with-kubespray-and-deploy-ingress-controller-with-170cdb5ac50d

Спасибо

пейсатель я еще тот, предложения приветствуются

круто

я даж на медиуме зарегался, мож тоже че-нить напишу туда :)

http://blog.kubernetes.io/2017/10/using-rbac-generally-available-18.html

кстати, тэги в kubespray не спроста, имхо. я обычно чекаутюсь на тэг последнего релиза

Теги везде не просто так)

А kubespray умеет между релизами апдейтить? Насколько это болезненно?

https://github.com/kubernetes-incubator/kubespray/blob/master/docs/upgrades.md

@olegsmetanin сейчас пройду твою статью на ВМках) спасибо!

Pavel @kalevas @not_logan вот накатал по-быстрому https://medium.com/@olegsmetanin/how-to-setup-baremetal-kubernetes-cluster-with-kubespray-and-deploy-ingress-controller-with-170cdb5ac50d

Супер, спасибо По дополнению - не забыть вырубить swap

есть кстати еще https://github.com/kubernetes-incubator/bootkube для деплоя self-hosted

может пробовал кто

кто-нибудь на основе инсталляции https://medium.com/@olegsmetanin/how-to-setup-baremetal-kubernetes-cluster-with-kubespray-and-deploy-ingress-controller-with-170cdb5ac50d может helm завести?

кто-нибудь на основе инсталляции https://medium.com/@olegsmetanin/how-to-setup-baremetal-kubernetes-cluster-with-kubespray-and-deploy-ingress-controller-with-170cdb5ac50d может helm завести?

у меня хелм не заработал даже на GKE.

Мде

ну надо чтобы заработал )

Подскажите плз по Kubernetes Dashboard. Не могу залогинется с помощью токена. Ошибок нет, возвращает 200, но логин не проходит

Oct 31 14:30:03 master kubelet[14694]: I1031 14:30:03.541810 14694 kubelet_node_status.go:276] Setting node annotation to enable volume controller attach/detach в сислоге постоянно

пытаюсь сделать kubeadm init

Не доходит до конца

кому-нибудь знакомо?

ну надо чтобы заработал )

https://github.com/kubernetes/helm/issues/2409 я не осилил пока. впрочем, впечатление от проекта, который по мануалу не заводится на референсной платформе - странноватые.