ansible tower который за деньги себя так же всю жизнь вёл - ну т.е. не ставился без подпорок

оправдание так себе

да я не оправдываю

я тихо горю

ну надо чтобы заработал )

так ты хоть проблему запости, а то "не работает" так себе описание

Господа, прошу помощи у тех, кто на чистую заводил кубера руками Проблема в том, что не получается завести кластер через такие распространённые вещи как kubeadm init или при помощи kubespray

есть замечательноая дока

https://kubernetes.io/docs/getting-started-guides/scratch/

Дока немного запутанной кажется, посему вопрос в том, чтобы указать на шаги, которые необходимо предпринять. Что завести в начале, что потом и так далее.

Господа, прошу помощи у тех, кто на чистую заводил кубера руками Проблема в том, что не получается завести кластер через такие распространённые вещи как kubeadm init или при помощи kubespray

Ну это же не руками, руками это ты когда конфиги для кубелета, апи, шедулера, прокси т.д. сам создаешь... У coreos на сайте хорошая документация по развертыванию кубернетеса, причем оно потом работает

Ребят, кто как собирает метрики с кластера? раньше использовали snap с app kubernetes для grafana, но при update версии k8s все пошло по одному месту ?

Господа, прошу помощи у тех, кто на чистую заводил кубера руками Проблема в том, что не получается завести кластер через такие распространённые вещи как kubeadm init или при помощи kubespray

а на чем останавливается?

а на чем останавливается?

[init] This often takes around a minute; or longer if the control plane images have to be pulled.

ну и после долгого ожидания

Unfortunately, an error has occurred: timed out waiting for the condition

в сислоге также кроме Oct 31 14:58:19 master kubelet[14694]: I1031 14:58:19.670657 14694 kubelet_node_status.go:276] Setting node annotation to enable volume controller attach/detach ничо нет

Ребят, кто как собирает метрики с кластера? раньше использовали snap с app kubernetes для grafana, но при update версии k8s все пошло по одному месту ?

https://github.com/kubernetes/charts/tree/master/stable/prometheus тащит с собой node exporter в daemonset, для сбора инфы из cadvisor маленький фикс конфига нужен тока

https://github.com/kubernetes/charts/tree/master/stable/prometheus тащит с собой node exporter в daemonset, для сбора инфы из cadvisor маленький фикс конфига нужен тока

что за фикс?

Ну это же не руками, руками это ты когда конфиги для кубелета, апи, шедулера, прокси т.д. сам создаешь... У coreos на сайте хорошая документация по развертыванию кубернетеса, причем оно потом работает

так вот руками то и собрался всё делать остальное шаманство не помогает

нашел pr с описание ${1}:4194 https://github.com/prometheus/prometheus/pull/2918/files стало понятнее к чему это было

тут обсуждали как то метрики cadvisor как доставать из kubelet

OpenNebula

что вы сделали, чтобы кнопку рефреш в интерфейсе нажимать не приходтилось после каждого чиха?

так вот руками то и собрался всё делать остальное шаманство не помогает

Выше @olegsmetanin писал пост про разворачивание kubespray'ем - тоже не получается?

тоже не получается

так вот руками то и собрался всё делать остальное шаманство не помогает

я первый раз развернул по этому мануалу, он правда заточен под coreos, но по такой схеме можно запустить и на любой другой системе, просто там всё нужное предустановлено https://coreos.com/kubernetes/docs/latest/getting-started.html

вчера ещё кубспреем пробовал по мануалам от КРОК

Unfortunately, an error has occurred: timed out waiting for the condition

я думаю kubeadm ждет что кто то запустится, kubelet, или контейнеры по манифестам через kubelet, etcd \ apiserver \ controller manager \ scheduler. нужно после того как он отработает смотреть контейнеры, их логи и тд

ну тоесть копать проблему

А еще при каждой попытке сетапа вычишать все насозданные сертификаты - в 90 процентов случаев проблемы именно в них

я думаю kubeadm ждет что кто то запустится, kubelet, или контейнеры по манифестам через kubelet, etcd \ apiserver \ controller manager \ scheduler. нужно после того как он отработает смотреть контейнеры, их логи и тд

ну там выкидывает конечно мне kubeadm стандартный ответ This error is likely caused by that: - The kubelet is not running - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled) - There is no internet connection; so the kubelet can't pull the following control plane images: - gcr.io/google_containers/kube-apiserver-amd64:v1.8.2 - gcr.io/google_containers/kube-controller-manager-amd64:v1.8.2 - gcr.io/google_containers/kube-scheduler-amd64:v1.8.2

- There is no internet connection; so the kubelet can't pull the following control plane images:

в контейнерах сети скорее всего нет

да я их руками попробовал выкачать

docker images -a REPOSITORY TAG IMAGE ID CREATED SIZE gcr.io/google_containers/kube-apiserver-amd64 v1.8.2 6278a1092d08 6 days ago 194MB gcr.io/google_containers/kube-controller-manager-amd64 v1.8.2 5eabb0eae58b 6 days ago 129MB gcr.io/google_containers/kube-scheduler-amd64 v1.8.2 b48970f8473e 6 days ago 54.9MB

так то он мне все их выкачал

docker ps -a логи смотри контейнеров

контейнеров не создаётся

от слова совсем

ммм

а etcd?

не может быть

docker ps -a

docker ps -a

оно самое

нет ничо

если была команда на страт контейнера, докер не может не сделать его

то есть docker ps -a пусто?

docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

всё что есть

и да, я эту команду 100500 раз вбивал, пока шёл kubeadm init

крутотенечка, а кто отдаёт команду на страт?

в чём то другом видать тупит

смотри логи самого докера и syslog

а вы через это вам kubeadm

к вечеру окажется что selinux был включен =)

тогда я пасс, я за чистые наркотики

а вы через это вам kubeadm

он самый

к вечеру окажется что selinux был включен =)

поподробнее плиз)

Selinux есть такая система..

/etc/selinux/config

тут либо знаешь что это такое либо нет)

ну в моём случае нет)

ну или за гугули "отключение selinux "

поподробнее плиз)

блин ну ты чего уж, сидишь с centos и не выключил еще? =))))))

да я сейчас локально на бубунте на своей машине пытаюсь

я не предлагал, из уважения, думаю, такой пустяк первое что нужно проверять

setenforce 0 setenforce: SELinux is disabled на бубунте

на центоси вчера также было в мануалах об этом написано

setenforce 0 setenforce: SELinux is disabled на бубунте

На бубнте selinux нет как класса

ну небыло раньше

sudo apt install selinux-utils

selinux это чисто красношляпная фича

setenforce 0 setenforce: SELinux is disabled

эт для надёжности

А зачем ты их установил_)))

setenforce 0 setenforce: SELinux is disabled

Ради этого)

то есть ты установил селинукс, что бы его отключить)

уверенность бесценна

Да это на локальной машине, тут пофик, можно всё что угодно ставит удалять, на крайняк перенакачу систему

уверенность бесценна

Так точно

Поехал заново ставить

kubeadm

то есть ты установил селинукс, что бы его отключить)

ОМГ, я чёт взоржал от этого)

Oct 31 15:21:11 master kubelet[18790]: I1031 15:21:11.475059 18790 factory.go:355] Registering Docker factory Правильно понимаю, что kubelet видит докер?

Oct 31 15:21:11 master kubelet[18790]: W1031 15:21:11.475390 18790 manager.go:265] Registration of the rkt container factory failed: unable to communicate with Rkt api service: rkt: cannot tcp Dial rkt api service: dial tcp 127.0.0.1:15441: getsockopt: connection refused Oct 31 15:21:11 master kubelet[18790]: W1031 15:21:11.475903 18790 manager.go:276] Registration of the crio container factory failed: Get http://%2Fvar%2Frun%2Fcrio.sock/info: dial unix /var/run/crio.sock: connect: no such file or directory rkt и crio отсутствуют, логично, что до них не достукивается

ну и всё, висим на [init] This often takes around a minute; or longer if the control plane images have to be pulled.

в сислоге только Oct 31 15:23:32 master kubelet[18790]: I1031 15:23:32.097101 18790 kubelet_node_status.go:276] Setting node annotation to enable volume controller attach/detach

из варнингов ранее было Oct 31 15:21:11 master kubelet[18790]: W1031 15:21:11.589080 18790 helpers.go:843] eviction manager: no observation found for eviction signal allocatableNodeFs.available

он похоже в этот момент пытается запустить контейнеры

в логах докера есть чего? контейнеры не генерятся?

и версия kubeadm которая?

docker ps -a так и висит тихонечко, ничо нет

kubeadm version: &version.Info{Major:"1", Minor:"8", GitVersion:"v1.8.1", GitCommit:"f38e43b221d08850172a9a4ea785a86a3ffa3b3a", GitTreeState:"clean", BuildDate:"2017-10-11T23:16:41Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}

окт 31 11:55:23 master dockerd[2096]: time="2017-10-31T11:55:23.893104198+03:00" level=info msg="API listen on /var/run/docker.sock" логи докера как в 11 часиков включился, дальше тишина

-v, --v Level log level for V logs для kubelet увеличивай

и перезапускай

--v=2 по дефолту наверное, до 4 подымай

мне как то такой совет помог =))

я не помню уже про kubeadm, но должны быть манифесты в /etc/kubernetes/manifests которые kubelet использует чтобы поднять static pods

как раз api server \ controller \ scheduler

git clone —depth=1 https://github.com/kubernetes/kubernetes.git по этому пути пошёл

вместо копания проблемы пробуешь варианты? =)