да для бытовухи локальной более чем подходит конечно имхо; мне иниересно они —net=host флаг поддерживать решили или нет?)

Под маком это не работает)

по сути мне только docker build нужен

docker for mac ставится со своей виртуалочкой. пока хоть как то серьезно не начнешь исопльзовать - никаких проблем. все работает как ожидается

мак-хуяк

Всем привет! Нужна помощь по кубернетовскому апи-серверу! У меня с ним серьёзные проблемы. Я не понимаю, в чём дело, но он у меня не поднимается никак. Делал и по ручному мануалу и по готовым скриптам, которые сами всё поднимают - результат один и тот же всегда. Поднимаю на короси, которая заливается по PXE. етсд, фланел и докер стартуют нормально. далее стартую кублет, он подтягивает конфиги и запускает аписервер, контроллер, прокси и шедулер. контейнер с апи-сервером постоянно перезапускается. в логах ноды ничего осмысленного: 1427 reflector.go:190] k8s.io/kubernetes/pkg/kubelet/kubelet.go:382: Failed to list *v1.Service: Get http://127.0.0.1:8080/api/v1/services?resourceV 1427 reflector.go:190] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:46: Failed to list *v1.Pod: Get http://127.0.0.1:8080/api/v1/pods?fieldSele 1427 reflector.go:190] k8s.io/kubernetes/pkg/kubelet/kubelet.go:390: Failed to list *v1.Node: Get http://127.0.0.1:8080/api/v1/nodes?fieldSelector=m 1427 kubelet_node_status.go:230] Setting node annotation to enable volume controller attach/detach ну типа он сам к себе подключиться не может. в логах контейнера тоже фигня E0922 07:37:47.729469 1 status.go:62] apiserver received an error that is not an metav1.Status: rpc error: code = 13 desc = transport is closing E0922 07:37:50.553370 1 status.go:62] apiserver received an error that is not an metav1.Status: rpc error: code = 13 desc = transport: write tcp 10.1.29.11:52106->10.1.29.12:2379: write: connection reset by peer но вот что нашёл интересное - в каком то мануале заметил проверку того, что контейнер с апи-сервером жив, таким образом: curl http://127.0.0.1:8080/healthz так вот, у меня оно (пока контейнер не упал) выдаёт всегда следующее: [+]ping ok [-]poststarthook/bootstrap-controller failed: reason withheld [+]poststarthook/extensions/third-party-resources ok [-]poststarthook/rbac/bootstrap-roles failed: reason withheld [+]poststarthook/ca-registration ok healthz check failed я так подозреваю, что тут надо копать глубоко в кишки апи-сервера, но какой либо инфы я на эту тему вообще не нашёл.

ща скину конфиги))

То есть получается провизинг с мака сделать нельзя

Надо с виртуалки или дедика

И я правильно понимаю что для работы docker build нужно запускать докер демон?

Поставь докер фор мак и всё можно

Поставь докер фор мак и всё можно

Не могу

Он и так греется, а с вирталками отдельными печкой становится

Если локально не хочешь билдить, но есть gce - container builder твой выбор

ща скину конфиги))

https://gist.github.com/anonymous/259722b3f41c4c7d6e21461c2db5ce52 https://gist.github.com/anonymous/ec7254a9ab4abf2180fc62e648620bb6 https://gist.github.com/anonymous/e53410d506e58cf84f288f9d9bd4f915

делал и по этому мануалу https://coreos.com/kubernetes/docs/latest/deploy-master.html#tls-assets и по этому https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/08-bootstrapping-kubernetes-controllers.md

Он и так греется, а с вирталками отдельными печкой становится

на стороне hub.docker.com тоже собирать можно из github repo

Если локально не хочешь билдить, но есть gce - container builder твой выбор

О

О

Можно даже сразу на кластер выкатить

Посмотрю спасибо

Пока девопса в штат не взяли надо как-то самому

:)

https://gist.github.com/anonymous/259722b3f41c4c7d6e21461c2db5ce52 https://gist.github.com/anonymous/ec7254a9ab4abf2180fc62e648620bb6 https://gist.github.com/anonymous/e53410d506e58cf84f288f9d9bd4f915

а добавь в конфиг —insecure-bind-address=0.0.0.0 \

апи сервера, и перезапусти

Пока девопса в штат не взяли надо как-то самому

Клаудбилд.yaml твой друг

а добавь в конфиг —insecure-bind-address=0.0.0.0 \

kubelet-wrapper[4197]: Error: unknown flag: —insecure-bind-address я правильно его добавил в kubelet.service в ExecStart=/usr/lib/coreos/kubelet-wrapper ?

в аписервер надо

в конфиг апи сервера*

в аписервер надо

добавил. тоже самое. ничего не изменилось

а в /etc/resolv.conf етсь запись о 127.0.0.1 ?)

по сути мне только docker build нужен

были утилиты, которые образы умеют собирать сами,без докера. имен не помню

а в /etc/resolv.conf етсь запись о 127.0.0.1 ?)

нет

были утилиты, которые образы умеют собирать сами,без докера. имен не помню

И заливать в их регистр ?

этого не знаю :)

И заливать в их регистр ?

вот вроде умеет: https://github.com/projectatomic/skopeo

thanks

У кого были сбои по инету? Кто в курсе "лажи"?

добавил. тоже самое. ничего не изменилось

etcd кластер то работает?

@Leorent можешь показать секцию конфига прометея для nginx-vts экстрактора?

etcd кластер то работает?

да

делал и по этому мануалу https://coreos.com/kubernetes/docs/latest/deploy-master.html#tls-assets и по этому https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/08-bootstrapping-kubernetes-controllers.md

Попробуй kubespray.

сек

@Leorent можешь показать секцию конфига прометея для nginx-vts экстрактора?

- job_name: nginx-controller-status scrape_interval: 5s scrape_timeout: 5s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: pod namespaces: names: [] relabel_configs: - source_labels: [__meta_kubernetes_pod_label_name] separator: ; regex: nginx-ingress-lb replacement: $1 action: keep - source_labels: [__meta_kubernetes_pod_name] separator: ; regex: (.*) target_label: kubernetes_pod_name replacement: $1 action: replace

- job_name: nginx-controller-status scrape_interval: 5s scrape_timeout: 5s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: pod namespaces: names: [] relabel_configs: - source_labels: [__meta_kubernetes_pod_label_name] separator: ; regex: nginx-ingress-lb replacement: $1 action: keep - source_labels: [__meta_kubernetes_pod_name] separator: ; regex: (.*) target_label: kubernetes_pod_name replacement: $1 action: replace

Спасибо! А nginx-ingress-lb - это имя сервиса?

ммм

это ds

он получает список подов и ищет нужное имя

по хорошему можно ограничить через namespaces: names: []

кто-нибудь понимает о чем ту речь в 1.8 release notes? The current version DaemonSet, Deployment, ReplicaSet, and StatefulSet kinds are now in the apps/v1beta2 group version. All kinds in the apps/v1beta2 group version add a corresponding conditions kind. что за Conditions kind?

ВСе же, как я могу поменять подсеть подов в текущем кластере? Настраивал сеть через calico, уже даже etcd обнулял, и докер чистил, не пойму,где ему надо что прописать\почистить?

у калико же своии настройки? я просто не знаю где и что он хранит

по хорошему, нужно сначала убрать все контейнеры с докера, что бы докер изменил сеть

Ну да,с вои настройки, я его тоже полностью почистил

+ удалить интерфейс докера

у меня только так меняется адресация в сети докера

Я остановил кластеры, остановил етсд, удалил докер и все папки с ними, переустановил + удалил /var/etcd/data , удалил всё что было от calico в /etc/cni/net.d/ , один фиг эта сволочь упрямо мне подсовывает 10.23 подсеть..

при живых контейнерах докер не меняет настройки сети.....(ну вроде, у меня только имперический опыт)

я по сути уже с нуля кластер пересобрал, а что с ним не так - не пойму...какая то дичь :)

я по сути уже с нуля кластер пересобрал, а что с ним не так - не пойму...какая то дичь :)

Глянь деплоймент calico.

Я кажись нашел в чем был косяк, сейчас првоерю и отпишусь)

Во фланели, вроде бы, присваивается переменная окружения с адресом.

Ну да.. У меня 2 кластера , и в калико забыл изменить etcd сервера, и они долбились на другой кластер, где хранились настройки. фейспалм :(

У Калико свой кластер етсд должен быть

У Калико свой кластер етсд должен быть

не обязательно. можно в том же, можно без etcd вообще, если задать datastore: kubernetes

То что не обязательно я в курсе

не обязательно. можно в том же, можно без etcd вообще, если задать datastore: kubernetes

фланелу то же можно так сделать)

по хорошему можно ограничить через namespaces: names: []

А как-то можно проверить, что экспортер вообще взаимодействует с nginx? А то в логах только то, что сервер запущен.

зайти на его порт..там должны быть метрики

не пустые

У Калико свой кластер етсд должен быть

Т.е. Для калико поднимать отдельные от самого кубера etcd?

Рекомендуют да

А где про этоп очитать можно?

почему то думал что как раз таки нужно чтобы все вместе было

почему то думал что как раз таки нужно чтобы все вместе было

я бы делал вместе, следить за одним кластером, проще и эффективней ем за двумя

Первый раз я эту рекомендацию видел на одном Митапе

я бы делал вместе, следить за одним кластером, проще и эффективней ем за двумя

Ну вот я из тех же соображений*

кстате а где вы калико взяли? дайте ссылочку, хочу понюхать

Там была история что кто-то из кубера и калико решили что етсд у них в монопольном доступе и дрогнули чужие записи

Это было время 1.5 версии

а то мои изыскания как-то не увенчались успехом. Или он совсем пропаретарный и его нуно только покупать

кстате а где вы калико взяли? дайте ссылочку, хочу понюхать

https://docs.projectcalico.org/v1.5/getting-started/kubernetes/installation/ тут, ну а там напильником пройтись)

хм..

https://docs.projectcalico.org/v1.5/getting-started/kubernetes/installation/ тут, ну а там напильником пройтись)

Без напильника в Опен Сорсе вообще не выжить

На удивление,иногда что-то запускается корректно и без напильника)

На счёт рекомендаций

https://github.com/projectcalico/calico/blob/master/v1.5/getting-started/kubernetes/installation/index.md

Там в требованиях это написанно

Calico can share the etcd cluster used by Kubernetes, but it's recommended that a separate cluster is set up.

Это как раз в тему, что никто из нас не читает оф документацию

Это как раз в тему, что никто из нас не читает оф документацию

мммм А доку вообще читают? Да же когда ломается, не всегда читают

Я читаю

Бегаю по ишью на гитхабе

Перед тем как вообще начинать дергаться

Calico can share the etcd cluster used by Kubernetes, but it's recommended that a separate cluster is set up.

спасибо! Буду перекраивать конфиги :)

Долгое и вдумчивое изучение первоисточника сильно экономит время в дальнейшем

Я придерживаюсь мнения старого быка из одного анекдота

Сертификаты чистили?