может стоит документацию читать? чтобы голову не ломать можно даже не с официальной начинать, а хотя бы осилить http://kubernetesbyexample.com/

А ссылка кстати огонь, тоже почитаю, спасибо!

Боже как же сложно openshift с cri-o дружить-)

А зачем?

@Leorent, одна мысль -- одно сообщение, пожалуйста.

Это разные мысли-)

Я предупредил.

Это разные мысли-)

Ему лучше знать.

а кстати, уже обсуждали au revoir от соломона?

Так это не здесь нужно. Но вообще -- nemo curat.

Народ, вопрос: есть кубер на собственном железе. Чем его забекапить (волумки не надо)

Ark планируем, а так скриптиком etcd тоже можно

Можете подсказать, в чем может быть проблема? не могу с пода через сервис прослушать порт, с любых других подов порт прослушивается как открыть доступ с пода к сервису? Если использовать clusterIP: None, все работает, но необходим статический ip адрес.Текущая конфигурация: apiVersion: v1 kind: Service metadata: name: openam namespace: sso spec: ports: - name: http protocol: TCP port: 8080 targetPort: 8080 selector: name: openam-v1 # clusterIP: 10.102.130.162 --- apiVersion: extensions/v1beta1 kind: Deployment metadata: name: openam-v1 namespace: sso spec: replicas: 2 strategy: type: Recreate template: metadata: creationTimestamp: null labels: name: openam-v1 spec: nodeSelector: kubernetes.io/hostname: node-2 hostname: openam-v1 subdomain: openam containers: - image: indigolabs/fr16:openam13.0 name: fr16-openam envFrom: - configMapRef: name: sso-configmap ports: - name: openam-port containerPort: 8080 iptables -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.103.100.166/32 -p tcp -m comment --comment "sso/openam:http cluster IP" -m tcp --dport 8080 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.103.100.166/32 -p tcp -m comment --comment "sso/openam:http cluster IP" -m tcp --dport 8080 -j KUBE-SVC-NAUYK6XC5PNYQQW6

можешь ингресс заюзать под кластерIP

либо использовать nodePort

Всем добрый день! Подскажите. ставлю kubernetes используя kubespray. Выходит ошибка при инсталяции FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (1 retries left) fatal: [kz-k8smst01]: FAILED! => {"attempts": 4, "changed": true, "cmd": ["/usr/bin/docker", "pull", "gcr.io/google_containers/cluster-proportional-autoscaler-amd64:1.1.2"], "delta": "0:00:32.387474", "end": "2018-03-30 14:44:46.337062", "msg": "non-zero return code", "rc": 1, "start": "2018-03-30 14:44:13.949588", "stderr": "error pulling image configuration: Get https://storage.googleapis.com/artifacts.google-containers.appspot.com/containers/images/sha256:78cf3f492e6b24d7c65b29367cdb1e0c13310fe7d2ffe1eb3a95030ea801aaf9: dial tcp 74.125.205.128:443: i/o timeout", "stderr_lines": ["error pulling image configuration: Get https://storage.googleapis.com/artifacts.google-containers.appspot.com/containers/images/sha256:78cf3f492e6b24d7c65b29367cdb1e0c13310fe7d2ffe1eb3a95030ea801aaf9: dial tcp 74.125.205.128:443: i/o timeout"], "stdout": "1.1.2: Pulling from google_containers/cluster-proportional-autoscaler-amd64\n3690ec4760f9: Pulling fs layer\n762c0bb5b423: Pulling fs layer", "stdout_lines": ["1.1.2: Pulling from google_containers/cluster-proportional-autoscaler-amd64", "3690ec4760f9: Pulling fs layer", "762c0bb5b423: Pulling fs layer"]} Не встречали такое?

dial tcp 74.125.205.128:443: i/o timeout - че это за ресурс?

не может с пулить докер образ "gcr.io/google_containers/cluster-proportional-autoscaler-amd64:1.1.2

у тебя там фаерволы мб какие то

нет

этот айпи даже не пингуется с публичного инета

curl или wget попробуй дернуть этот урл

Не проходит Это кажись какой то гугловский сервис curl -v https://storage.googleapis.com * Rebuilt URL to: https://storage.googleapis.com/ * Hostname was NOT found in DNS cache * Trying 74.125.205.128... * Trying 2a00:1450:4010:c02::80... * Immediate connect fail for 2a00:1450:4010:c02::80: Network is unreachable * Trying 2a00:1450:4010:c02::80... * Immediate connect fail for 2a00:1450:4010:c02::80: Network is unreachable * Trying 2a00:1450:4010:c02::80... * Immediate connect fail for 2a00:1450:4010:c02::80: Network is unreachable * Trying 2a00:1450:4010:c02::80... * Immediate connect fail for 2a00:1450:4010:c02::80: Network is unreachable * Trying 2a00:1450:4010:c02::80... * Immediate connect fail for 2a00:1450:4010:c02::80: Network is unreachable

curl -v https://74.125.205.128 * Rebuilt URL to: https://74.125.205.128/ * Hostname was NOT found in DNS cache * Trying 74.125.205.128...

не сдох ли он

curl -v https://storage.googleapis.com * Rebuilt URL to: https://storage.googleapis.com/ * Trying 64.233.162.128... * TCP_NODELAY set * Connected to storage.googleapis.com (64.233.162.128) port 443 (#0) * ALPN, offering h2 * ALPN, offering http/1.1 * Cipher selection: ALL:!EXPORT:!EXPORT40:!EXPORT56:!aNULL:!LOW:!RC4:@STRENGTH * successfully set certificate verify locations: * CAfile: /etc/ssl/cert.pem CApath: none

у меня прошел

бляха мухаа

че за фигня

пошел тогда мучать наших сетевиков

можешь ингресс заюзать под кластерIP

мне нужно внутри пода обратится к сервису)

сервис интернел или экстернал ?

интернел

с clusterIP

sso openam ClusterIP 10.101.131.112 <none> 8080/TCP 5m

пробовал через expose, не помогло kubectl expose pod openam-v1-65fd7f4f75-kdqf2 -n sso --port=8080 --target-port=8080

если внутри одного неймспейса просто обращайся по имени сервиса

Да он резолвит ip сервиса

Но порт прослушать не могу, только 127.0.0.1 8080, либо с другого пода по имени сервиса работает, а сам под для коготоро создан сервис не может обратиться к себе через сервис)

Но порт прослушать не могу, только 127.0.0.1 8080, либо с другого пода по имени сервиса работает, а сам под для коготоро создан сервис не может обратиться к себе через сервис)

hairpin mode в опциях kubelet (или kube-proxy ли)

Всегда было интересно, зачем поду ходить к себе через сервис?

Спс, попробую)

Это openam для установки хочет

Для установки? Вы инсталлер в поде запускаете чтоли?

нет установку не запускаем, выполняюся конфигурационные скрипты, в которых есть необходимость обращаться по доменному имени, особенность openam

Hostname жахнуть в под нужный нельзя?)

нет установку не запускаем, выполняюся конфигурационные скрипты, в которых есть необходимость обращаться по доменному имени, особенность openam

Это все попахивает. Все конфиги кладите в configmap и монтируйте в под.

Добрый день. Может кто пояснить как работает роутинг с мастера через сервис в поду? Есть под с tcp 5000. Для доступа снаружи вешается сервис с таким же 5000м портом. Если делать tcptraceroute снаружи, то он проходит и видно два хопа с одинаковым ip (сервиса). Видимо уменьшение ttl происходит на сервисе и потом отвечает под. Если делать curl с мастер ноды, то тоже все в порядке. Но tcptraceroute уже не работает. Это какие-то особенности tcptraceroute или где-то стоит ожидать подводных камней при работе с мастера внутрь кубернетеса?

Ну и параллельно вопрос. Кто нибудь делал self hosted с балансировкой apiserver'a через кубернетевский же сервис?

Ну и параллельно вопрос. Кто нибудь делал self hosted с балансировкой apiserver'a через кубернетевский же сервис?

Делал, kubelet так ходит в аписервер у меня

Делал, kubelet так ходит в аписервер у меня

Там кроме правки сертификатов, настройки сервиса и замены в конфиге у контроллера и скедулера еще что-то нужно делать?

Добрый день. Может кто пояснить как работает роутинг с мастера через сервис в поду? Есть под с tcp 5000. Для доступа снаружи вешается сервис с таким же 5000м портом. Если делать tcptraceroute снаружи, то он проходит и видно два хопа с одинаковым ip (сервиса). Видимо уменьшение ttl происходит на сервисе и потом отвечает под. Если делать curl с мастер ноды, то тоже все в порядке. Но tcptraceroute уже не работает. Это какие-то особенности tcptraceroute или где-то стоит ожидать подводных камней при работе с мастера внутрь кубернетеса?

Не знаю что и как у вас, но для диагностики важно помнить что Сервис это iptables DNAT запись, которая устанавливается kube-proxy на каждой ноде по команде с аписервера

Там кроме правки сертификатов, настройки сервиса и замены в конфиге у контроллера и скедулера еще что-то нужно делать?

Session affinity убрать нафиг. Бравые куб ребята очень заняты конференциями (ну и релизом 1.10 справедливости ради) чем починкой )

Не знаю что и как у вас, но для диагностики важно помнить что Сервис это iptables DNAT запись, которая устанавливается kube-proxy на каждой ноде по команде с аписервера

Ну, видимо, пакеты от трейсроута там не проходят.

Дано 3 ноды для мастеров HA. Ubuntu 16.4 swapoff 4gbRAm 2 CPU 1. Сертификаты для etcd кластера, сертификаты для клиента. 2. Установка etcd на каждую ноду, проверка кластера. Назначаем будущий CIDR etcdctl set /coreos.com/network/config '{ "Network": "10.224.0.0/16","Backend":{"Type":"vxlan"},"SubnetLen": 24 }' 3.Генерирую CNI плагины, создаю env, папки cni.net.d opt/cni/bin с плагинами. 4.Устанавливаю последний flannel, прописываю etcd дял flannel 5.Устанавливаю docker, знакомлю с flannel 6.Устанавливаю kubectl,kubeadm,kubelet,kubernetes-cni 7.kubeadmin —init —config Включает etcd + клиентские сертификаты 8. на борту имею loopback, ethx с IP хоста, flannel0 с подсетью из etcd, docker0 с IP из под сети flannel. 8. В итоге ошибки в сети.DNS поды не поднимаются. Что пропустил ?

вероятно вы пропустили kubespray

Дано 3 ноды для мастеров HA. Ubuntu 16.4 swapoff 4gbRAm 2 CPU 1. Сертификаты для etcd кластера, сертификаты для клиента. 2. Установка etcd на каждую ноду, проверка кластера. Назначаем будущий CIDR etcdctl set /coreos.com/network/config '{ "Network": "10.224.0.0/16","Backend":{"Type":"vxlan"},"SubnetLen": 24 }' 3.Генерирую CNI плагины, создаю env, папки cni.net.d opt/cni/bin с плагинами. 4.Устанавливаю последний flannel, прописываю etcd дял flannel 5.Устанавливаю docker, знакомлю с flannel 6.Устанавливаю kubectl,kubeadm,kubelet,kubernetes-cni 7.kubeadmin —init —config Включает etcd + клиентские сертификаты 8. на борту имею loopback, ethx с IP хоста, flannel0 с подсетью из etcd, docker0 с IP из под сети flannel. 8. В итоге ошибки в сети.DNS поды не поднимаются. Что пропустил ?

Вот прямо хорошо! Всегда так пиши, пожалуйста.

вероятно вы пропустили kubespray

У меня нет задачи поднять кластер в автомате, я пытаюсь собрать все сам и понять как оно работает.

отлично, поднимите рабочий кластер через kubespray как образец. рядом разворачивайте свой, после нахождения проблем у вас будет образец в который вы можете потыкать

отлично, поднимите рабочий кластер через kubespray как образец. рядом разворачивайте свой, после нахождения проблем у вас будет образец в который вы можете потыкать

Как вариант вы правы, но на вскидку глядя на порядок действий, если не вдаваться в мелочи вроде создания поддиректорий или прав, то что я возможно упустил ? меня беспокоет несколько вещей. 1. не поднимается cni интерфейс и должен ли, я не удалял docker0 такак как при создании cbr0 и перезагрузки хоста данный бридж пропадает.

Дано 3 ноды для мастеров HA. Ubuntu 16.4 swapoff 4gbRAm 2 CPU 1. Сертификаты для etcd кластера, сертификаты для клиента. 2. Установка etcd на каждую ноду, проверка кластера. Назначаем будущий CIDR etcdctl set /coreos.com/network/config '{ "Network": "10.224.0.0/16","Backend":{"Type":"vxlan"},"SubnetLen": 24 }' 3.Генерирую CNI плагины, создаю env, папки cni.net.d opt/cni/bin с плагинами. 4.Устанавливаю последний flannel, прописываю etcd дял flannel 5.Устанавливаю docker, знакомлю с flannel 6.Устанавливаю kubectl,kubeadm,kubelet,kubernetes-cni 7.kubeadmin —init —config Включает etcd + клиентские сертификаты 8. на борту имею loopback, ethx с IP хоста, flannel0 с подсетью из etcd, docker0 с IP из под сети flannel. 8. В итоге ошибки в сети.DNS поды не поднимаются. Что пропустил ?

5. Что значит,знакомите с фланел?

Где у вас CNI конфиг? Его надо подсунуть kubelet чтобы знал

Как именно не поднимаются поды?

5. Что значит,знакомите с фланел?

Это значит что при загрузке flannel получает под субнет из CIDR 10.224.0.0/16 к примеру 10.224.5.0.24 и регистрирует его на интерфейс flannel0, далее через скрипт генерируются ENV для docker и интерфейс docker0 получает ip 10.224.5.2

Докер демон вообще трогать не надо

Ну и плюс flannel можно self hosted пустить и не морочить голову. Просто daemonset раскатаете и все

Оно тогда и без etcd заведется как бонус

Ну и плюс flannel можно self hosted пустить и не морочить голову. Просто daemonset раскатаете и все

А в конфиге можно указать etcd ноды и примаунтить сертификаты ? У вас нет случаем примера kube-flannel.yml ???

А в конфиге можно указать etcd ноды и примаунтить сертификаты ? У вас нет случаем примера kube-flannel.yml ???

Да зачем вам etcd ноды? На гитхабе фланел прям команда есть kubectl apply , которая все заведет (ну может надо подпрааить будет путь куда CNI конфиги кладут)

Да зачем вам etcd ноды? На гитхабе фланел прям команда есть kubectl apply , которая все заведет (ну может надо подпрааить будет путь куда CNI конфиги кладут)

ETCD использую что-бы HA кластер собрать, как без etcd хосты поймут что они в кластере а не отдельные мастера ?

ETCD использую что-бы HA кластер собрать, как без etcd хосты поймут что они в кластере а не отдельные мастера ?

Etcd нужен для apiserver , но не для flannel

Всем привет, пытаюсь связать 2 pod, nginx и приложение, в конфиге nginx пытаюсь обращатся как через dns, так и через переменные, в итоге - через dns - работает только в миникуб и не работает в полноценном кубере, через переменные вообще нигде, хотя если зайти в контейнер и сделать echo то он их видит, конфиг такой(2 варианта), что не так? #1 вариант, не работает нигде location / { proxy_pass http://$TELE2PAY_FRONT_API_SVC_SERVICE_HOST:$TELE2PAY_FRONT_API_SVC_SERVICE_PORT; limit_req zone=one burst=10; } #2 вариант, работает в миникуб, но не работает в кубере location / { proxy_pass http://tele2pay-front-api-svc:5000; limit_req zone=one burst=10; }

Всем привет, пытаюсь связать 2 pod, nginx и приложение, в конфиге nginx пытаюсь обращатся как через dns, так и через переменные, в итоге - через dns - работает только в миникуб и не работает в полноценном кубере, через переменные вообще нигде, хотя если зайти в контейнер и сделать echo то он их видит, конфиг такой(2 варианта), что не так? #1 вариант, не работает нигде location / { proxy_pass http://$TELE2PAY_FRONT_API_SVC_SERVICE_HOST:$TELE2PAY_FRONT_API_SVC_SERVICE_PORT; limit_req zone=one burst=10; } #2 вариант, работает в миникуб, но не работает в кубере location / { proxy_pass http://tele2pay-front-api-svc:5000; limit_req zone=one burst=10; }

kind: Service

Не понял

Сервис есть teke2pay-блабла?

tele2pay-front-api-svc - это сервис

с ClusterIp

если по ip его стучать - то работает

kubectl get svc tele2pay-front-api-svc

Неймспейс одинаковый для сервиса и пода?

сервис есть, вот он, а вот лог пода который в него стучится по имени сервиса + порт

сервис есть, вот он, а вот лог пода который в него стучится по имени сервиса + порт

Посмотрите /etc/resolv.conf в поде с nginx