может оно так и должно быть,

может оно так и должно быть,

)) сейчас ишью гляну в репе

давай лучше iptables-save

это как?

# iptables-save # Generated by iptables-save v1.6.0 on Sun Oct 16 00:57:00 2016 *nat :PREROUTING ACCEPT [63:8363] :INPUT ACCEPT [47:5163] :OUTPUT ACCEPT [720:110615] :POSTROUTING ACCEPT [720:110615] :DOCKER - [0:0] -A PREROUTING -m addrtype —dst-type LOCAL -j DOCKER -A OUTPUT ! -d 127.0.0.0/8 -m addrtype —dst-type LOCAL -j DOCKER -A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE -A DOCKER -i docker0 -j RETURN COMMIT # Completed on Sun Oct 16 00:57:00 2016 # Generated by iptables-save v1.6.0 on Sun Oct 16 00:57:00 2016 *filter :INPUT ACCEPT [31090:16369654] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [30704:17099080] :DOCKER - [0:0] :DOCKER-ISOLATION - [0:0] -A FORWARD -j DOCKER-ISOLATION -A FORWARD -o docker0 -j DOCKER -A FORWARD -o docker0 -m conntrack —ctstate RELATED,ESTABLISHED -j ACCEPT -A FORWARD -i docker0 ! -o docker0 -j ACCEPT -A FORWARD -i docker0 -o docker0 -j ACCEPT -A DOCKER-ISOLATION -j RETURN COMMIT # Completed on Sun Oct 16 00:57:00 2016

маловато всего, а kube-proxy запущены в юзерспейсе?

не в iptables-mode?

в таком выводе процессов: ps aux | grep kube я не вижу kube-proxy

погуглил, не могу ответить на этот вопрос)

оно должно быть в процессах

да, это так

до ребута было

сейчас ансиблом накачу еще раз

нет, проекси не стартует

смотрю ансибл скрипт

а как его сартануть вручную?

чтото типа этого? /usr/local/bin/kube-proxy —v=4 —kubeconfig=/run/kubeconfig

не, в /usr/bin/ почему того нету бинаря

может оно только на воркере?

не, там тоже нет

вижу, что в скриптах вызывается функция рестарта, но нифига не рестартится

туплю

# ps aux | grep proxy root 10120 0.1 1.6 30340 8256 ? Ssl 01:18 0:00 /usr/bin/kube-proxy —logtostderr=true —v=0 —master=http://127.0.0.1:8080 —kubeconfig=/etc/kubernetes/proxy.kubeconfig root 11494 0.0 0.1 15736 960 pts/0 S+ 01:22 0:00 grep —color=auto proxy

в кубере ничего не бывает без напильника

на ноде есть

в кубере ничего не бывает без напильника

жесть конечно)

на ноде iptables-save что говорит?

# iptables-save # Generated by iptables-save v1.6.0 on Sun Oct 16 01:23:32 2016 *nat :PREROUTING ACCEPT [2652:264222] :INPUT ACCEPT [1262:125453] :OUTPUT ACCEPT [22969:1378140] :POSTROUTING ACCEPT [22969:1378140] :DOCKER - [0:0] -A PREROUTING -m addrtype —dst-type LOCAL -j DOCKER -A OUTPUT ! -d 127.0.0.0/8 -m addrtype —dst-type LOCAL -j DOCKER -A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE -A DOCKER -i docker0 -j RETURN COMMIT # Completed on Sun Oct 16 01:23:32 2016 # Generated by iptables-save v1.6.0 on Sun Oct 16 01:23:32 2016 *filter :INPUT ACCEPT [244126:673495622] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [187425:16103197] :DOCKER - [0:0] :DOCKER-ISOLATION - [0:0] -A FORWARD -j DOCKER-ISOLATION -A FORWARD -o docker0 -j DOCKER -A FORWARD -o docker0 -m conntrack —ctstate RELATED,ESTABLISHED -j ACCEPT -A FORWARD -i docker0 ! -o docker0 -j ACCEPT -A FORWARD -i docker0 -o docker0 -j ACCEPT -A DOCKER-ISOLATION -j RETURN COMMIT # Completed on Sun Oct 16 01:23:32 2016

видимо в юзерспейсе все

в неймспейсе?) # kubectl get namespaces NAME STATUS AGE default Active 2h kube-system Active 2h

нет, я про правила куб-прокси

запусти c —proxy-mode=iptables

понял, сейчас попробую

и посмотри в иптейблс

там в энсибле фланнел, оч не при чем же)

ос

пофиксил настройку, перезапускаю ансибл

там в энсибле фланнел, оч не при чем же)

гдето всетаки сверкает)

там идет выбор из 3х сервисов

есть настройки какието

чегото не хочет применяться

в системд походу гдето файл сохранился

daemon-reload?

systemctl daemon-reload там где-то в плейбуке есть?

в аутпуте энсибла нигде не видно "запустите systemctl daemon-reload"?

есть

- shell: systemctl daemon-reload changed_when: False

у тебя на воркере какой адрес у докер0 м у фланнел интерфейса?

а как это лучше глянуть? через ps aux | grep kube вывод такой: # ps aux | grep kube root 8115 0.2 0.3 11588 1996 ? Ssl 01:15 0:03 /exechealthz -cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null -port=8080 root 18707 0.1 0.4 29456 2312 ? Ssl 01:41 0:00 /kube2sky —domain=cluster.local root 19576 8.5 3.2 390172 16228 ? Ssl 01:42 0:04 /usr/bin/kubelet —logtostderr=true —v=0 —api-servers=https://95.213.236.248:6443 —address=0.0.0.0 —hostname-override=95.213.236.162 —allow-privileged=false —kubeconfig=/etc/kubernetes/kubelet.kubeconfig —config=/etc/kubernetes/manifests —cluster-dns=10.254.0.10 —cluster-domain=cluster.local root 19613 1.5 0.5 29252 2672 ? Ssl 01:42 0:00 /usr/bin/kube-proxy —logtostderr=true —v=0 —master=http://127.0.0.1:8080 —kubeconfig=/etc/kubernetes/proxy.kubeconfig

ip addr sh

https://gist.github.com/dkostenko/94f536a79fcb3854a842ff454e9e1265

4: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default link/ether 7a:d1:db:8b:db:9c brd ff:ff:ff:ff:ff:ff inet 172.16.30.0/12 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::78d1:dbff:fe8b:db9c/64 scope link valid_lft forever preferred_lft forever 5: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:35:70:02:5c brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 scope global docker0 valid_lft forever preferred_lft forever inet6 fe80::42:35ff:fe70:25c/64 scope link valid_lft forever preferred_lft forever

на мастере так: 3: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default link/ether 16:20:a5:6c:a0:3a brd ff:ff:ff:ff:ff:ff inet 172.16.94.0/12 scope global flannel.1 valid_lft forever preferred_lft forever inet6 fe80::1420:a5ff:fe6c:a03a/64 scope link valid_lft forever preferred_lft forever 4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:f1:c7:ce:11 brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 scope global docker0 valid_lft forever preferred_lft forever

у меня адреса докера на нодах тоже разные как и фланнел

и они должны друг друга пинговать

хм, странно, что такая лажа в этих плейбуках

существует мальнькая вероятность что на убунте как то по-другому , но похоже что также все

докер должен брать подсеть от фланнел и маршрутизироваться через него

для этого он стартует позже чем фланнел

понял

значит копать в сторону того, как стартует докер?

и результатом копаний должно быть то, что докер на нодах запускается с разными адресами?

там в плейбуке есть момент, где интерфейс удаляется

ip link del dev docker0

вот там надо посмотреть что дальше происходит

https://github.com/coreos/flannel#flannel

как то так должно быть

ERROR: S client not available

ip link del dev docker0

оно? - name: delete docker0 command: ip link delete docker0 when: '"docker0" in ansible_interfaces'

вот это не просто так, я понимаю

да вообще просто установить кубернетс)))

вообще как по мне, то энсибл не должен этим заниматься

ходить от рута сеть настраивать, сервисы

вообще как по мне, то энсибл не должен этим заниматься

разрабу только так походу и можно устанавливать) куча софта ставится, который хз как работает)

вообще так то я не против) но нет нормального мануала

дока у них очень разразненная

есть подробный hard way

https://github.com/kelseyhightower/kubernetes-the-hard-way/tree/master/docs

этот?)

но помоему первые несколько раз как ни крути сами превращаются в хард вей

ага

там же начало только для амазона или гугл енжин))

Kubernetes can be installed just about anywhere physical or virtual machines can be run. In this lab we are going to focus on Google Cloud Platform and Amazon Web Services.

норм мануал))

ну, ты прост овыкидый часть про настройку aws/gcloud

кстати, etcd3 в k8s ок?

вроде работает

посмотрел на хардвей, буду пробовать) @exename а ты по нему настраивал?

нет

первую установку делал по смеси coreos и мана в гите у k8s

ман уже выпилили вроде

на хабре есть перевод вроде

но сейчас они будут толкать народ в сторону kubeadm

потому что не каждый так с бубном сможет))

@exename @agadelshin спасибо большое за помощь! пойду спать и завтра буду заново курить как запустить

Я вчера провозился с этим кубэадмином пол дня, в итоге он насоздавал всякую чушь а кубернетис так и не запустил )

кубернетис сложный. какую именно часть не запустил)

пол дня, это мало

недельку как минимум надо