yolkov
пробовал разные версии etcd от 2.2.х 2.3.х 3.0. и от coreos 3.
Ayrat
но должно и с отдельным etcd и даже на совместном с k8s
yolkov
там куча тасков по поводу работы калико с ссл
yolkov
поэтому пока пробую без ссл, но все равно не заводится
yolkov
незнаю уже что смотреть
Ayrat
а с фланелем он работал у тебя?
yolkov
я сразу пробую с калико
yolkov
кубернейтс работал, но я не поднимал поды на других нодах
Ayrat
2379 порт для etcd каликовного
yolkov
etcd с сертификатами в кластере работает с куберн
yolkov
нет 6666
yolkov
ETCD_AUTHORITY=10.9.1.68:6666
yolkov
-e ETCD_AUTHORITY=10.9.1.68:6666 -e ETCD_SCHEME=http
yolkov
в логах контенера с етцд тоже все норм
2016-09-13 12:40:25.269498 I | etcdmain: listening for peers on http://0.0.0.0:6660
2016-09-13 12:40:25.269544 I | etcdmain: listening for client requests on http://0.0.0.0:6666
yolkov
а у кого нить работает калико?
Maxim
нет
Maxim
я так и не смог
yolkov
ну я еще помучаюсь и тоже наверно не смогу)
Maxim
use weave, luke
Maxim
Ayrat
порт 6666 не рабочий
Ayrat
и даже 4001
Ayrat
попробуй 2379
Ayrat
https://github.com/projectcalico/calico-containers/pull/597/files
Ayrat
а в остальном доджно быть ок
yolkov
странно, т.е. они захардкодили порт? я его не могу изменить в настройках? я же вижу что демон слушает мой порт
yolkov
у меня на этих портах etcd для кубернейтса
Stanislav
yolkov
и для кубернейтса используется последний етцд и с сертификатами, а у калико тоже есть с этим проблемы
https://github.com/projectcalico/calico-containers/issues/1107
Ayrat
пока пробуй без сертов
Ayrat
k8s на 4001 посади, а calico на 2379
yolkov
все работает, утилита calicoctl хотела переменную окружения
yolkov
спасибо на наводку)
Ayrat
неужели мы увидим K8s hard way with calico by yolkov :)
Михаил
yolkov
отпишусь как чтото запущу
Ayrat
@pipopolam я все не могу addon manager поднять :(
Maxim
показывай логи
Ayrat
pod поднялся
Maxim
так
Ayrat
а в логе
Ayrat
$ kubectl logs kube-addon-manager --namespace kube-system
== Kubernetes addon manager started at 2016-09-13T14:27:34+0000 with ADDON_CHECK_INTERVAL_SEC=60 ==
The connection to the server localhost:8080 was refused - did you specify the right host or port?
== Failed to start /opt/namespace.yaml in namespace at 2016-09-13T14:27:34+0000. 99 tries remaining. ==
The connection to the server localhost:8080 was refused - did you specify the right host or port?
The connection to the server localhost:8080 was refused - did you specify the right host or port?
Maxim
The connection to the server localhost:8080 was refused
Ayrat
такое чуство что здесь не срабатывает
Ayrat
https://gist.github.com/Bregor/6a8cf10f610922b5898dcffef957ff26#file-addon-manager-yaml-L11-L15
Ayrat
так как ADDON_CHECK_INTERVAL_SEC=10 там например
Maxim
$ kubectl exec -it kube-addon-manager --namespace kube-system -- cat /etc/kubernetes/kubeconfig.yml
Ayrat
да нету его
Ayrat
kubectl exec -it kube-addon-manager --namespace kube-system -- cat /etc/kubernetes/kubeconfig.yml
cat: /etc/kubernetes/kubeconfig.yml: No such file or directory
error: error executing remote command: error executing command in container: Error executing in Docker Container: 1
Ayrat
хотя файл лежит в controllere и на нодах
Maxim
значит вот тут проблема: https://gist.github.com/Bregor/6a8cf10f610922b5898dcffef957ff26#file-addon-manager-yaml-L20-L23
Ayrat
да
Maxim
$ kubectl describe po kube-addon-manager --namespace kube-system
Ayrat
$ kubectl describe po kube-addon-manager --namespace kube-system
Name: kube-addon-manager
Namespace: kube-system
Node: 10.0.229.6/10.0.229.6
Start Time: Tue, 13 Sep 2016 14:27:12 +0000
Labels: <none>
Status: Running
IP: 10.0.229.6
Controllers: <none>
Containers:
kube-addon-manager:
Container ID: docker://4231fad415bdbd46f5b3aad91a69cf31142962194c15d726c56755eb9c86f773
Image: gcr.io/google-containers/kube-addon-manager-amd64:v5.1
Image ID: docker://sha256:735ce4344f7f05e28dd9e8631d4ebeccf194bb8180c91e6df0069e4151832e78
Port:
Requests:
cpu: 5m
memory: 50Mi
State: Running
Started: Tue, 13 Sep 2016 14:27:34 +0000
Ready: True
Restart Count: 0
Environment Variables:
KUBECTL: /usr/bin/kubectl --kubeconfig=/etc/kubernetes/kubeconfig.yaml
ADDON_CHECK_INTERVAL_SEC: 10
Conditions:
Type Status
Initialized True
Ready True
PodScheduled True
Volumes:
addons:
Type: HostPath (bare host directory volume)
Path: /etc/kubernetes
QoS Tier: Burstable
Events:
FirstSeen LastSeen Count From SubobjectPath Type Reason Message
--------- -------- ----- ---- ------------- -------- ------ -------
5m 5m 1 {default-scheduler } Normal Scheduled Successfully assigned kube-addon-manager to 10.0.229.6
5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulling pulling image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1"
5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulled Successfully pulled image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1"
5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Created Created container with docker id 4231fad415bd
5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Started Started container with docker id 4231fad415bd
Ayrat
$ ls -la /usr/bin/kubectl
lrwxrwxrwx 1 root root 15 Sep 12 10:58 /usr/bin/kubectl -> opt/bin/kubectl
Ayrat
/usr/bin/kubectl --kubeconfig=/etc/kubernetes/kubeconfig.yaml
-bash: /usr/bin/kubectl: No such file or directory
Ayrat
спасибо щас hard link поставил
Ayrat
дожно сработать
Maxim
а вот так сделай:
$ kubectl exec -it --namespace=kube-system kube-addon-manager-10.83.8.195 -- which kubectl
Maxim
ну только вместо 10.83.8.195 свое подставь
Ayrat
$ kubectl exec -it --namespace=kube-system kube-addon-manager -- which kubectl
/usr/local/bin/kubectl
Maxim
вооот
Maxim
а ты его в /opt ищешь
Maxim
- env:
- name: KUBECTL
value: /usr/local/bin/kubectl ...
Maxim
kubectl у тебя внутри пода
Maxim
свой
Maxim
где там у тебя kubectl на хостовой фс никого не волнует
Ayrat
ясно а я думал это он на worker node смотрит
Maxim
теперь надо разобраться, почему не смонтировался kubeconfig.yaml
Maxim
$ kubectl exec -it --namespace=kube-system kube-addon-manager -- find /etc/kubernetes/ -type f
Ayrat
$ kubectl exec -it --namespace=kube-system kube-addon-manager -- find /etc/kubernetes/ -type f
/etc/kubernetes/config
/etc/kubernetes/kubeconfig.yaml
/etc/kubernetes/kubelet
Maxim
a ssl где?
Maxim
или это не весь вывод?
Ayrat
у без сертов
Ayrat
у меня без сертов кластер пока
Ayrat
Внутри containera:
$ cat /etc/kubernetes/kubeconfig.yaml
apiVersion: v1
kind: Config
clusters:
- cluster:
server: http://10.0.229.3:8080
name: kubernetes
contexts:
- context:
cluster: kubernetes
user: ""
name: kubelet-context
current-context: kubelet-context
Ayrat
то есть без сертов не заработает ?
Maxim
а апишечка инсекуре-портом слушает что-то кроме локалхоста?
Maxim
--insecure-bind-address=0.0.0.0, например