Ayrat а ты не запихивал openstack в кубернетс ?

@teamur Нет еще :) Сперва надо кластер поднять по нормальному.

Openstack on K8s занимаются Mirantis, TCPcloud и CoreOS делал небольшой POC Stackanetes

я хочу поднять non ha Opensack для CI testov как нибудь

в кубернетсе ?

а то мы на vagrante Openstack для теста поднимаем

Ayrat а ты не запихивал openstack в кубернетс ?

это как? nova в K8s ?

весь openstack k8s: мусколь, кролик и все компоненты

http://superuser.openstack.org/articles/making-openstack-production-ready-with-kubernetes-and-openstack-salt-part-1

вот чуваки уже далеко зашли

и вот парт2 http://superuser.openstack.org/articles/making-openstack-production-ready-with-kubernetes-and-openstack-salt-part-2

ага спасибо. норм тема. можно будет нормально openstack в бою обновлять

да, на это и весь расчет. А то сейчас с Upgrade очень туго в Openstacke

но ресурсов дофига надо на это, чтобы допилить до ума

если что, по openstack есть отдельные каналы)

мы про кубернетс

это я понял)

привет всем, а кто-нибудь поднимал калико?

http://kubernetes.io/docs/getting-started-guides/ubuntu-calico/

)

читал, уже много чего читал, но не заводится оно

а что там ?

не видит etcd, пробовал использовать етц от кубернейтс, потом свой кластер делал, сейчас уже просто запускаю в одном экземпляре etcd без ssl

calicoctl checksystem ERROR: Unable to detect etcd version. If using etcd with SSL, set ETCD_SCHEME, ETCD_KEY_FILE, ETCD_CERT_FILE, and ETCD_CA_CERT_FILE environment variables

хотя докер контейнер запускается и не ругается ETCD_AUTHORITY=10.9.1.68:6666 ETCD_SCHEME=http /usr/local/bin/calicoctl node --ip=10.9.1.68 --detach=false Running Docker container with the following command: docker run --restart=always --net=host --privileged --name=calico-node -e HOSTNAME=avi-app68 -e IP=10.9.1.68 -e IP6= -e CALICO_NETWORKING=true -e AS= -e NO_DEFAULT_POOLS= -e ETCD_AUTHORITY=10.9.1.68:6666 -e ETCD_SCHEME=http -v /var/log/calico:/var/log/calico -v /lib/modules:/lib/modules -v /var/run/calico:/var/run/calico calico/node:v0.22.0 Calico node is running with id: 0763c7efc2416717befcf6c9e163342776a0f9c3b46269128919ceb0b0be825d Waiting for successful startup Waiting for etcd connection... Calico node started successfully

пробовал разные версии etcd от 2.2.х 2.3.х 3.0. и от coreos 3.

но должно и с отдельным etcd и даже на совместном с k8s

там куча тасков по поводу работы калико с ссл

поэтому пока пробую без ссл, но все равно не заводится

незнаю уже что смотреть

а с фланелем он работал у тебя?

я сразу пробую с калико

кубернейтс работал, но я не поднимал поды на других нодах

2379 порт для etcd каликовного

etcd с сертификатами в кластере работает с куберн

нет 6666

ETCD_AUTHORITY=10.9.1.68:6666

-e ETCD_AUTHORITY=10.9.1.68:6666 -e ETCD_SCHEME=http

в логах контенера с етцд тоже все норм 2016-09-13 12:40:25.269498 I | etcdmain: listening for peers on http://0.0.0.0:6660 2016-09-13 12:40:25.269544 I | etcdmain: listening for client requests on http://0.0.0.0:6666

а у кого нить работает калико?

нет

я так и не смог

ну я еще помучаюсь и тоже наверно не смогу)

use weave, luke

порт 6666 не рабочий

и даже 4001

попробуй 2379

https://github.com/projectcalico/calico-containers/pull/597/files

а в остальном доджно быть ок

странно, т.е. они захардкодили порт? я его не могу изменить в настройках? я же вижу что демон слушает мой порт

у меня на этих портах etcd для кубернейтса

на 53 висит dnsmasq

Днсмаск не нужно ;)

и для кубернейтса используется последний етцд и с сертификатами, а у калико тоже есть с этим проблемы https://github.com/projectcalico/calico-containers/issues/1107

пока пробуй без сертов

k8s на 4001 посади, а calico на 2379

все работает, утилита calicoctl хотела переменную окружения

спасибо на наводку)

неужели мы увидим K8s hard way with calico by yolkov :)

Днсмаск не нужно ;)

Skydns нужно, это я понял

отпишусь как чтото запущу

@pipopolam я все не могу addon manager поднять :(

показывай логи

pod поднялся

так

а в логе

$ kubectl logs kube-addon-manager --namespace kube-system == Kubernetes addon manager started at 2016-09-13T14:27:34+0000 with ADDON_CHECK_INTERVAL_SEC=60 == The connection to the server localhost:8080 was refused - did you specify the right host or port? == Failed to start /opt/namespace.yaml in namespace at 2016-09-13T14:27:34+0000. 99 tries remaining. == The connection to the server localhost:8080 was refused - did you specify the right host or port? The connection to the server localhost:8080 was refused - did you specify the right host or port?

ERROR: S client not available

The connection to the server localhost:8080 was refused

такое чуство что здесь не срабатывает

https://gist.github.com/Bregor/6a8cf10f610922b5898dcffef957ff26#file-addon-manager-yaml-L11-L15

так как ADDON_CHECK_INTERVAL_SEC=10 там например

$ kubectl exec -it kube-addon-manager --namespace kube-system -- cat /etc/kubernetes/kubeconfig.yml

да нету его

kubectl exec -it kube-addon-manager --namespace kube-system -- cat /etc/kubernetes/kubeconfig.yml cat: /etc/kubernetes/kubeconfig.yml: No such file or directory error: error executing remote command: error executing command in container: Error executing in Docker Container: 1

хотя файл лежит в controllere и на нодах

значит вот тут проблема: https://gist.github.com/Bregor/6a8cf10f610922b5898dcffef957ff26#file-addon-manager-yaml-L20-L23

да

$ kubectl describe po kube-addon-manager --namespace kube-system

$ kubectl describe po kube-addon-manager --namespace kube-system Name: kube-addon-manager Namespace: kube-system Node: 10.0.229.6/10.0.229.6 Start Time: Tue, 13 Sep 2016 14:27:12 +0000 Labels: <none> Status: Running IP: 10.0.229.6 Controllers: <none> Containers: kube-addon-manager: Container ID: docker://4231fad415bdbd46f5b3aad91a69cf31142962194c15d726c56755eb9c86f773 Image: gcr.io/google-containers/kube-addon-manager-amd64:v5.1 Image ID: docker://sha256:735ce4344f7f05e28dd9e8631d4ebeccf194bb8180c91e6df0069e4151832e78 Port: Requests: cpu: 5m memory: 50Mi State: Running Started: Tue, 13 Sep 2016 14:27:34 +0000 Ready: True Restart Count: 0 Environment Variables: KUBECTL: /usr/bin/kubectl --kubeconfig=/etc/kubernetes/kubeconfig.yaml ADDON_CHECK_INTERVAL_SEC: 10 Conditions: Type Status Initialized True Ready True PodScheduled True Volumes: addons: Type: HostPath (bare host directory volume) Path: /etc/kubernetes QoS Tier: Burstable Events: FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ ------- 5m 5m 1 {default-scheduler } Normal Scheduled Successfully assigned kube-addon-manager to 10.0.229.6 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulling pulling image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1" 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulled Successfully pulled image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1" 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Created Created container with docker id 4231fad415bd 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Started Started container with docker id 4231fad415bd

$ kubectl describe po kube-addon-manager --namespace kube-system Name: kube-addon-manager Namespace: kube-system Node: 10.0.229.6/10.0.229.6 Start Time: Tue, 13 Sep 2016 14:27:12 +0000 Labels: <none> Status: Running IP: 10.0.229.6 Controllers: <none> Containers: kube-addon-manager: Container ID: docker://4231fad415bdbd46f5b3aad91a69cf31142962194c15d726c56755eb9c86f773 Image: gcr.io/google-containers/kube-addon-manager-amd64:v5.1 Image ID: docker://sha256:735ce4344f7f05e28dd9e8631d4ebeccf194bb8180c91e6df0069e4151832e78 Port: Requests: cpu: 5m memory: 50Mi State: Running Started: Tue, 13 Sep 2016 14:27:34 +0000 Ready: True Restart Count: 0 Environment Variables: KUBECTL: /usr/bin/kubectl --kubeconfig=/etc/kubernetes/kubeconfig.yaml ADDON_CHECK_INTERVAL_SEC: 10 Conditions: Type Status Initialized True Ready True PodScheduled True Volumes: addons: Type: HostPath (bare host directory volume) Path: /etc/kubernetes QoS Tier: Burstable Events: FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ ------- 5m 5m 1 {default-scheduler } Normal Scheduled Successfully assigned kube-addon-manager to 10.0.229.6 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulling pulling image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1" 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Pulled Successfully pulled image "gcr.io/google-containers/kube-addon-manager-amd64:v5.1" 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Created Created container with docker id 4231fad415bd 5m 5m 1 {kubelet 10.0.229.6} spec.containers{kube-addon-manager} Normal Started Started container with docker id 4231fad415bd

у меня софт линк там

$ ls -la /usr/bin/kubectl lrwxrwxrwx 1 root root 15 Sep 12 10:58 /usr/bin/kubectl -> opt/bin/kubectl

/usr/bin/kubectl --kubeconfig=/etc/kubernetes/kubeconfig.yaml -bash: /usr/bin/kubectl: No such file or directory

спасибо щас hard link поставил

дожно сработать

а вот так сделай: $ kubectl exec -it --namespace=kube-system kube-addon-manager-10.83.8.195 -- which kubectl

ну только вместо 10.83.8.195 свое подставь

$ kubectl exec -it --namespace=kube-system kube-addon-manager -- which kubectl /usr/local/bin/kubectl

вооот

а ты его в /opt ищешь

- env: - name: KUBECTL value: /usr/local/bin/kubectl ...

kubectl у тебя внутри пода

свой

где там у тебя kubectl на хостовой фс никого не волнует

ясно а я думал это он на worker node смотрит

теперь надо разобраться, почему не смонтировался kubeconfig.yaml

$ kubectl exec -it --namespace=kube-system kube-addon-manager -- find /etc/kubernetes/ -type f

$ kubectl exec -it --namespace=kube-system kube-addon-manager -- find /etc/kubernetes/ -type f /etc/kubernetes/config /etc/kubernetes/kubeconfig.yaml /etc/kubernetes/kubelet

a ssl где?

или это не весь вывод?