на portworx

пробовал еще storageos, но portworx лучше

зачем не на локал волюмах?

rke open-ceph-user-level-docs

какой однако у ranche2 богатый функционал!

λ rke open-ceph-user-level-docs No help topic for 'open-ceph-user-level-docs'

хотелось что-то более изящное, чем local volumes )

надо в rke ще патч Бармина реализовать

народ, я смотрю, спокойно запускает всё что им советуют незнакомые люди в интернетах

curl ... | bash

λ rke open-ceph-user-level-docs No help topic for 'open-ceph-user-level-docs'

лул

пора уже стикеры с rke делать, как минимум с парочкой команд

Зачем вы заставляете рыдать инженеров?

а как делают k8s инженеры?

со слезами на глазах

со слезами на глазах

?

“я не плачу, просто баш скрипт в глаз попал“

"yaml в глаз попал" тогда уж

yaml вот сюда попал “cat manifest.yml | envsubst | kubectl apply -f -“

Промлема с модулем решилась вот таким костылём kubelet: extra_binds: - "/lib/modules:/lib/modules"

Но осталось Warning FailedMount 25s kubelet, rancher02 MountVolume.WaitForAttach failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : rbd: map failed exit status 110, rbd output: 2018-10-22 14:38:08.630865 7fb70967c100 -1 did not load config file, using default settings. 2018-10-22 14:38:08.635878 7fb70967c100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory rbd: sysfs write failed 2018-10-22 14:39:08.634981 7fb70967c100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (110) Connection timed out

И что непонятно?

Клиент ceph не может найти keyring

Вряд ли он магически его сам сделает

И что непонятно?

вы упускаете момент, что кластер раздеплоен ранчером rke fix-cluster еще не запускали

Ой, извините

Где вы у него такие команды нашли? rke --help NAME: rke - Rancher Kubernetes Engine, an extremely simple, lightning fast Kubernetes installer that works everywhere USAGE: rke [global options] command [command options] [arguments...] VERSION: v0.1.10 AUTHOR(S): Rancher Labs, Inc. COMMANDS: up Bring the cluster up remove Teardown the cluster and clean cluster nodes version Show cluster Kubernetes version config Setup cluster configuration etcd etcd snapshot save/restore operations in k8s cluster help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --debug, -d Debug logging --help, -h show help --version, -v print the version

чет захрюкал

господа, подскажите плз, чяднт сделал ингресс, запускаю - все бы хорошо, но нестат показывает, что он порты не слушает https://pastebin.com/BGrSu2AF

Где вы у него такие команды нашли? rke --help NAME: rke - Rancher Kubernetes Engine, an extremely simple, lightning fast Kubernetes installer that works everywhere USAGE: rke [global options] command [command options] [arguments...] VERSION: v0.1.10 AUTHOR(S): Rancher Labs, Inc. COMMANDS: up Bring the cluster up remove Teardown the cluster and clean cluster nodes version Show cluster Kubernetes version config Setup cluster configuration etcd etcd snapshot save/restore operations in k8s cluster help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --debug, -d Debug logging --help, -h show help --version, -v print the version

Поржал)

rke open-ceph-user-level-docs

@etkee вы видимо вот этот пассаж пропустили ^^^

господа, подскажите плз, чяднт сделал ингресс, запускаю - все бы хорошо, но нестат показывает, что он порты не слушает https://pastebin.com/BGrSu2AF

а в логах пода что?

какого пода? это ж ингресс

а, это всё, что есть. Ну так сам ингресс надо запустить, nginx-ingress например

чет захрюкал

Чота тоже

там будет под с нгинксом, там и будут логи и порты будут слушаться

Чота тоже

?

там будет под с нгинксом, там и будут логи и порты будут слушаться

так, я похоже чет не дочитал

да, я так сначала тоже удивился, пока nginx-ingress не добавил

@etkee вы видимо вот этот пассаж пропустили ^^^

да я краем глаза начало того сообщения зацепил и сразу понял, что все пропускаю

Ребят. В сетях вообще ничего не понимаю. kube-router подходит для кейса, когда кроме парочки bare metal серверов ничего нет?

Я имею ввиду что не нужно какое-то дополнительное сетевое оборудование для kube-router?

Ребят. В сетях вообще ничего не понимаю. kube-router подходит для кейса, когда кроме парочки bare metal серверов ничего нет?

вполне подходит

Тогда у меня проблема. Между нодами нет приватной сети, только публичная. И у меня не работают сервисы. Сервис с kube dashboard открывается только на ноде, где запущен этот под

в логах kube-router ничего не понимаю =(

проверь ipvsadm и ip route

Ни у кого не было бага, когда поды получают IP из докера а не из CNI?

и добавляются в docker0 бридж

проверь ipvsadm и ip route

извиняюсь, а что смотреть в них?

ipvsadm должен содержать твои сервисы с endpoints

ip route должен содержать роуты для каждого nodeCIDR

почему-то из 7 машин в выводе ipvsadm вижу ip сервиса только на двух

значит проблема в этом

проврь еще lsmod | grep ipvs на тех машинах

разворачивал через kubespray, указал там kube_router_support_hairpin_mode: true, kube_router_run_service_proxy: true, kube_router_run_firewall: false

почему-то из 7 машин в выводе ipvsadm вижу ip сервиса только на двух

ты kube-router вместо kube-proxy используешь, или вместе?

в kubectl get pods --all-namespaces не вижу kube-proxy

тогда ок, проверь модули ipvs еще

проврь еще lsmod | grep ipvs на тех машинах

вывод везде одинаковый

кстати ip сервиса есть в выводе ipvsadm только на двух машинах, которые я перезагружал час назад

остальные 5 машин не перезагружались

походу kube-router не обновляет конфигурацию ipvsadm на этих машинах

есть ли тут люди, которые используют спотинст в проде для кубернетес кластеров?

Ни у кого не было бага, когда поды получают IP из докера а не из CNI?

решилось флагом --network-plugin=cni для kubelet'а

А почему в выводе ip route некоторые маршруты показаны как dev tun-23131313, а некоторые как via {ip соседней машины}?

Может это как-то связано с тем, что три машины имеют ip-адрес с общей подсетью /24, а остальные четыре в другой подсети /24?

ах да, куб мастера на трех kvm впсках, а nodes на 4х физических машинах

А почему в выводе ip route некоторые маршруты показаны как dev tun-23131313, а некоторые как via {ip соседней машины}?

dev tun-23131313 - отправит трафик через тунель

Может из-за того что флаг --advertise-cluster-ip не прописан?

( Add Cluster IP of the service to the RIB so that it gets advertises to the BGP peers.)

kube-router --run-router=True --run-firewall=False --run-service-proxy=True --kubeconfig=/var/lib/kube-router/kubeconfig

вообще вот так запущен он

Кто-нибудь peatio поднимал на локальном кластере?

скорее всего это логика работы kube-router, если у тебя две разные подсети, скорее всего трафик между ними ходит через тунели

скорее всего это логика работы kube-router, если у тебя две разные подсети, скорее всего трафик между ними ходит через тунели

да, так и есть

проверить можно как ip route get <pod_ip>

проверить можно как ip route get <pod_ip>

проверил, везде есть запись

на ноде, где запущен под, там через kube-bridge

пробую пинговать под со всех машин, пингуется только с 5 из 7

ну а дальше tcpdump в руки, и дебажить :)

на трех машинах вообще kube-bridge linkdown

может хостер блочит пакеты с другим source?

такое вполне возможно

хостер говорит что да, это невозможно)

даже между своими серверами

Тут в соседнем чате появилась хорошая инфографика, которая детально объясняет механизм работы helm

ахахахах

Очень похоже на куб

Хелм такой подошёл.. и много уборки