Как бы понять почему так долго? $ kubectl get po -n prometheus NAME READY STATUS RESTARTS AGE prometheus-alertmanager-6b8897ddfc-9m9dd 0/2 ContainerCreating 0 29m prometheus-grafana-9dc745b68-hnv97 0/2 ContainerCreating 0 29m prometheus-kube-state-metrics-8668948654-ql8xk 1/1 Running 0 29m prometheus-node-exporter-2fdsp 1/1 Running 0 29m prometheus-node-exporter-65tw7 1/1 Running 0 29m prometheus-node-exporter-kd9pp 1/1 Running 0 29m prometheus-server-78f564dfdb-5t4j8 0/2 Init:0/1 0 29m

через describe

Какой из проектов? =)

Что вы имеете в виду?

Круто, блин. Он в том namespace тоже пытается искать секрет. Создал. Теперь в descibe вообще чудеса. Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 38m default-scheduler Successfully assigned prometheus/prometheus-server-78f564dfdb-5t4j8 to rancher01 Normal SuccessfulAttachVolume 38m attachdetach-controller AttachVolume.Attach succeeded for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" Warning FailedMount 8m (x4285 over 38m) kubelet, rancher01 MountVolume.NewMounter initialization failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : Couldn't get secret prometheus/ceph-secret-user err: secrets "ceph-secret-user" not found Warning FailedMount 2m (x2 over 3m) kubelet, rancher01 (combined from similar events): MountVolume.WaitForAttach failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : rbd: map failed exit status 2, rbd output: 2018-10-22 12:47:07.513732 7fd48ffb4100 -1 did not load config file, using default settings. 2018-10-22 12:47:07.518699 7fd48ffb4100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory libkmod: ERROR ../libkmod/libkmod.c:586 kmod_search_moddep: could not open moddep file '/lib/modules/4.4.0-135-generic/modules.dep.bin' modinfo: ERROR: Module alias rbd not found. modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.4.0-135-generic/modules.dep.bin' modprobe: FATAL: Module rbd not found in directory /lib/modules/4.4.0-135-generic rbd: failed to load rbd kernel module (1) rbd: sysfs write failed In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (2) No such file or directory

Что вы имеете в виду?

Ну ща для посгреса много реализаий, ha, думал представляете конкретный проект, тут были парни kubedb допиливать собрались

в чатике запахло ceph'ом

Ага, им 🙂

Только я не могу определить, что в этой цепочке косячит. rancher2 или ceph

Только я не могу определить, что в этой цепочке косячит. rancher2 или ceph

вы пробовали rke fix-cluster ?

нет

Там кластер-то на 3-х машиках + сам ранчер сервер

И на нём нет ничего, что мого бы успеть сломаться.

Ну ща для посгреса много реализаий, ha, думал представляете конкретный проект, тут были парни kubedb допиливать собрались

мы пытаемся столон реализовать для себя, но что-то производительность оставляет желать лучшего

И на нём нет ничего, что мого бы успеть сломаться.

обратите внимание на rbd: failed to load rbd kernel module

но ведь столон юзает обычный постгрес?

вы пробовали rke fix-cluster ?

rke open-ceph-user-level-docs

или вы его на какой-нибудь ceph посадили?

оно должно открыть доки по цефу в браузере, где написано как это сикрет припихивать

на portworx

пробовал еще storageos, но portworx лучше

зачем не на локал волюмах?

rke open-ceph-user-level-docs

какой однако у ranche2 богатый функционал!

λ rke open-ceph-user-level-docs No help topic for 'open-ceph-user-level-docs'

хотелось что-то более изящное, чем local volumes )

надо в rke ще патч Бармина реализовать

народ, я смотрю, спокойно запускает всё что им советуют незнакомые люди в интернетах

curl ... | bash

λ rke open-ceph-user-level-docs No help topic for 'open-ceph-user-level-docs'

лул

пора уже стикеры с rke делать, как минимум с парочкой команд

Зачем вы заставляете рыдать инженеров?

а как делают k8s инженеры?

со слезами на глазах

со слезами на глазах

😂

“я не плачу, просто баш скрипт в глаз попал“

"yaml в глаз попал" тогда уж

yaml вот сюда попал “cat manifest.yml | envsubst | kubectl apply -f -“

Промлема с модулем решилась вот таким костылём kubelet: extra_binds: - "/lib/modules:/lib/modules"

Но осталось Warning FailedMount 25s kubelet, rancher02 MountVolume.WaitForAttach failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : rbd: map failed exit status 110, rbd output: 2018-10-22 14:38:08.630865 7fb70967c100 -1 did not load config file, using default settings. 2018-10-22 14:38:08.635878 7fb70967c100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory rbd: sysfs write failed 2018-10-22 14:39:08.634981 7fb70967c100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (110) Connection timed out

И что непонятно?

Клиент ceph не может найти keyring

Вряд ли он магически его сам сделает

И что непонятно?

вы упускаете момент, что кластер раздеплоен ранчером rke fix-cluster еще не запускали

Ой, извините

Где вы у него такие команды нашли? rke --help NAME: rke - Rancher Kubernetes Engine, an extremely simple, lightning fast Kubernetes installer that works everywhere USAGE: rke [global options] command [command options] [arguments...] VERSION: v0.1.10 AUTHOR(S): Rancher Labs, Inc. COMMANDS: up Bring the cluster up remove Teardown the cluster and clean cluster nodes version Show cluster Kubernetes version config Setup cluster configuration etcd etcd snapshot save/restore operations in k8s cluster help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --debug, -d Debug logging --help, -h show help --version, -v print the version

чет захрюкал

господа, подскажите плз, чяднт сделал ингресс, запускаю - все бы хорошо, но нестат показывает, что он порты не слушает https://pastebin.com/BGrSu2AF

Где вы у него такие команды нашли? rke --help NAME: rke - Rancher Kubernetes Engine, an extremely simple, lightning fast Kubernetes installer that works everywhere USAGE: rke [global options] command [command options] [arguments...] VERSION: v0.1.10 AUTHOR(S): Rancher Labs, Inc. COMMANDS: up Bring the cluster up remove Teardown the cluster and clean cluster nodes version Show cluster Kubernetes version config Setup cluster configuration etcd etcd snapshot save/restore operations in k8s cluster help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --debug, -d Debug logging --help, -h show help --version, -v print the version

Поржал)

rke open-ceph-user-level-docs

@etkee вы видимо вот этот пассаж пропустили ^^^

господа, подскажите плз, чяднт сделал ингресс, запускаю - все бы хорошо, но нестат показывает, что он порты не слушает https://pastebin.com/BGrSu2AF

а в логах пода что?

какого пода? это ж ингресс

а, это всё, что есть. Ну так сам ингресс надо запустить, nginx-ingress например

чет захрюкал

Чота тоже

там будет под с нгинксом, там и будут логи и порты будут слушаться

Чота тоже

😄

там будет под с нгинксом, там и будут логи и порты будут слушаться

так, я похоже чет не дочитал

да, я так сначала тоже удивился, пока nginx-ingress не добавил

@etkee вы видимо вот этот пассаж пропустили ^^^

да я краем глаза начало того сообщения зацепил и сразу понял, что все пропускаю

Ребят. В сетях вообще ничего не понимаю. kube-router подходит для кейса, когда кроме парочки bare metal серверов ничего нет?

Я имею ввиду что не нужно какое-то дополнительное сетевое оборудование для kube-router?

Ребят. В сетях вообще ничего не понимаю. kube-router подходит для кейса, когда кроме парочки bare metal серверов ничего нет?

вполне подходит

Тогда у меня проблема. Между нодами нет приватной сети, только публичная. И у меня не работают сервисы. Сервис с kube dashboard открывается только на ноде, где запущен этот под

в логах kube-router ничего не понимаю =(

проверь ipvsadm и ip route

Ни у кого не было бага, когда поды получают IP из докера а не из CNI?

и добавляются в docker0 бридж

проверь ipvsadm и ip route

извиняюсь, а что смотреть в них?

ipvsadm должен содержать твои сервисы с endpoints

ip route должен содержать роуты для каждого nodeCIDR

почему-то из 7 машин в выводе ipvsadm вижу ip сервиса только на двух

значит проблема в этом

проврь еще lsmod | grep ipvs на тех машинах

разворачивал через kubespray, указал там kube_router_support_hairpin_mode: true, kube_router_run_service_proxy: true, kube_router_run_firewall: false

почему-то из 7 машин в выводе ipvsadm вижу ip сервиса только на двух

ты kube-router вместо kube-proxy используешь, или вместе?

в kubectl get pods --all-namespaces не вижу kube-proxy

тогда ок, проверь модули ipvs еще

проврь еще lsmod | grep ipvs на тех машинах

вывод везде одинаковый

кстати ip сервиса есть в выводе ipvsadm только на двух машинах, которые я перезагружал час назад

остальные 5 машин не перезагружались

походу kube-router не обновляет конфигурацию ipvsadm на этих машинах

есть ли тут люди, которые используют спотинст в проде для кубернетес кластеров?