Nik
Парни, кто пользует ceph-csi. Аттачится успешно pvc от сторейджкласса, создается pv. Но кублет не может его смаунтить на под. Тупо таймаут. (точнне сначала лог о успешном маунте, а потом таймаут). И ругань на STAGE_UNSTAGE_VOLUME, а о нем инфы в интернетах 0
Nik
Jan 22 20:54:10 worker3 kubelet: I0122 20:54:10.250904 9192 operation_generator.go:501] MountVolume.WaitForAttach entering for volume "pvc-52a09b3a1e6d11e9" (UniqueName: "kubernetes.io/csi/csi-rbdplugin^csi-rbd-vol-56c20301-1e6d-11e9-ba2d-0050562c0166") pod "csirbd-demo-pod" (UID: "7cc6d2ca-1e6d-11e9-907f-0050562c0156") DevicePath "csi-db5eca45144fe96427e51f9b9f8325579cf21fabde14c335efb59d9af766cd18"
Jan 22 20:54:10 worker3 kubelet: I0122 20:54:10.254312 9192 operation_generator.go:510] MountVolume.WaitForAttach succeeded for volume "pvc-52a09b3a1e6d11e9" (UniqueName: "kubernetes.io/csi/csi-rbdplugin^csi-rbd-vol-56c20301-1e6d-11e9-ba2d-0050562c0166") pod "csirbd-demo-pod" (UID: "7cc6d2ca-1e6d-11e9-907f-0050562c0156") DevicePath "csi-db5eca45144fe96427e51f9b9f8325579cf21fabde14c335efb59d9af766cd18"
Jan 22 20:54:10 worker3 kubelet: I0122 20:54:10.256188 9192 csi_attacher.go:360] kubernetes.io/csi: attacher.MountDevice STAGE_UNSTAGE_VOLUME capability not set. Skipping MountDevice...
Jan 22 20:54:10 worker3 kubelet: I0122 20:54:10.256217 9192 operation_generator.go:531] MountVolume.MountDevice succeeded for volume "pvc-52a09b3a1e6d11e9" (UniqueName: "kubernetes.io/csi/csi-rbdplugin^csi-rbd-vol-56c20301-1e6d-11e9-ba2d-0050562c0166") pod "csirbd-demo-pod" (UID: "7cc6d2ca-1e6d-11e9-907f-0050562c0156") device mount path "/var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-52a09b3a1e6d11e9/globalmount"
Jan 22 20:54:25 worker3 kubelet: E0122 20:54:25.256584 9192 csi_mounter.go:202] kubernetes.io/csi: mounter.SetupAt failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Jan 22 20:54:25 worker3 kubelet: E0122 20:54:25.256986 9192 nestedpendingoperations.go:267] Operation for "\"kubernetes.io/csi/csi-rbdplugin^csi-rbd-vol-56c20301-1e6d-11e9-ba2d-0050562c0166\"" failed. No retries permitted until 2019-01-22 20:56:27.25693814 +0300 MSK m=+32623.867421731 (durationBeforeRetry 2m2s). Error: "MountVolume.SetUp failed for volume \"pvc-52a09b3a1e6d11e9\" (UniqueName: \"kubernetes.io/csi/csi-rbdplugin^csi-rbd-vol-56c20301-1e6d-11e9-ba2d-0050562c0166\") pod \"csirbd-demo-pod\" (UID: \"7cc6d2ca-1e6d-11e9-907f-0050562c0156\") : rpc error: code = DeadlineExceeded desc = context deadline exceeded"
Jan 22 20:56:23 worker3 kubelet: E0122 20:56:23.121140 9192 kubelet.go:1680] Unable to mount volumes for pod "csirbd-demo-pod_default(7cc6d2ca-1e6d-11e9-907f-0050562c0156)": timeout expired waiting for volumes to attach or mount for pod "default"/"csirbd-demo-pod". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-zt594]; skipping pod
Nik
MountVolume.MountDevice succeeded, и следом kubernetes.io/csi: mounter.SetupAt failed: rpc error: code = DeadlineExceeded desc = context deadline exceeded
Alexandr
Alexey
Подскажите, пожалуйста, kube-proxy в режиме ipvs для каждого service IP на каждой ноде создает LVS? По факту алиасы интерфейса kube-ipvs0 на всех нодах одинаковые?
Yaros
у кого-то был опыт с codefresh? стоит его юзать или нет?
Yaros
я про вот это вот, если что: https://codefresh.io/
Александр
А может просто ansible с AWX Project или buildbot?
Олег
кто как делает в k8s ожидание zookeeper`а, когда запустится, в init контейнере?
Antlar
Istio кто катает?
Anonymous
Для вэба это ок. Для остального tcp и ws/wss - труба...
Anonymous
Если без истио в среднем 10
Andor
А как ты его так запускал, что оно добавляет 100мс?
Vadim
А как ты его так запускал, что оно добавляет 100мс?
Берешь версию постарше, дефолтный сетап, метрики на глазок прикидываешь - тут и 300 выйдет
Alexey
Коллеги, у кого-то есть опыт использования service с externalIP в кластере с kube-proxy на IPVS. Не понимаю поведение, на каждой ноде в интерфейсе kube-ipvs0 появляется этот externalIP, даже если этот external ip уже висит на каком-то из интерфейсов нод.
Antlar
или вы другой прокси катали?
Andor
Берешь версию постарше, дефолтный сетап, метрики на глазок прикидываешь - тут и 300 выйдет
Сколько-сколько выйдет?
Antlar
очень странно) я презентацию смотрел, ребята клялись мамой что задержки не больше 5мс прокси добавляет
Alexey
Все так
А Вы не создавали сервисы с externalIP, когда kube-proxy на ipvs? Если например этот externalIP будет из той же сети что и ноды кубера, то есть маршрутизируемый из вне адрес?
Vadim
Alexey
Ага, так и сделано сейчас
У меня просто этот адрем тоже везде появляется как алиас потом если arping сделать для него прилетает столько маков сколько нод. Я что-то не пойму это норм или я что-то криво настроил?
Alexey
Он плавать не должен между нодами?
Vadim
Ну все так, это ж для балансировки на л2 сделано) главное чтобы экстернал ip не был такой же как у самой ноды кубера, чтобы маршрутизация до самой ноды не ломалась
Alexey
Sergey V
helm install stable/telegraf
пишет мне
Need to set an InfluxDB url for either single or daemonset to deploy this instance:
.Values.daemonset.config.outputs.influxdb.urls
.Values.single.config.outputs.influxdb.urls
подскажите как эти переменные установить?
Sergey V
вот таким способом не работает
helm install stable/telegraf --set .Values.daemonset.config.outputs.influxdb.urls="http://influxdb-influxdb.monitoring.svc.cluster.local:8086"
Grigorii
суда по тому что urlS могу предположить что он хочет array?
Grigorii
но надо смотреть в репу
Grigorii
проще всего использовать свой values файл, но если хочешь через command line, то array можно передать в ={"1","2"} насколько я помню
Project Daemon
народ
Project Daemon
у меня вопрос
Project Daemon
кто нибудь копался во внутренностях кубернетеса?
Project Daemon
вопрос заключается в следующем
Project Daemon
у нас есть Raft кластер в мастерах
Project Daemon
допустим 3 мастер ноды
Project Daemon
и в каждой мастер ноде крутятся шедулеры и контроллеры
Project Daemon
как шедулеры и контроллеры обеспечивают консенсус?
Andor
рафт не между шедулерами и контроллерами
Andor
рафт в етцд
Project Daemon
тобишь определяют кто главный а кто нет
Project Daemon
это понятно
Project Daemon
что в etcd
Project Daemon
а как достигается консенсунс в шедулерах и контроллерах
Andor
через етцд
Project Daemon
а алгоритм голосования как происходит?
Andor
рафт в етцд
Project Daemon
между контроллерами
Project Daemon
а не в etcd
Andor
между контроллерами алгоритм голосвания - в етцд
Project Daemon
ведь у нас кто то рулит всем кластером и дает задание нодам
Project Daemon
я просто не совсем понимаю потому что etcd для контроллера
Project Daemon
это тупо kv
Project Daemon
configmap?
Project Daemon
я думал эта инфа в etcd
Vadim
а где можно посмотреть эту информацию?
https://blog.heptio.com/leader-election-in-kubernetes-control-plane-heptioprotip-1ed9fb0f3e6d?gi=d2b380c4c872
Евгений
etcd это сервис блокировок, в первую очередь, а kv в нагрузку
Project Daemon
блокировок чего?
Andor
дифференциала
Project Daemon
щито?)
Project Daemon
etcd это консистентное хранилище
Project Daemon
kv с классической спекой raft
Project Daemon
или я чего то не знаю?
Евгений
https://landing.google.com/sre/sre-book/chapters/production-environment/
Евгений
Lock Service, может я неправильно перевёл на русский
Andor
если тебе надо починить замок, то ты идёшь в lock service
Project Daemon
я пока не понял