Алексей
пока деньги на карту не придут не поверю ) 😂
Michail
пока деньги на карту не придут не поверю ) 😂
не знаю куда засылать - пришли фото карты с обеих сторон
Алексей
могу qr код кинуть )
Michail
я вообще про это проект спрашивал если что - https://github.com/kubernetes/client-go
Anton
ТОварищи а кто сидит на weave ?
PsyDebug
Всем привет. k8s+ceph. добавяю тестовый pod. В итоге висит эвент с сообщением pod has unbound PersistentVolumeClaims (repeated 2 times)
kubectl get pods возвращает STATUS Pending. get pv не возвращает ничего. всё перепроверил, пересоздал по новой, всё также. как понять в чём проблема?
PsyDebug
а, вот кстати есть ошибка , но не совсем ясно что он хочет
PsyDebug
Warning ProvisioningFailed 33m persistentvolume-controller Failed to provision volume with StorageClass "ceph-rbd": failed to create rbd image: exit status 1, command output: 2018-06-08 13:13:25.088963 7ff8e3bc07c0 -1 did not load config file, using default settings.
rbd: extraneous parameter --image-feature
Andor
Не может создать rbd имдж
PsyDebug
ну это я понял
Andor
Ваше капитан
Logan
Warning ProvisioningFailed 33m persistentvolume-controller Failed to provision volume with StorageClass "ceph-rbd": failed to create rbd image: exit status 1, command output: 2018-06-08 13:13:25.088963 7ff8e3bc07c0 -1 did not load config file, using default settings.
rbd: extraneous parameter --image-feature
там надо с маской в ceph колдовать, очень известная проблема
Logan
рекомендую сходить в чат ceph, там знают, как решать такую проблему
Алексей
http://cephnotes.ksperis.com/blog/2014/01/21/feature-set-mismatch-error-on-ceph-kernel-client
Алексей
Не это случаем?
PsyDebug
А покаж StorageClass, у тебяж Dynamic?
kubectl get storageclasses
NAME PROVISIONER AGE
ceph-rbd (default) kubernetes.io/rbd 41m
Stanislav
-o yaml
Stanislav
Вот мой для примера, отлично работает:
Stanislav
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: lab-rbd
annotations: {"storageclass.kubernetes.io/is-default-class":"true"}
provisioner: kubernetes.io/rbd
parameters:
monitors: address1:6789,address2:6789,address3:6789
pool: lab_rbd
adminId: client.lab_rbd_admin
adminSecretName: ceph-admin
adminSecretNamespace: "kube-system"
userId: client.lab_rbd_user
userSecretName: ceph-user
userSecretNamespace: default
fsType: xfs
imageFormat: "2"
imageFeatures: "layering"
reclaimPolicy: Retain
PsyDebug
https://pastebin.com/26FzkgdD
Stanislav
У меня заблочен pastebin(
PsyDebug
apiVersion: v1
items:
- apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
annotations:
storageclass.kubernetes.io/is-default-class: "true"
creationTimestamp: 2018-06-08T13:12:16Z
name: ceph-rbd
namespace: ""
resourceVersion: "218938"
selfLink: /apis/storage.k8s.io/v1/storageclasses/ceph-rbd
uid: 90ab8d48-6b1d-11e8-b694-001a4ab6328a
parameters:
adminId: admin
adminSecretName: ceph-secret
adminSecretNamespace: kube-system
fsType: ext4
imageFeatures: layering
imageFormat: "2"
monitors: k8s1:6789,k8s2:6789,k8s3:6789
pool: mypool
userId: myuser
userSecretName: ceph-secret-myuser
provisioner: kubernetes.io/rbd
reclaimPolicy: Delete
volumeBindingMode: Immediate
kind: List
metadata:
resourceVersion: ""
selfLink: ""
Stanislav
А секрет для юзера в каком NS?
Stanislav
userSecretNamespace ?
Stanislav
Индивидуально в каждом?
Stanislav
Под каждый проект?
PsyDebug
вродеж все в kube-system
Stanislav
Не, если не указываешь userSecretNamespace, то он жрет переменную из того NS куда ты диски
PsyDebug
аа, нет
Stanislav
провижиниш
PsyDebug
--namespace=default
Stanislav
Это откуда?
PsyDebug
ключ с которым скреачен myuser
Stanislav
В общем создай секрет ceph-secret-myuser в том NS куда ты PVC делаешь. И ппопробуй
Stanislav
Не факт что именно в этом дело, но по логике использования ceph-rbd это должно работать именно так
Stanislav
или задавай userSecretNamespace: default
Stanislav
как в моем примере
PsyDebug
понял, добро, попробую
Etki
Stanislav
На стороне сефа точно все ок?
PsyDebug
да. полный текст:
I0608 14:16:55.397459 1 event.go:218] Event(v1.ObjectReference{Kind:"PersistentVolumeClaim", Namespace:"default", Name:"claim1", UID:"c626a3fd-6b25-11e8-b694-001a4ab6328a", APIVersion:"v1", ResourceVersion:"223619", FieldPath:""}): type: 'Warning' reason: 'ProvisioningFailed' Failed to provision volume with StorageClass "ceph-rbd": failed to create rbd image: exit status 1, command output: 2018-06-08 14:16:55.347849 7f869847c7c0 -1 did not load config file, using default settings.
rbd: extraneous parameter --image-feature
Stanislav
Хм, тогда наверно больше не подкину идей
Andrey
версия ядра?
Andrey
ноды, с которой rbd map делается
PsyDebug
4.17.0-1.el7.elrepo.x86_64
PsyDebug
аа, с которой rbd ща.
PsyDebug
4.16.2-1.el7.elrepo.x86_64
Andrey
не, там на конфиг ругается, меня смутило: —image-feature - на это ругалось, когда ядра старые были
Andor
Ядра разные/старые или версии сефа/клиентов разные
Andor
https://github.com/kubernetes-incubator/kubespray/issues/1959 вот например мой гугл подсказывает
PsyDebug
у меня версии клиента и сервера различаются v1.10.3 клиент v1.10.4 сервер. rdb брал под версию сервера
Andor
Это версии чего?
PsyDebug
кубера
Andor
А он тут при чём, если у тебя сеф не монтируется?
PsyDebug
да, действительно
Andor
Рбд какой версии?
Andor
А сам сеф?
PsyDebug
sudo ceph version
ceph version 10.2.10
PsyDebug
rbd -v
ceph version 0.94.5
PsyDebug
во
Andor
Обновить можешь до той же версии что на сервере?
PsyDebug
-1 did not load config file, using default settings. вот эта ошибка пренадлежит rdb, её он выдаёт при неверных параметрах
PsyDebug
конечно, посмотрю сейчас с каких реп какая версия доступна
Andor
0.94.5 это какого года версия вообще?
PsyDebug
А у тебя какую показывает?
Andor
А у меня нет сефа :)
Andor
Особенно на телефоне
PsyDebug
Если не затруднит
Stanislav
Уже не на работе(
Stanislav
Не подскажу
PsyDebug
вобщем с версией я вроде как понял. rbd берёт версию ceph-common, который в системе. в контроллере ceph-common взят из штатных реп, который действительно 0.94. сделаю сам контроллер с свежими версиями и посмотрим
Andrey
привет позвольте небольшой опросец: кто чем логирует/мониторит и почему?