Logan

коллеги, есть ли тут те, кто используют ceph rbd (именно rbd) как хранилище для kubernetes?

Михаил

коллеги, есть ли тут те, кто используют ceph rbd (именно rbd) как хранилище для kubernetes?

в чем у тебя вопрос?

Logan

не создается image. Симптоматика: - provider создается успешно - volume создается успешно (ошибок нет) - claim создается успешно - при попытке создать контейнер, который будет использовать volume - контейнер вылетает с ошибкой такого вида: Error: MountVolume.SetUp failed for volume [...] with: rbd: image ceph-rbd-pv-test is locked by other nodes rbd ls не показывает image, так что я подозреваю, что он не создается вовсе

Михаил

давай с простого, глянь логи монитора ceph

Михаил

rbd ls ты же в нужном пуле делаешь?

Logan

я проверял во всех. В логах mon пустота

Михаил

хм

Михаил

- volume создается успешно (ошибок нет)

Михаил

как ты создаешь?

Logan

kubectl create, как обычно. Пример конфига: kind: PersistentVolume metadata: name: ceph-rbd-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce rbd: monitors: - 172.16.0.1:6789 pool: kube image: ceph-rbd-pv-test user: admin secretRef: name: ceph-secret-user fsType: ext4 readOnly: false persistentVolumeReclaimPolicy: Recycle

Михаил

я подозреваю проблему с драйверами куба для ceph попробуй вручную создать вольюм и указать его емнип это можно сделать

Михаил

ну и да доступ до монитора по порту 6789 с хоста с кубом у тебя есть?

Logan

есть

Михаил

ок, тогда давай вольюм руками

Logan

как ни странно, создался, но с ухищрением: в качестве фич при создании нужно указать исключительно --image-feature layering

Mark ☢️

а нафига так конвертить?

а что, есть способ получше ?

Старый

а что, есть способ получше ?

в чём смысл qcow2 менять на raw?

Mark ☢️

в чём смысл qcow2 менять на raw?

а ты что, предлагаешь qcow2 хранить в цефе ?

Logan

при этом сам он не создается ни в какую. Это явно проблема драйвера куба, спасибо

Михаил

как ни странно, создался, но с ухищрением: в качестве фич при создании нужно указать исключительно --image-feature layering

скинь фул команду как создавал

Mark ☢️

в чём смысл qcow2 менять на raw?

лишь бы ляпнуть и развести срач. даже не в каналах для срача.

Logan

скинь фул команду как создавал

rbd create kube/ceph-rbd-pv-test --size 10G --image-feature layering

Mark ☢️

Где прочитать за каждую из этих фич ?

Mark ☢️

особенно про производительность

Михаил

rbd create kube/ceph-rbd-pv-test --size 10G --image-feature layering

кури конфиг CEPH. оно должно создаваться без указания image-feature

Logan

создать-то вручную можно. Подмонтировать будет нельзя

Logan

этот баг описан вот тут: http://tracker.ceph.com/issues/15448

Михаил

допиши в конфиг ceph rbd_default_features = 12 и всё перезапусти. оно будет по умолчанию создаваться с параметром layering в таком случае

Logan

это секция global?

Михаил

да

Logan

не сработало

Михаил

а попробуй просто создать, через rbd create без указания feature

Logan

именно так и сделал: root@app1 ~ # rbd create kube/test2 --size 1G root@app1 ~ # rbd map kube/test2 rbd: sysfs write failed RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable". In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (6) No such device or address

Михаил

что-то тут не так

Михаил

rbd info images/ceph-rbd-pv-test rbd image 'ceph-rbd-pv-test': size 10240 MB in 2560 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1d8c1e238e1f29 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten flags:

Logan

root@app1 ~ # rbd create kube/test2 --size 1G root@app1 ~ # rbd info kube/test2 rbd image 'test2': size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.34469238e1f29 format: 2 features: exclusive-lock, object-map flags:

Михаил

ось? как ceph ставил? конфиг на пастебин

Logan

точно 12?

Михаил

точно 12?

ну у меня больше стоит)

Михаил

ты сколько сейчас поставил?

Logan

допиши в конфиг ceph rbd_default_features = 12 и всё перезапусти. оно будет по умолчанию создаваться с параметром layering в таком случае

вот так и поставил

Михаил

странно, попробуй 11

Михаил

если нет, то 13

Logan

11 - 2017-04-12 15:54:46.766085 7f7de7942100 -1 librbd: cannot use object map without exclusive lock

Logan

13: rbd image 'test2': size 10240 kB in 3 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.34481238e1f29 format: 2 features: layering, exclusive-lock, object-map flags:

Михаил

во

Михаил

теперь с кубиком)

Михаил

собственно rbd feature http://www.zphj1987.com/2016/03/24/ceph%E6%9F%A5%E8%AF%A2rbd%E7%9A%84%E4%BD%BF%E7%94%A8%E5%AE%B9%E9%87%8F%EF%BC%88%E5%BF%AB%E9%80%9F%EF%BC%89/