а

т.е. это не 2 кластера

а 1 кластер с 2 пулами

Я пробовал и два кластера тоже

Это я уже пошел проверять на тему "может там ребята что-то не так настроили"

rbd ls -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.cinder.keyring -n client.cinder -p volumes Работает

volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-1 rbd_pool = volumes rbd_ceph_conf = /etc/ceph/ceph.conf rados_connect_timeout = 5 rbd_user = cinder rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder.keyring rbd_secret_uuid = report_discard_supported = True [ceph2] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = ceph2 rbd_pool = openstack_test_volumes rbd_ceph_conf = /etc/ceph/ceph2.conf rados_connect_timeout = 5 rbd_user = openstack_test_cinder rbd_cluster_name = ceph2 rbd_keyring_conf = /etc/ceph/ceph2.client.cinder.keyring rbd_secret_uuid = report_discard_supported = True

а вот это сейчас на 2 цефа или на 2 пула у тебя?

Разницы два или один кластер, как я понимаю нет. Синдер и рбд оперируют cepn(x).conf и keyring. Если они разные - он будет считать это все разными кластерами. По крайней мере, судя по коду - это так

а вот это сейчас на 2 цефа или на 2 пула у тебя?

И так. И так. Считай что два кластера

Для тестов там еще третий бекенд приделан

))))

Возвращаясь к теме мульти-бекендов синдера на цефе - кто-либо это вообще пробовал? Чтобы два цефа, два бекенда?

Да весь цеф ВК клауд так работает 😊

И так. И так. Считай что два кластера

короче вот такой конфиг работает: [rbd-1] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-1 rbd_pool = volumes rbd_ceph_conf = /etc/ceph/ceph.conf rados_connect_timeout = 5 rbd_user = cinder rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder.keyring rbd_secret_uuid = 9c635f5c-8049-4f01-8f69-25c17b58bf36 report_discard_supported = True [rbd-2] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-2 rbd_pool = volumes2 rbd_ceph_conf = /etc/ceph/ceph2.conf rados_connect_timeout = 5 rbd_user = cinder2 rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder2.keyring rbd_secret_uuid = report_discard_supported = True

Возвращаясь к теме мульти-бекендов синдера на цефе - кто-либо это вообще пробовал? Чтобы два цефа, два бекенда?

Олег

ток что проверил специально для тебя

1 кластер, 2 пула, 2 юзера

Да весь цеф ВК клауд так работает 😊

Рассказывай тогда. А то я в печале...

Да весь цеф ВК клауд так работает 😊

вот так работает?

ток что проверил специально для тебя

Это с одним кластером. Гут, проверю

а если у тебя два backend один на быстрых дисках другой на крутилках?

а если у тебя два backend один на быстрых дисках другой на крутилках?

Тупо два пула и разными классами осд рпзнести

а если у тебя два backend один на быстрых дисках другой на крутилках?

то есть выбор )

Тут речь именно про два разных цефа

быстро или медленно )

Тут речь именно про два разных цефа

два разных кластера два разных агрегейта.. ну в целом а почему бы и нет

Рассказывай тогда. А то я в печале...

1. Кластеры должны иметь разные имена 2. Категорически рекомендуется чтобы они имели нестандартные имена (то есть кластера ceph не было. Иначе эта мразь читает по умолчанию ceph.conf и привет

1. Кластеры должны иметь разные имена 2. Категорически рекомендуется чтобы они имели нестандартные имена (то есть кластера ceph не было. Иначе эта мразь читает по умолчанию ceph.conf и привет

вот БЛЯТЬ. Второй пункт

Я так и знал :(

3. rbd_cluster_name, rbd_user делать уникальные для каждого кластера

1. Кластеры должны иметь разные имена 2. Категорически рекомендуется чтобы они имели нестандартные имена (то есть кластера ceph не было. Иначе эта мразь читает по умолчанию ceph.conf и привет

sdd.vkcloud.local и hdd.vkcloud.local

Нет, ты с порядком ошибся

Я так и знал :(

ну у тебя и на одном кластере не завелось )

ну у тебя и на одном кластере не завелось )

И на двух тоже

Правильная схема это "один кластерный N-сервисный бакэнд на каждый цеф"

Правильная схема это "один кластерный N-сервисный бакэнд на каждый цеф"

Переведи

Понятное дело что один цеф лучше. Но вот захотелось мне два

И на двух тоже

ну ща второго инвалида подниму )

О, давай.

А то походу Артем прав, надо имена давать уникальные

Ща тож катну

Ну вот как это делал я тогда - есть кластеры цефа - например ssd1, ssd2, ssd3 Есть кластеры синдера, например ssd1, ssd2, ssd3 В каждом кластере два бакэнда - например server1@ssd1#poolnamame server2@ssd1#poolnamame Оба этих бакэнда ходят на один цеф - на ssd1 Соответственно если у нас три цефа - то три синдеркластера и шесть синдербакэндов

это ты наверное cinder-volume ноды имеешь ввиду ?

Ну вот как это делал я тогда - есть кластеры цефа - например ssd1, ssd2, ssd3 Есть кластеры синдера, например ssd1, ssd2, ssd3 В каждом кластере два бакэнда - например server1@ssd1#poolnamame server2@ssd1#poolnamame Оба этих бакэнда ходят на один цеф - на ssd1 Соответственно если у нас три цефа - то три синдеркластера и шесть синдербакэндов

вот тут

Да

Ну а если ты с синдеркластерами не выделываешься, ну тогда все просто - уникальные имена кластеров, правильно зашитые кейринги в сикреты в либвирте, правильное указание юзеров.

И всё полетит

Ну вот как это делал я тогда - есть кластеры цефа - например ssd1, ssd2, ssd3 Есть кластеры синдера, например ssd1, ssd2, ssd3 В каждом кластере два бакэнда - например server1@ssd1#poolnamame server2@ssd1#poolnamame Оба этих бакэнда ходят на один цеф - на ssd1 Соответственно если у нас три цефа - то три синдеркластера и шесть синдербакэндов

Пытаюсь осознать. Но пока не особо хочу

Ну а если ты с синдеркластерами не выделываешься, ну тогда все просто - уникальные имена кластеров, правильно зашитые кейринги в сикреты в либвирте, правильное указание юзеров.

Вот походу изза дефольного ceph кластера оно говнится

Скорей из-за того, что ты не все нужные параметры перекрыл в синдере.

Скорей из-за того, что ты не все нужные параметры перекрыл в синдере.

Все. Один то бекенд нормально взлетает

Потому что дефолтный кластер ceph я встречал и с ним было больно но победили

Там как раз прикол в том, что rdb ls - работает, а инициация дравера из синдре-волума - нет. Хотя креды одни и те же

Не помогло... Ну буду дальше копать. В любом случае пасиб...

rbd ls -n <username> -p <poolname> ?

Потому как rbd ls вообще без особых указаний идет с кредами client.admin

Потому как rbd ls вообще без особых указаний идет с кредами client.admin

Разумеется с полным указанием пользователя, рингов и пула

Работает.

Там как раз прикол в том, что rdb ls - работает, а инициация дравера из синдре-волума - нет. Хотя креды одни и те же

В конфиге кластера укажи юзера. Кейринг положи в файл /etc/ceph/$clustername.client.$username.keyring

Причем именно в файле конфига кластера

Работает.

создал езё кластер цефа

И явно укажи и rbd_cluster_name и rbd_ceph_conf

всё работает

))

[rbd-1] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-1 rbd_pool = volumes rbd_ceph_conf = /etc/ceph/ceph.conf rados_connect_timeout = 5 rbd_user = cinder rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder.keyring rbd_secret_uuid = 9c635f5c-8049-4f01-8f69-25c17b58bf36 report_discard_supported = True [rbd-2] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-2 rbd_pool = volumes2 rbd_ceph_conf = /etc/ceph/ceph2.conf rados_connect_timeout = 5 rbd_user = cinder2 rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder2.keyring rbd_secret_uuid = report_discard_supported = True [rbd-3] volume_driver = cinder.volume.drivers.rbd.RBDDriver volume_backend_name = rbd-3 rbd_pool = volumes rbd_ceph_conf = /etc/ceph/ceph3.conf rados_connect_timeout = 5 rbd_user = cinder3 rbd_cluster_name = ceph rbd_keyring_conf = /etc/ceph/ceph.client.cinder3.keyring rbd_secret_uuid = report_discard_supported = True

даже rbd_cluster_name одинаковый

а чё ойскази не в почёте?

Для нее нету рабочей iser почти ни у кого

всё работает

Так, кажется начинаю понимать где засада. Ща

Для нее нету рабочей iser почти ни у кого

есть у Oracle но тоже то еще гавнище, особенно в связке с ocfs

даже rbd_cluster_name одинаковый

Такие веселые конфиги обычно потом в самых неожиданных местах стреляют

Oracle VM Server слышали..? Запах гниения и веблягухи..

Такие веселые конфиги обычно потом в самых неожиданных местах стреляют

ну в моём случае не выстрелит ))))

Ну да, деплой-онли клауд

Колла не дает запихнуть rbd_keyring_conf = /etc/ceph/ceph3.client.cinder2.keyring Сючка

Но мы ее победим

Все оказалось банально. Колла не пропускала и не копировала кастомный кейринг, требуя чтобы был формат <cluster>.client.cinder.keyring

Подкинул руками <cluster>.client.<username>.keyring и все завелось

Но колла - дала жару конечно. Потом рольки покопаю чего это она так отрабатывает. Видимо мало кто такой ерундой занимается

естественно, колла в данном случае это для разрабов.. развернул стенд на 5-7 нод проверил нагрузки и все.