3. Я так и не понял можно ли создать [osd.label] вместо [osd.0]. С одной стороны какбы ошибок не выдает нигде, кроме как ceph osd create $osd_uuid ${osd_id} где osd_id должна быть именно цифра. И причём [mon.label] вроде как вполне себе работает

а ты что делать пытаешься

а ключик у тебя в /etc/ceph правильный лежит?

4. Не совсем понятно с кейрингами. Как это работает вообще? Ключи то только в одном экземпляре прописываются. Ладно бы ключ в osd томе и ключ в etc, совпали - ок. А так как есть - непонятно

вот какраз

правильный это какой? С чем совпасть должен?

cat ceph.client.admin.keyring [client.admin]

на всех нодах кластера одинаковый

нода пока что одна

еще две ждут

эту подниму, потом osd + mon на остальных

[client.admin] key = AQBct5BXOdYpChAAPQ87rS1+xZgdPIaNRps7pQ== auid = 0 caps mon = "allow *" caps osd = "allow *"

cat osd/ceph-0/keyring [osd.0] key = AQBht5BXNYOsMxAAfrJMWPX/erItMLY7X3RwGQ==

уф

лан, ща с обеда приду подумаю еще

Ура, мне живые люди помогают, а не куча текста в интернетах :)

ребзя, мы прошли тест тьюринга)

Такое иногда бывает)

... и вообще, чем дальше ковыряюсь в цефе, тем больше мне кажется, что оно еще для продакшна не готово

давно готово и используется во многих проектах

у тя просто hands from ... 😉

да я в курсе, что ты добрый, Дим Но помогать никому не спешишь

потому что в твоём понимание "помогать" - сделать за тебя

Нет, сделать за себя я никогда не просил, не надо

просто тупо нет время ( я про себя ) если ты заметил я уже неделю на канале ни слова не проронил

Это уже другой разговор. Сочувствую и желаю поскорее тебе доделать с успехом то что делаешь.

ты ж знаешь что) просто инвестор сроки поставил головонеподьёмные, но скоро начну раздавать тестовые халявные акки

https://teststack.ru/

Дим, я был не в курсе, видимо отфильтровалось в башке...

а что из компонентов будет?

https://teststack.ru/

не работает же?

выше написано же: скоро начну раздавать тестовые акки

из компонентов будет всё, кроме трова

под тров пока нет выделенного железа

причем ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph - поднимает демона и живёт, а systemctl start ceph-osd@0.service просит сначала оказать ему какието услуги личного характера

я вернулся. что ты там хочешь делать с этой OSD, что у тебя прав не хватает

я вернулся. что ты там хочешь делать с этой OSD, что у тебя прав не хватает

Я тоже вернулся :) Стартовать я его хочу, чтобы он таки начал работать :)

а как ты делал деплой?

ща покажу

http://paste.org.ru/?kki083

http://paste.org.ru/?ivmy02 - ceph.conf

ебать

а что, ceph-deploy отменили?

Говорил же - не люблю трогать за готовое, не понимая как это работате

вот когда разберусь с этим и буду способен свой ceph-deploy писать, тогда уже можно и за готовый потрогать

Что я пропустил? Может еще ключ какой где?

ну конфиг цефа вроде ок

цэф случаем не пытается от своего имени монтировать фс или ему уже смонтированное подавать надо?

ва -др

тьфу

как посмотреть от кого смаунчено?

точка монтирования прописана в фстаб

а её нету

он манутит при создании

/dev/sdc2 /data/ceph/osd/ceph-0 xfs rw,noatime,inode64,user 0 0

монтирует же только рут

от вопрос только от какого юзера

но так может монтировать и юзер

да в принципе оно смонтируется и само при загрузке

или цефу принципиально самому смонтировать?

ну вообще судя по правам на файлы нет

и посмотри еще: я не целиком диск отдаю, а разделами. Раздел под дату и раздел под журнал

журнал вообще монтируется или оно его в raw трогает сразу за блок?

и посмотри еще: я не целиком диск отдаю, а разделами. Раздел под дату и раздел под журнал

ну это норм. раздел под журнал и под дата

монтируется

а не

стоп

у тебя журнал это линк на раздел

и всё

просто блочник

именно линк? osd journal = /dev/sdc1 игнорируется?

в логах, опять же, непонятно - он дату не может примонтировать или журнал http://paste.org.ru/?0z4vlv

[root@test1 ~]# ll /var/lib/ceph/osd/ceph-*/journal lrwxrwxrwx 1 root root 9 июл 6 12:21 /var/lib/ceph/osd/ceph-14/journal -> /dev/sdf4

ну в принципе щас попробую еще и симлинк сделать

gentoo-tmp-node-0 ceph # ls -l osd/ceph-0/journal lrwxrwxrwx 1 root root 9 июл 21 17:11 osd/ceph-0/journal -> /dev/sdc1

то есть у тебя /var/lib/ceph/osd/ceph-0/ смонтирована на диск с датой а в этом маунте еще симлинк на раздел для журнала

та же ошибка в логах

а дата где? на sdc2?

да

osd journal = /data/ceph/osd/$cluster-$id/journal - симлинк на sdc1 - та же ошибка

ceph osd tree