и посмотри еще: я не целиком диск отдаю, а разделами. Раздел под дату и раздел под журнал

ну это норм. раздел под журнал и под дата

монтируется

а не

стоп

у тебя журнал это линк на раздел

и всё

просто блочник

именно линк? osd journal = /dev/sdc1 игнорируется?

в логах, опять же, непонятно - он дату не может примонтировать или журнал http://paste.org.ru/?0z4vlv

[root@test1 ~]# ll /var/lib/ceph/osd/ceph-*/journal lrwxrwxrwx 1 root root 9 июл 6 12:21 /var/lib/ceph/osd/ceph-14/journal -> /dev/sdf4

ну в принципе щас попробую еще и симлинк сделать

gentoo-tmp-node-0 ceph # ls -l osd/ceph-0/journal lrwxrwxrwx 1 root root 9 июл 21 17:11 osd/ceph-0/journal -> /dev/sdc1

то есть у тебя /var/lib/ceph/osd/ceph-0/ смонтирована на диск с датой а в этом маунте еще симлинк на раздел для журнала

та же ошибка в логах

а дата где? на sdc2?

да

osd journal = /data/ceph/osd/$cluster-$id/journal - симлинк на sdc1 - та же ошибка

ceph osd tree

http://paste.org.ru/?ed57vf

fuf

aga

ceph -s ?

http://paste.org.ru/?orcg1n

хмм

Мне достаточно предположений, решения можно не придумывать. Мне будет полезно самому реализовать

а у тебя на sdc1 раздела нет?

куда журнал слинкован

df -lh /data/ceph/osd/ceph-0 смаунчено?

gentoo-tmp-node-0 conf # df -lh /data/ceph/osd/ceph-0 Файловая система Размер Использовано Дост Использовано% Cмонтировано в /dev/sdc2 7,0G 33M 7,0G 1% /data/ceph/osd/ceph-0

sdc раздел жеж и есть. Фс на ём xfs

тьфу) у тебя на sdc1, куда журнал захерачен есть ФС?

да

xfs

есть подозрение, что не должно быть

хотел бтрфс, но пишут что рано

я и так пробовал и так

ну у меня без ФС

просто раздел

это я про журнал

полюбому вызывается еще sudo -u ceph ceph-osd --cluster ceph -i ${osd_id} --mkjournal --osd-uuid $osd_uuid

2016-07-21 17:21:32.292029 7f9c659f47c0 -1 created new journal /data/ceph/osd/ceph-0/journal for object store /data/ceph/osd/ceph-0

хотел бтрфс, но пишут что рано

попробуй зфс

ггг

вот только тут не понятно оно создало таки журнал или поломалось

попробуй зфс

в линупсе её в ядре нет

в линупсе её в ядре нет

а цеф есть?

есть

вот только тут не понятно оно создало таки журнал или поломалось

ну похоже что создалось

мож попробовать пересоздать?

мож попробовать пересоздать?

Пересоздаю при каждом изменении конфигов\скриптов

мне это просто скрипт запустить

херня какая-то

причём пересоздаю ВСЁ

вот и я ж об чом...

попробуй через деплой

создаст не?

рано мне в ceph-deploy

и уже плясать от обратного

ну так дебажить проще)

gentoo-tmp-node-0 ceph # ceph-deploy zsh: command not found: ceph-deploy

)))

ты не понял

для эксперимента

а там уже возись потом руками

собственно понять руки кривы или цеф кривой

просто цеф деплой может новой инфы тебе анвалит

собственно понять руки кривы или цеф кривой

да

я вот пока не вижу что именно криво

смотрите еще какая фигня...

ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph

оно запускается и работате

osdmap e7: 1 osds: 1 up, 1 in

а если systemctl start ceph-osd@0 - болт

хотя ровно то же самое

юнит покажи

http://paste.org.ru/?37q8jh - /usr/lib/systemd/system/ceph-osd@.service

кстати юнит может быть кривой

[Service] ExecStart= ExecStart=@/bin/bash "/bin/bash" "-c" "ulimit -n 32768; /usr/bin/ceph-osd -i 22 —pid-file /var/run/ceph/osd.22.pid -c /etc/ceph/ceph.conf —cluster ceph -f"

весь юнит

ну у меня дистрибутивный, от цефа...

/usr/lib/ceph/ceph-osd-prestart.sh --cluster ${CLUSTER} --id %i это смущает

ну дак напиши свое

у меня там щас заглушка с exit 0 ибо гента не установила скрипт я брал https://github.com/ceph/ceph/blob/master/src/ceph-osd-prestart.sh - ща покажу как с ним

эх

вот поэтому надо деплой

просто я нихуя не понимаю что дебажу. то ли цеф то ли скрипт то ли генту

а, с ним та же ошибка

я так уже второй день :)

просто я нихуя не понимаю что дебажу. то ли цеф то ли скрипт то ли генту

shut up and debug this shit

ты вот что хочешь?

поставить цеф?

понять что это и поставить

июл 21 17:35:24 gentoo-tmp-node-0 ceph-osd[6562]: 2016-07-21 17:35:24.707063 7fa381d227c0 -1 filestore(/data/ceph/osd/ceph-0) mount failed to open journal /data/ceph/osd/ceph-0/journal: (13) Permission denied

возьми центось, накати из репы сделай цеф деплой. от бОльшего к меньшему

вот тут вообще магия ж

Ну

если разбираться то по другому

на что не хватает прав?