у тебя 6-8-10 нет?

4. Не совсем понятно с кейрингами. Как это работает вообще? Ключи то только в одном экземпляре прописываются. Ладно бы ключ в osd томе и ключ в etc, совпали - ок. А так как есть - непонятно

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

И сразу все замолчали, что интересно :)

Марк ушёл. все остальные тут или не очень готовы отвечать (как я) или спасают мир)

И сразу все замолчали, что интересно :)

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

не знаю. возможною мне не мешало, стараюсь зря не пытаться лезть в хрупкие места.

Ты ему в приват вопросы накидай, он ответит.

вопрос 2. http://paste.org.ru/?0z4vlv - кусог лога. Полдня ковыряюсь - не могу понять __куда именно_ не хватает прав у osd.

use strace. в известных мне systemd-дистрибутивах есть проблемы с расстановкой прав, лечатся коротким хаком chown -R ceph:ceph $device на все блокдевайсы, которыми пользуется сеф.

ну что ты за человек-то такой

use strace. в известных мне systemd-дистрибутивах есть проблемы с расстановкой прав, лечатся коротким хаком chown -R ceph:ceph $device на все блокдевайсы, которыми пользуется сеф.

3. Я так и не понял можно ли создать [osd.label] вместо [osd.0]. С одной стороны какбы ошибок не выдает нигде, кроме как ceph osd create $osd_uuid ${osd_id} где osd_id должна быть именно цифра. И причём [mon.label] вроде как вполне себе работает

наркоман ? я удевное правило написал

есть обоснованное опасение (не подтвержденное чтением исходников и экспериментированием), что это не самая лучшая идея, даже если это и сработает. утилиты много где хотят osd.N, а много где просто N. я не готов ручаться, что везде можно использовать символические имена. не вижу причин не использовать здесь только числа.

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

а мне было лень и я вставил ExecStartPre

echo 'ENV{DM_VG_NAME}=="node*", ENV{DM_LV_NAME}=="j*", OWNER="ceph", GROUP="ceph", MODE="0660"' | ssh "$node" sudo tee /etc/udev/rules.d/99-ceph-journals.rules > /dev/null

Отсюда старт

оно не сработает, если машина уже забутана.

ну что ты за человек-то такой

ssh "$node" sudo udevadm control --reload-rules ssh "$node" sudo udevadm trigger

Ты ж недавно мне вещал что цэф готов и уже крут а как только вопросы, то сразу не знаю?

"я написал код, он у меня не компилируется, ваш язык говно, а мой код правильный." у вас примерно такая аргументация, простите.

"я написал код, он у меня не компилируется, ваш язык говно, а мой код правильный." у вас примерно такая аргументация, простите.

Сначала добейся. Понял.

Я привык изучать, а не глупо повторять мануал. Я хочу уметь писать мануалы, а не учить их наизусть.

интересно, где вы увидели "сперва добейся"? просто у меня всегда первая мысль, когда что-то не работает или работает не так, как я ожидаю, такая, что проблема во мне, в моем недостаточном понимании, в среде, в окружении или еще .чем-нибудь

Камрады, а где еще настраивается путь по которому цэф должен хранить пидфайлы и сокеты? В конфиге написано admin socket = /data/ceph/run/$cluster.$type.$id.asok pid file = /data/ceph/run/$cluster.$type.$id.pid Но оно всё равно зачем то ломится в /var/run И нет, симлинк в туда это не помогает от http://paste.org.ru/?6073ao

я раза три прочитал. если речь все ещё про permission denied - ответ тот же - strace. если strace непрост (а с сефом он обычно непрост...) - можно пилить auditd и ловить open() о каком вопросе речь-то?

отключи селинукс и аппармор. наверняка в дмесг срач по этому поводу. я кучу времени потратил чтобы узнать какого болта KVM не может подключиться к цефу

блять пиздец интересно. не могу съебать

отключи селинукс и аппармор. наверняка в дмесг срач по этому поводу. я кучу времени потратил чтобы узнать какого болта KVM не может подключиться к цефу

А зачем отключать его?

Зачем включать

Он включен поумолчанию

Зачем включать

Если есть

так-таааак. где хрыч ?

щас у него бомбанёт

Тут продолжение

хм, в ошибке ничего ни про пидфайлы, ни про пути к сокетам. в ошибке по прежнему пути на доступ к девайсу журнала. и ответ прежний (strace). ладно б у вас стенд щас был, можно было бы предметнее говорить. но мы говорим в воздухе о проблеме, которая была полгода назад на кастомной системе с самосборным ядром и бог знает чем еще. кажется, это контрпродуктивно.

Или @alsvartr помучай, мб он тебе скажет дельного чего

из выданной вами информации предположение одно - недостаточно прав на доступ к, видимо, блокдевайсу журнала :) все остальное будет сосанием пальца.

я бы на вашем месте дебажил инсталляцию на генте примерно таким образом: 1) поднимаем референсную на убунте/центос чисто по мануалу 2) когда на генте возникают странности - сначала думаем, потом, если неудачно, начинаем детально сравнивать разницу в поведении ubuntu и gentoo.

Не совсем правильно будет сравнивать поведение разных версий цэфа в разных окружениях под разными ядрами...

надо сказать, я, несмотря на то, что может показаться, что говорю пренебрежительно, прекрасно ваши чувства понимаю. не далее чем пару дней назад я потратил 40 часов чистого времени в соседнем чатике на дебаг незагружающейся по PXE системы. готов был проклясть всех: supermicro, intel, авторов iPXE, авторов кода dhcpd, который тормозит, авторов прошивки cisco, в которой dhcp-relay работает через раз и искренне считал всех их неисправимыми идиотами. потом нашел ошибку, точнее багофичу. и сразу все прошло.

Я понимаю что могут быть и руки из жопы и не исключаю этот вариант. Мне тупо интересно что могло быть :)

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

для целей "разобраться как оно работает на софтварном уровне" достаточно будет 3 виртуалки.

Одно другому не мешает :)

мое мнение может быть и не объективно, но имхо, закупать 10 машин на "поиграть" при парке в несколько десятков (а я, простите, не могу представить многотысячный парк в Минводах) - крайне расточительно.