Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

Отсюда старт

а мне было лень и я вставил ExecStartPre

echo 'ENV{DM_VG_NAME}=="node*", ENV{DM_LV_NAME}=="j*", OWNER="ceph", GROUP="ceph", MODE="0660"' | ssh "$node" sudo tee /etc/udev/rules.d/99-ceph-journals.rules > /dev/null

echo 'ENV{DM_VG_NAME}=="node*", ENV{DM_LV_NAME}=="j*", OWNER="ceph", GROUP="ceph", MODE="0660"' | ssh "$node" sudo tee /etc/udev/rules.d/99-ceph-journals.rules > /dev/null

оно не сработает, если машина уже забутана.

Отсюда старт

я оттуда и читал.

оно не сработает, если машина уже забутана.

да ну нахуй, там же есть удев релоад и триггер

ну что ты за человек-то такой

Нормальный человек, знаешь чего помоги, не хочешь помогать так и напиши. ?

ssh "$node" sudo udevadm control --reload-rules ssh "$node" sudo udevadm trigger

ssh "$node" sudo udevadm control --reload-rules ssh "$node" sudo udevadm trigger

интересно. спасибо. каюсь, не разбирался с udev'ом.

Народ, послезавтра, все послезавтра. Я завтра в отгуле, собеседоваццо пойду. А послезавтра попингую тут :)

Ты ж недавно мне вещал что цэф готов и уже крут а как только вопросы, то сразу не знаю?

"я написал код, он у меня не компилируется, ваш язык говно, а мой код правильный." у вас примерно такая аргументация, простите.

во. кажеца срач начинается. я теперь точно съябываю

?

"я написал код, он у меня не компилируется, ваш язык говно, а мой код правильный." у вас примерно такая аргументация, простите.

Сначала добейся. Понял.

"я написал код, он у меня не компилируется, ваш язык говно, а мой код правильный." у вас примерно такая аргументация, простите.

Я привык изучать, а не глупо повторять мануал. Я хочу уметь писать мануалы, а не учить их наизусть.

Сначала добейся. Понял.

интересно, где вы увидели "сперва добейся"? просто у меня всегда первая мысль, когда что-то не работает или работает не так, как я ожидаю, такая, что проблема во мне, в моем недостаточном понимании, в среде, в окружении или еще .чем-нибудь

Я привык изучать, а не глупо повторять мануал. Я хочу уметь писать мануалы, а не учить их наизусть.

все правильно. все хорошие специалисты так делают.

интересно, где вы увидели "сперва добейся"? просто у меня всегда первая мысль, когда что-то не работает или работает не так, как я ожидаю, такая, что проблема во мне, в моем недостаточном понимании, в среде, в окружении или еще .чем-нибудь

Почитай там. Никто не смог ответить.

А мне было не так важно, я экспериментировал, один фиг цэф развернуть негде. Но вопросы остались до сих пор интересно что это было.

я раза три прочитал. если речь все ещё про permission denied - ответ тот же - strace. если strace непрост (а с сефом он обычно непрост...) - можно пилить auditd и ловить open() о каком вопросе речь-то?

Камрады, а где еще настраивается путь по которому цэф должен хранить пидфайлы и сокеты? В конфиге написано admin socket = /data/ceph/run/$cluster.$type.$id.asok pid file = /data/ceph/run/$cluster.$type.$id.pid Но оно всё равно зачем то ломится в /var/run И нет, симлинк в туда это не помогает от http://paste.org.ru/?6073ao

Тут продолжение

я раза три прочитал. если речь все ещё про permission denied - ответ тот же - strace. если strace непрост (а с сефом он обычно непрост...) - можно пилить auditd и ловить open() о каком вопросе речь-то?

отключи селинукс и аппармор. наверняка в дмесг срач по этому поводу. я кучу времени потратил чтобы узнать какого болта KVM не может подключиться к цефу

блять пиздец интересно. не могу съебать

отключи селинукс и аппармор. наверняка в дмесг срач по этому поводу. я кучу времени потратил чтобы узнать какого болта KVM не может подключиться к цефу

Ни селинукс ни аппармор. Даже в ядре нет. Ядро монолит.

блять пиздец интересно. не могу съебать

Ты ушел уже

Не было в смысле. То было посреди лета история

отключи селинукс и аппармор. наверняка в дмесг срач по этому поводу. я кучу времени потратил чтобы узнать какого болта KVM не может подключиться к цефу

А зачем отключать его?

А зачем отключать его?

Зачем включать

Зачем включать

Он включен поумолчанию

Он включен поумолчанию

Если есть

Зачем включать

так-таааак. где хрыч ?

щас у него бомбанёт

Если есть

Я об этом же

так-таааак. где хрыч ?

Ты про цэф лучше

щас у него бомбанёт

Ну он по своему прав, selinux не очень сложен

Тут продолжение

хм, в ошибке ничего ни про пидфайлы, ни про пути к сокетам. в ошибке по прежнему пути на доступ к девайсу журнала. и ответ прежний (strace). ладно б у вас стенд щас был, можно было бы предметнее говорить. но мы говорим в воздухе о проблеме, которая была полгода назад на кастомной системе с самосборным ядром и бог знает чем еще. кажется, это контрпродуктивно.

хм, в ошибке ничего ни про пидфайлы, ни про пути к сокетам. в ошибке по прежнему пути на доступ к девайсу журнала. и ответ прежний (strace). ладно б у вас стенд щас был, можно было бы предметнее говорить. но мы говорим в воздухе о проблеме, которая была полгода назад на кастомной системе с самосборным ядром и бог знает чем еще. кажется, это контрпродуктивно.

Даже предположений нет?

Или @alsvartr помучай, мб он тебе скажет дельного чего

Я такого не встречал, надо разбираться на конкретной инсталляции

из выданной вами информации предположение одно - недостаточно прав на доступ к, видимо, блокдевайсу журнала :) все остальное будет сосанием пальца.

Окай, если не уволюсь подниму стенд обратно

я бы на вашем месте дебажил инсталляцию на генте примерно таким образом: 1) поднимаем референсную на убунте/центос чисто по мануалу 2) когда на генте возникают странности - сначала думаем, потом, если неудачно, начинаем детально сравнивать разницу в поведении ubuntu и gentoo.

из выданной вами информации предположение одно - недостаточно прав на доступ к, видимо, блокдевайсу журнала :) все остальное будет сосанием пальца.

Права точно были. Трижды проследил. Ты прав конечно, сосание пальца контрпродуктивно. Но интересно же :)

я бы на вашем месте дебажил инсталляцию на генте примерно таким образом: 1) поднимаем референсную на убунте/центос чисто по мануалу 2) когда на генте возникают странности - сначала думаем, потом, если неудачно, начинаем детально сравнивать разницу в поведении ubuntu и gentoo.

Не совсем правильно будет сравнивать поведение разных версий цэфа в разных окружениях под разными ядрами...

надо сказать, я, несмотря на то, что может показаться, что говорю пренебрежительно, прекрасно ваши чувства понимаю. не далее чем пару дней назад я потратил 40 часов чистого времени в соседнем чатике на дебаг незагружающейся по PXE системы. готов был проклясть всех: supermicro, intel, авторов iPXE, авторов кода dhcpd, который тормозит, авторов прошивки cisco, в которой dhcp-relay работает через раз и искренне считал всех их неисправимыми идиотами. потом нашел ошибку, точнее багофичу. и сразу все прошло.

Не совсем правильно будет сравнивать поведение разных версий цэфа в разных окружениях под разными ядрами...

ну соберите то, что работает, а потом начинайте его ломать осторожно. когда поднатореете в этом - сможете собрать с нуля.

надо сказать, я, несмотря на то, что может показаться, что говорю пренебрежительно, прекрасно ваши чувства понимаю. не далее чем пару дней назад я потратил 40 часов чистого времени в соседнем чатике на дебаг незагружающейся по PXE системы. готов был проклясть всех: supermicro, intel, авторов iPXE, авторов кода dhcpd, который тормозит, авторов прошивки cisco, в которой dhcp-relay работает через раз и искренне считал всех их неисправимыми идиотами. потом нашел ошибку, точнее багофичу. и сразу все прошло.

Я понимаю что могут быть и руки из жопы и не исключаю этот вариант. Мне тупо интересно что могло быть :)

Я понимаю что могут быть и руки из жопы и не исключаю этот вариант. Мне тупо интересно что могло быть :)

да не руки из жопы. просто вы умеете строить дома из кирпича. а тут вам дали сэндвич-панели. вы их порезали на кирпичи и собрали дом из кирпичей. а потом жалуетесь, что холодно :(

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

для целей "разобраться как оно работает на софтварном уровне" достаточно будет 3 виртуалки.

для целей "разобраться как оно работает на софтварном уровне" достаточно будет 3 виртуалки.

Одно другому не мешает :)

Если тебе так просто достать железо - достань его для меня. Или перестань хвалиться этим.

Одно другому не мешает :)

мое мнение может быть и не объективно, но имхо, закупать 10 машин на "поиграть" при парке в несколько десятков (а я, простите, не могу представить многотысячный парк в Минводах) - крайне расточительно.

мое мнение может быть и не объективно, но имхо, закупать 10 машин на "поиграть" при парке в несколько десятков (а я, простите, не могу представить многотысячный парк в Минводах) - крайне расточительно.

10 офисных компов, не серверов

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

Нужна сеть( 10гбе хорошо, 1гбить хватает, но мало, и сети нужно 2-3-4

собирать кластер на десктопах - поговорите с Марком, он расскажет вам боль :)

Про сеть в курсе

Крч, если не уволюсь буду просить железо под цэф. Авось десяток компов закупят чтобы хотя бы 3тб поднять...

3 ТБ 10 компов. наркоман ?

собирать кластер на десктопах - поговорите с Марком, он расскажет вам боль :)

Выхода нет

собирать кластер на десктопах - поговорите с Марком, он расскажет вам боль :)

У него на серверах, у него не десктопы же

А вот меня ждут весёлые времена. ?

У него на серверах, у него не десктопы же

я помню там был bus saturation, помню гринки. поэтому подумал, что десктопы. извините, если неправ.

3 ТБ 10 компов. наркоман ?

Категорически невозможно, да?

Если тебе так просто достать железо - достань его для меня. Или перестань хвалиться этим.

я не хвалюсь, просто разные вещи для разных задач, это как дебилы берут zfs и ставят под виртуалки на сервер, и выделяют ей 4 гб оперативы всего, не деют ssd под кеши и потом говорят, zfs говно, lvm лучше...

ну почему. делают же рэйд на дисководах и флешках

я помню там был bus saturation, помню гринки. поэтому подумал, что десктопы. извините, если неправ.

Хаеюад уэе выкать :D

Выхода нет

разницы между 10 десктопами и несколькими виртуалками у вас почти не будет. реально на десктопах крутить сеф - плохая идея. вы поиграете непонятно с чем. посчитаете цифры, которые будут никому не нужны, потому что никто в продакшн это не покатит в здравом уме.

ну почему. делают же рэйд на дисководах и флешках

just for fun. но упаси бог строить стораджа на флоппарях.

разницы между 10 десктопами и несколькими виртуалками у вас почти не будет. реально на десктопах крутить сеф - плохая идея. вы поиграете непонятно с чем. посчитаете цифры, которые будут никому не нужны, потому что никто в продакшн это не покатит в здравом уме.

Обосунй про плохо?

Обосунй про плохо?

я обосную

на десктопах крайне говённые контроллеры

на десктопах крайне говённые контроллеры

Отдельный контроллер

ну почему. делают же рэйд на дисководах и флешках

У меня рейд на флешках в расберри пи для хранения видео, которое фещается с того же пи в внутренний ТВ канал

они реально не могут просрать несколько дисков под нагрузкой все вместе

Десктоп это не только контроллер

Обосунй про плохо?

1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation

1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation

опередил

1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation

ребуты — это ещё не страшно. страшно когда коррапт данных молчаливый

ребуты — это ещё не страшно. страшно когда коррапт данных молчаливый

+

1) non-ECC memory - привет периодические ребуты 2) шина узкая - привет bus saturation

Для 10 десктопов ребуты не страшно

ребуты — это ещё не страшно. страшно когда коррапт данных молчаливый

Это да, минус.. Большой(

Но мне делать нечего, по этому я беру 4 десктопных станции и захуяриваю на них цеф

Для 10 десктопов ребуты не страшно

собрать, чтобы поиграться - да, можно. собрать, чтобы что-то померить, а потом экстраполировать - нельзя. у меня в этом поинт. с другой стороны, собрать чтобы поиграться вполне можно на виртуалках. это быстрее и удобнее.

Да, десктопы, почти из топа.

тут есть кто с историей успеха хранилища на 100-300ТБ на малом количестве нод (3-6) ?

собрать, чтобы поиграться - да, можно. собрать, чтобы что-то померить, а потом экстраполировать - нельзя. у меня в этом поинт. с другой стороны, собрать чтобы поиграться вполне можно на виртуалках. это быстрее и удобнее.

Я собираюсь в прод выпускать десктопы ?

тут есть кто с историей успеха хранилища на 100-300ТБ на малом количестве нод (3-6) ?

А объём не играет значения, т.е. 3-6 нод, они как и с 10 тб могут быть, так и с 300 разницы в объёмах только в мониторах

А объём не играет значения, т.е. 3-6 нод, они как и с 10 тб могут быть, так и с 300 разницы в объёмах только в мониторах

нннннет

Ну, цены я кидал, нам утвердили только такое, но плюс этого варианта в том, что можно закупить таких больше чем минимум который будет задействован

кагбе говорят, что производительность на малом количестве нод, а соответственно гогромных дисках очень маленькая

тут есть кто с историей успеха хранилища на 100-300ТБ на малом количестве нод (3-6) ?

2 гб оперативы на тб пространства, нормальный проц уровня INTEL Xeon E5-1620 v4 3.5ГГц

кагбе говорят, что производительность на малом количестве нод, а соответственно гогромных дисках очень маленькая

Кто говорит?

но мне бы чуть выше одного hdd иметь норм

2 гб оперативы на тб пространства, нормальный проц уровня INTEL Xeon E5-1620 v4 3.5ГГц

Ты пишешь хуйню

сеф на таком размере не крутил, крутил другой кластерный сторадж, самописный. но общие принципы похожи. прыг с размера 100 нод на 500 - большой. прыг с 500 нод на 5000 - еще больше.

Кто говорит?

по орумам начитался

нннннет

Нет, всмысле я не прав в своих суждения или нет что?

Ты пишешь хуйню

марк вон уже с 1 гб перешёл говорить на 1,5, скоро как и я будет 2

Нет, всмысле я не прав в своих суждения или нет что?

я к тому, что говорить о том что разницы нет - несколько самонадеянно. разница есть.