а оно явно быстрее любого рэйда

действительно. возможно я что-то делаю не так.

Эм.. у меня плашки по 16гб, забит полностью, работает норм.

Эм.. у меня плашки по 16гб, забит полностью, работает норм.

а можешь написать в личку какая именно память? я куплю — попробую

Блин, мне бы столько железа как вы тут пишите. Штука виртуалок, 5пб хранилища. Пойду повешусь...

Блин, мне бы столько железа как вы тут пишите. Штука виртуалок, 5пб хранилища. Пойду повешусь...

переводи постепенно

а можешь написать в личку какая именно память? я куплю — попробую

Да обычная ddr 3 ecc. в ситилинке брал

Денег нет

Да обычная ddr 3 ecc. в ситилинке брал

а у меня пищит и не включается

а у меня пищит и не включается

обновлял?

переводи постепенно

Я тут свичи соховские покупаю по 300р

Денег нет

тогда страдай.

Блин, мне бы столько железа как вы тут пишите. Штука виртуалок, 5пб хранилища. Пойду повешусь...

смени работу, город и, возможно, страну, тебе три чатика уже говорит об этом.

Денег нет

а на что нет ?

а оно явно быстрее любого рэйда

ну вот запись в ssd состоялась ноды (забрали?получили?) запись на первой диски на 5400 на второй на 7200 на 3 15000 . последняя записала и курит первую?

смени работу, город и, возможно, страну, тебе три чатика уже говорит об этом.

а какой город?

Памяти мало что-то

а какой город?

Минеральные воды

Минеральные воды

оооо. Эльбрус близко

я там был

Минеральные воды

Чувак мой город я там жил ,

и скоро ещё буду. весной

Памяти мало что-то

А сколько надо чисто под ceph? расчёт 1.5гб на 1тб

Правда сьебал

ну вот запись в ssd состоялась ноды (забрали?получили?) запись на первой диски на 5400 на второй на 7200 на 3 15000 . последняя записала и курит первую?

пишет в фоне.

а на что нет ?

Ни на что. Винду и ту юзерами купить не дают.

если записи реально много что аж журнал не смог сглотнуть пики, то да. придется ещё и ждать пока дурнал просрётся.

если записи реально много что аж журнал не смог сглотнуть пики, то да. придется ещё и ждать пока дурнал просрётся.

но! в цефе настраиваются веса на ОСД. и ты можешь на медленных нодах сделать меньше вес. тогда на них меньше будет идти нагрузка

А сколько надо чисто под ceph? расчёт 1.5гб на 1тб

если не блюстор, который щас нестабилен (проверял)

но! в цефе настраиваются веса на ОСД. и ты можешь на медленных нодах сделать меньше вес. тогда на них меньше будет идти нагрузка

а журнал - то есть ssd на кажды сторадж. правильно понимаю?

на каждую ноду прости

а журнал - то есть ssd на кажды сторадж. правильно понимаю?

есть какое-то хранилище на каждый диск. можно сделать кусочек диска.

а журнал - то есть ssd на кажды сторадж. правильно понимаю?

на каждый комп. но если в компе много дисков, то один ссд на группу магнитных делается

а журнал - то есть ssd на кажды сторадж. правильно понимаю?

1 ssd на каждые 4 диска в ноде

на каждую ноду прости

На каждый осд

1 ssd на каждые 4 диска в ноде

обычно — да. но если магнитные пиздец быстрые, то может и по 3, ой, тоесть наоборот, по 5

1 ssd на каждые 4 диска в ноде

Хрыч отвали - у меня диски по 80ГБ могут быть и по 4 ТБ . а ssd 120.

Хрыч отвали - у меня диски по 80ГБ могут быть и по 4 ТБ . а ssd 120.

?

Хрыч отвали - у меня диски по 80ГБ могут быть и по 4 ТБ . а ssd 120.

размер устройства на журнал не коррелирует с размером osd.

Хрыч отвали - у меня диски по 80ГБ могут быть и по 4 ТБ . а ssd 120.

по ссд — таки норм

главно чтобы скорость у ни была заебца. просто умрут быстрее

обычный размер одного журнала — 5 гигов (по дефолту)

Где вы были, когда я тут полгода назад конкретные вопросы про цэф задавал?

Хрыч отвали - у меня диски по 80ГБ могут быть и по 4 ТБ . а ssd 120.

ну.. 80 гигов — у них совсем говённая скорость

Где вы были, когда я тут полгода назад конкретные вопросы про цэф задавал?

Видимо не там задавал ?

Все молчали и плечами жали

ну.. 80 гигов — у них совсем говённая скорость

Марк я образно

Где вы были, когда я тут полгода назад конкретные вопросы про цэф задавал?

меня здесь не было.

Именно тут

Все молчали и плечами жали

хоть не хлопали плечами)

Марк я образно

я вот каждый диск бенчил. узнал что грин не просто говно, а суперговно

оказывается мне ссд негде протестить, везде сата2 Ж(

оказывается мне ссд негде протестить, везде сата2 Ж(

ну он просто упрётся

оказывается мне ссд негде протестить, везде сата2 Ж(

обычно ssd в сефе не утилизируется полностью в полосу.

и смысл его как журнала не в том, что полоса широкая, а в том, что latency низкая.

ну он просто упрётся

в чо

@socketpair давал тест, есть тоже 850 самсунги и интел 540, протестить как оно будет

и смысл его как журнала не в том, что полоса широкая, а в том, что latency низкая.

Спасибо ! и тебе @socketpair Спасибо)

и смысл его как журнала не в том, что полоса широкая, а в том, что latency низкая.

согласен

в чо

в sata2

в sata2

а. сата 2 именно 2. щас понял

впрочем да, латенси всеравно ниибацца уменьшит

пока ты в это ограничение не попадёшь

плюс на адресацию отрежет. Бляха муха. а я только весь свой хлам раздал)))

от 250 до 2ТБ блеков....

у меня только один 500 Гб. остальные от терабайта и выше

у меня только один 500 Гб. остальные от терабайта и выше

у тебя 6-8-10 нет?

Вот, нашел

ERROR: S client not available

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

это в конфиге прописано. А по факту ктото всеравно лезет в /var/run

точнее - osd

ceph version 10.2.2 (45107e21c568dd033c2f0a3107dec8f0b0e58374)

вопрос 2. http://paste.org.ru/?0z4vlv - кусог лога. Полдня ковыряюсь - не могу понять __куда именно_ не хватает прав у osd.

причем ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph - поднимает демона и живёт, а systemctl start ceph-osd@0.service просит сначала оказать ему какието услуги личного характера

3. Я так и не понял можно ли создать [osd.label] вместо [osd.0]. С одной стороны какбы ошибок не выдает нигде, кроме как ceph osd create $osd_uuid ${osd_id} где osd_id должна быть именно цифра. И причём [mon.label] вроде как вполне себе работает

4. Не совсем понятно с кейрингами. Как это работает вообще? Ключи то только в одном экземпляре прописываются. Ладно бы ключ в osd томе и ключ в etc, совпали - ок. А так как есть - непонятно

вот какраз

правильный это какой? С чем совпасть должен?

Ты не тестил их?

у меня уже ничего) 2 диска по 750. ЛИЧНОЕ зеркало и пара внешних. остальное ssd в буках)

у тебя 6-8-10 нет?

неее. 2 Гб максимум. есть на 1.5

у меня говно и палки

4. Не совсем понятно с кейрингами. Как это работает вообще? Ключи то только в одном экземпляре прописываются. Ладно бы ключ в osd томе и ключ в etc, совпали - ок. А так как есть - непонятно

есть отеты на кучу вопросов. но я съябываю.

всё

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

Отсюда старт...

И сразу все замолчали, что интересно :)

И сразу все замолчали, что интересно :)

Марк ушёл. все остальные тут или не очень готовы отвечать (как я) или спасают мир)

Марк ушёл. все остальные тут или не очень готовы отвечать (как я) или спасают мир)

Истину глаголишь отрок!

?

И сразу все замолчали, что интересно :)

Ты ему в приват вопросы накидай, он ответит.

Или @alsvartr помучай, мб он тебе скажет дельного чего

Вопрос 1. В цефе до сих пор куча захардкоденого? admin socket = /data/ceph/run/$cluster.$type.$id.asok

не знаю. возможною мне не мешало, стараюсь зря не пытаться лезть в хрупкие места.

не знаю. возможною мне не мешало, стараюсь зря не пытаться лезть в хрупкие места.

Ты ж недавно мне вещал что цэф готов и уже крут а как только вопросы, то сразу не знаю?

Ты ему в приват вопросы накидай, он ответит.

ну что ты за человек-то такой

вопрос 2. http://paste.org.ru/?0z4vlv - кусог лога. Полдня ковыряюсь - не могу понять __куда именно_ не хватает прав у osd.

use strace. в известных мне systemd-дистрибутивах есть проблемы с расстановкой прав, лечатся коротким хаком chown -R ceph:ceph $device на все блокдевайсы, которыми пользуется сеф.

use strace. в известных мне systemd-дистрибутивах есть проблемы с расстановкой прав, лечатся коротким хаком chown -R ceph:ceph $device на все блокдевайсы, которыми пользуется сеф.

наркоман ? я удевное правило написал

ну что ты за человек-то такой

Спи, послезавтра тебя попингую :)

use strace. в известных мне systemd-дистрибутивах есть проблемы с расстановкой прав, лечатся коротким хаком chown -R ceph:ceph $device на все блокдевайсы, которыми пользуется сеф.

Ясен пень я при деплое права правил

3. Я так и не понял можно ли создать [osd.label] вместо [osd.0]. С одной стороны какбы ошибок не выдает нигде, кроме как ceph osd create $osd_uuid ${osd_id} где osd_id должна быть именно цифра. И причём [mon.label] вроде как вполне себе работает

есть обоснованное опасение (не подтвержденное чтением исходников и экспериментированием), что это не самая лучшая идея, даже если это и сработает. утилиты много где хотят osd.N, а много где просто N. я не готов ручаться, что везде можно использовать символические имена. не вижу причин не использовать здесь только числа.

наркоман ? я удевное правило написал

а мне было лень и я вставил ExecStartPre