Кстати, стыдно чот. leveldb для файлстора используется. В журнале свои структуры метаданных. Ну, в общем суть не изменилась, но чувствую что исправиться нужно было)

собственно из-за этого и появился на свет блюстор

ну нет же. он это не выпрямляет никак

более того, я уверен у него с этим ещё хуже.

но он выигрывает изза других фич

да я не про выпряемление, Марк. Это то что сам POSIX слишком тяжел для понимания

выпрямление записи данных исключительно зависит от размера кэша, как на клиенте, так и на самом osd

но кэши не резиновые )

проблема фундаментальная что последовательные блоки с точки зрения юзера в осд будут нифига не последовательные

но это на всем скоро будет пофигу потому что SSD-only

кхм, а никто не поднимал _второй кластер ceph на проксмоксе в дополнение к имеющемуся?

т.е. есть хочется добавить ssd-only osd к имеющемуся и создать пул (или несколько) на них

т.е. есть хочется добавить ssd-only osd к имеющемуся и создать пул (или несколько) на них

так создай. Зачем второй кластер? Такие вещи через crush карты разруливать нужно.

хотел быстро ... :)

а-ля два volume group в lvm-е ...

crush map как раз быстрее будет

а-ля два volume group в lvm-е ...

Ну да, там ничего сложно нет, так то.

главное, не порушить текущий пул

https://www.sebastien-han.fr/blog/2014/08/25/ceph-mix-sata-and-ssd-within-the-same-box/

https://www.sebastien-han.fr/blog/2014/08/25/ceph-mix-sata-and-ssd-within-the-same-box/

Ага. Для свежих версий есть классы OSD. Вот тут про это пишется) http://docs.ceph.com/docs/master/rados/operations/crush-map/

Ага. Для свежих версий есть классы OSD. Вот тут про это пишется) http://docs.ceph.com/docs/master/rados/operations/crush-map/

Но эт только в jewel, наверное)

да я уже посмотрел Сеню

осталось только понять, как корректно изменить crushmap: сначала default заменить на ssd-1 для текущей конфигурации - вроде ясно

Вообще удобно с классами, не знала, делала как в статье в разделе IV, текущий кластер не пострадал, полет нормальный)

а вот дальше - сначала добавить rule and root для нового пула или сначала диски добавить/инициализировать?

Inna, раздел 4 в http://docs.ceph.com/docs/master/rados/operations/crush-map/ ?

Нет, у Хана

однако очень удивительно и приятно видеть девушку в наших "краях" 😁

Сначала добавила все osd, потом в карте переставила как надо, создала второй ruleset. Когда всё готово, применила этот рулсет для нужных пулов, как-то так

Сначала добавила все osd, потом в карте переставила как надо, создала второй ruleset. Когда всё готово, применила этот рулсет для нужных пулов, как-то так

Да, как-то так) 1. Добавляешь контейнер\контейнеры для ssd 2. Прописываешь ssd в контейнеры 3. Пишешь правило по-которому выбираться должны только ssd 4. Применяешь правило к существующему пулу или указываешь при создании нового.

Проще всего, наверное, прям брать твою карту, декомпилировать, править, компилировать снова и обратно запихивать.

обязательно отрубить автоматический анонс осд в крашмап!

иначе будет очень весело

да-да

меня только вот какой момент смущает

osd crush update on start = false

если сейчас добавить новые диски в текущую конфигурацию - начнётся rebalance

нет же

разве что диски не активировать

сначала рубите автоматический анонс

а потом уже лезете в крашмап ручищами

нет

я не про это

разве что диски не активировать

Ну и не активируй. Сначала запихни их сразу в нужные контейнеры в карте, а потом активируй.

С весом 0 добавить, потом постепенно ревейтить

без автоанонса диски не добавятся, ребаланса не будет

стоит proxmox+ceph

С весом 0 добавить, потом постепенно ревейтить

так даже лучше.

новые ноды уже добавлены

но диски на них ещё не инициализированы

ceph osd tree что говорит?

вопрос в том (или-или): - сначала добавить диски (инициализировать) но в состоянии off и пусть добавит в существующий crushmap - изменить crushmap и сразу прописать два пула

ща

https://pastebin.com/BApUiZsY

ну так вот, первым делом надо все равно автоанонс потушить

вопрос в том (или-или): - сначала добавить диски (инициализировать) но в состоянии off и пусть добавит в существующий crushmap - изменить crushmap и сразу прописать два пула

Да без разницы. ВСе равно что размышлять зад помыть сначала или голову)

потому что иначе оно может начать весело скачать

и да, после отключения анонса - рестартовать кого, ceph-osd?

да

тут таким вот матюком примерно ceph-deploy —overwrite-conf config push mon osd{1,2,3,4,5,6,7,8,9,10}

это он конфиг разольет

а сам рестарт - просто пройти и передернуть ceph-osd

по одному передернуть

и смотреть в osd-tee

ну, конфиг там один на все ноды через lxcfs

так-что пушить не придётся

уточню ещё раз, на всякий случай

после osd crush update on start = false

если я добавляю новые диски в кластер, то они автоматом не попадают в имеющийся пул?

+ обновляется ли crushmap при этом?

pveceph createosd создала диск на хосте, запустила, но в crushmap он не появился - кто виноват? добавить вручную в crushmap?

ясное дело, что не появился, после osd crush update on start = false не будет появляться

теперь все надо добавить руками

device добавить, и хосты добавить

pveceph createosd создала диск на хосте, запустила, но в crushmap он не появился - кто виноват? добавить вручную в crushmap?

Ой, а там чо, своя дрянь какая-то есть?

pveceph -_-

да

ээээ

ceph поверх LVM?

да

НА ПЕРЛЕ НЕБОСЬ НАПИСАНА

хосты добавились через ceph osd crush add-bucket