так что только с диском засада :(

когда всё закончу, отпишусь на форуме проксмокса, как оно прошло :)

ты 12ую версию там уже теребонькаешь?

ceph поверх физических дисков

э?

да что ж такое)

версия цеф какая?

hammer

weight 3.640

значение от размера диска не зависит же?

значение от размера диска не зависит же?

коррелирует, но не совпадает

ладно, потом, когда через pve создам - поправлю

в root {} вес хоста = сумме весов дисков, так?

вобщем, не появляется диск в crushmap-е при создании :(

вобщем, не появляется диск в crushmap-е при создании :(

Ну руками добавь. Разницы то)

ну да

видимо, бага в проксмоксе

ceph osd crush add {id-or-name} {weight} [{bucket-type}={bucket-name} ...]

а где мне тут хост указать?

bucket-name=hostXX ?

отбой - host=hostname

так, а теперь самое интересное. proxmox показывает latency apply в 300-400ms на ssd

хотя iostat показывает по нулям

А что с этим не так?

ну как бы нагрузки нет, а 200мс показывает. откуда?

ну как бы нагрузки нет, а 200мс показывает. откуда?

200 ms на SSD как-то добуя

там нули должны быть

Почему нули? Apply latency это же время за которое данные записываются в filestore через syncfs.

Это бесполезная метрика, так то. Ну в смысле для понимания производительности именно OSD. Тут больше вопросов к VFS и самой файловой системе, мне кажется)

Это бесполезная метрика, так то. Ну в смысле для понимания производительности именно OSD. Тут больше вопросов к VFS и самой файловой системе, мне кажется)

Чей то бесполезная?

Для общего понимания производительности диска нормально

т.е. на нагруженном диске оно 1-3 ms

а на не нагруженном - 200-400мс

и это нормально???

кстати, а можно как-нибудь переименовать osd.xx в osd.yy ?

а то подвисло и при создании диска один номер пропустило

а на не нагруженном - 200-400мс

Там точно мс, а не пико какие нибудь?

увы

кстати, а можно как-нибудь переименовать osd.xx в osd.yy ?

Страдай)

Только если сетап по новой удалив файлы из /var/lib/ceph/osd/osd_$num

не, это не прокатило

а вот добавление диска в crush map и удаление его оттуда - прокатило :)

и это нормально???

А вот чо давай. Как время будет, возьми прям с админ сокета данные о производительности. Прям все метрики что можно. Может чо и найдем там.

доберусь - попробую

есть кто трезвый? ) подскажите кто тестил\знает - пилить по одному osd поверх аппаратного raid10 или 4 osd через JBOD? SATA диски

Ответили же в openstack)

Ответили же в openstack)

да, канал другой, может тут и мнение другое) я на всякий случай

есть кто трезвый? ) подскажите кто тестил\знает - пилить по одному osd поверх аппаратного raid10 или 4 osd через JBOD? SATA диски

Дрянная идея, в общем то, делать что-то кроме jbod. Цеф сам разрулит репликацию.

Дрянная идея, в общем то, делать что-то кроме jbod. Цеф сам разрулит репликацию.

да, я хотел кеш заюзать, но не знаю есть ли профит или нет

спасибо, буду jbod тестить

спасибо, буду jbod тестить

Лучше всего вообще IT Режим, мне кажется.

что такое IT? 0_o

что такое IT? 0_o

Instant Target

Instant Target

initiator target вроде)

точно.

(наркоман)

Ну не суть. Режим когда диски в системе видны напрямую, рейд контроллер работает как sata\sas контроллер, без абстракций.

Ну не суть. Режим когда диски в системе видны напрямую, рейд контроллер работает как sata\sas контроллер, без абстракций.

т.е. вообще отказаться от writeback\readahead?

я думал jbod с кэшем то сделать

raid+bbu

т.е. вообще отказаться от writeback\readahead?

Ну я б не пользовался без нужды. В тестах что смотрел с год назад там порой непредсказуемые результаты выходили.

блин, паника))

блин, паника))

Почему?

Почему?

чо делать, чо делать ))

чо делать, чо делать ))

Ну как всегда ж) Надо исходить из того чего хочется.

Ну как всегда ж) Надо исходить из того чего хочется.

ну тут нужно себя перестроить, как-то привык уже к RAID10 с включенным кэшшем, даже без bbu и ибп есть ноды и ничего не случалось

ну тут нужно себя перестроить, как-то привык уже к RAID10 с включенным кэшшем, даже без bbu и ибп есть ноды и ничего не случалось

Так дело и не в потере данных, а в том что RAID контроллер добавляет еще один уровень абстракции. Сложнее анализировать производительность, сложнее отлавливать проблемы с дисками. Ну и, к тому же, удобно когда взял диск, воткнул в другой сервер и OSD запускаешь уже на нем Типа в случае чего всегда можно OSD между хостами перемещать.

А так время рейдов везде где можно прошло уже. Сейчас так вижу что они годятся в основном для серверов БД или для зеркала\страйпа под какую-нибудь специфичную задачу.

А каждый osd ещё и ram поест+ журнал

А каждый osd ещё и ram поест+ журнал

Ну и что?)

А каждый osd ещё и ram поест+ журнал

а так вы потратите больше дисков.

а так вы потратите больше дисков.

Вопрос с тратой места немного в другую сторону же

ну вам виднее, чего у вас много, а чего мало.

Ну и что?)

Я хз, анализирую)

ну вам виднее, чего у вас много, а чего мало.

Чо мне все выкают? Я не такой старый))

потребление памяти OSD зависит в первую очередь от количества PG на этих OSD, а не от количества самих OSD

Чо мне все выкают? Я не такой старый))

(ссылка на шутку про "ты конина блядская")

потребление памяти OSD зависит в первую очередь от количества PG на этих OSD, а не от количества самих OSD

О, этот момент я не знал, спасибо

(ссылка на шутку про "ты конина блядская")

Хз, не знаю её

Вопрос с тратой места немного в другую сторону же

Так не, вопрос делать рейд или нет вообще не стоит. Не делать ни в коем случае. Ceph сам справится и с репликацией и с балансировкой нагрузки.