какого болта?

Выяснил, что выключение кэша на винте уменьшает иопсы на нём с 160 до 50

?мне кажется ceph не для тебя

посмотри что попроще

ты слишком за всё переживаешь

ну как тебе сказать

я исследую всё

у ceph в доке занижены требования как и у многих подобных продуктов

и да, я переживаю, когда цеф отнимает иопсы очень так не хило

посмотри что попроще

например ?

у ceph в доке занижены требования как и у многих подобных продуктов

конкретнее плиз ?

например ?

gluster/scaleio тоже требуют для хорошей работы больше чем написано в доках

конкретнее плиз ?

работа от 3 нод, от 6 дисков, и 2 ссд на каждую ноду, и по 2 гб оперативы mod на каждый тб пространства

работа от 3 нод, от 6 дисков, и 2 ссд на каждую ноду, и по 2 гб оперативы mod на каждый тб пространства

у меня 6 дисков, ссд нет и 2 нода

у меня 6 дисков, ссд нет и 2 нода

отседа и проблемы

хочешь нормальные тесты, делай как я написал

ceph может и дешевле выйдет с этим по сравнению с аппаратнвми решениями, но это не пилюля для нищебродов

мне бы получить с 6 осд иопсы хотябы как на одном диске.

......

я просто про эффективность цефа. по ходу, он съедает нихерово так. понять бы на что. блюфс сказали что нет двойной запси

дак какого рожна ?

есть реальные требования, без которых тестить глупо, я написал тот минимум, которые делают мои знакомые в redhat при внедрении

есть реальные требования, без которых тестить глупо, я написал тот минимум, которые делают мои знакомые в redhat при внедрении

ну окей. обещаю попробовать

а кстати, на ссд сколько иопсов должно быть ?

6 дисков в каждой ноде, 2 гб оперативы на каждый тб пространства в ноде для mod, 2 ssd под кеш

погоди

2 ссд под кэш ?

да

а не под журнал?

ну мне дэн говорил, что на 6 дисков обязаловка 2 ссд под кеш

Ахаха

Кто-то что-то говорил

Ахаха

а тебя ксения вселилась ?

ССД под журналы

Какой кэш

Ты о чем?

мне бы получить с 6 осд иопсы хотябы как на одном диске.

Большой объём?

объём чего

а кстати, на ссд сколько иопсов должно быть ?

Зависит от ссд

Хдд

Зависит от ссд

спасибо капитан

Хдд

2 ТБ

там 150 иопсов

150 на диск верно?

ну типа

2 ноды по 3*2tb?

(и то, сейчас замеряю чтобы конкретно было)

2 ноды по 3*2tb?

нет....диски все разные

Ну примерное такое?

ну да

Без ССД иопсы не поднять, возьми 1 ССД под журналы на 128гб

Больше не надо имхо

Кстати гибридных хдд нет?

нету

Гибридные снижают общие ио

Я не знаю почему

Но разница в рейде допустим есть

С цеф не потестить

Впринципе под журналы можно попробовать рам диск

Если ОЗУ много

Правда в доке не видел такого варианта

http://docs.ceph.com/docs/jewel/dev/cache-pool/

ну и после краша по питанию осд превратятся в тыкву

видимо под это

Use a replicated pool as a front-end to service most I/O,

ну и после краша по питанию осд превратятся в тыкву

Тебе для теста, так какая разница , будут ССД плменяешь

нее..я лучше ссд добавлю. они есть в наличии

Перевроверил — ST31000524AS

80 иопсов.

ну не кусок ли говна ?

Примерно так и есть для сата диска

а нифига

я забенчил все диски

sudo fio --ioengine=libaio --direct=1 --name=test --bs=4096 --iodepth=1 --readwrite=randwrite --filename=/dev/sdX

hdparm --direct -t /dev/sdX (Это чтобы получить мегабайты в секунду линейного чтения в оин поток большими кусманами)

да. на OCZ Vertext-3 40K iops

нормальная методика измерения кароче.

для одиночного диска.

правда для SSD пришлось глубину очереди увеличивать. по какой-то причине не может оно насытить одну очередь

hdparm --direct -t /dev/sdX (Это чтобы получить мегабайты в секунду линейного чтения в оин поток большими кусманами)

Зачем линейное, нужно же случайное, нет?

Ему тенденции нужны, разница не большая будет

MB1000GCWCV

220 IOPS при глубине 1

4...10 ms задержка

ураа!!! assertion failed в OSD

я таки смог

Короче. я специально забенчил все диски отдельно. и в совершенно одинаковых условиях забенчил блюстор и не-блюстор

и что же ви таки думаете ?

Разницы нет

правильно!

а где же то самое устранение двойной записи и весёлые румяные графики ?

@SinTeZoiD есть идеи почему так? (как проверить, что всё произведено правильно) ?