Выяснил, что выключение кэша на винте уменьшает иопсы на нём с 160 до 50
😐мне кажется ceph не для тебя
Anonymous
Anonymous
посмотри что попроще
Anonymous
ты слишком за всё переживаешь
Mark ☢️
ну как тебе сказать
Mark ☢️
я исследую всё
Anonymous
у ceph в доке занижены требования как и у многих подобных продуктов
Mark ☢️
и да, я переживаю, когда цеф отнимает иопсы очень так не хило
Anonymous
конкретнее плиз ?
работа от 3 нод, от 6 дисков, и 2 ссд на каждую ноду, и по 2 гб оперативы mod на каждый тб пространства
Mark ☢️
работа от 3 нод, от 6 дисков, и 2 ссд на каждую ноду, и по 2 гб оперативы mod на каждый тб пространства
у меня 6 дисков, ссд нет и 2 нода
Anonymous
хочешь нормальные тесты, делай как я написал
Anonymous
ceph может и дешевле выйдет с этим по сравнению с аппаратнвми решениями, но это не пилюля для нищебродов
Mark ☢️
мне бы получить с 6 осд иопсы хотябы как на одном диске.
Anonymous
......
Mark ☢️
я просто про эффективность цефа. по ходу, он съедает нихерово так. понять бы на что. блюфс сказали что нет двойной запси
Mark ☢️
дак какого рожна ?
Anonymous
есть реальные требования, без которых тестить глупо, я написал тот минимум, которые делают мои знакомые в redhat при внедрении
Mark ☢️
Mark ☢️
а кстати, на ссд сколько иопсов должно быть ?
Anonymous
6 дисков в каждой ноде, 2 гб оперативы на каждый тб пространства в ноде для mod, 2 ssd под кеш
Mark ☢️
погоди
Mark ☢️
2 ссд под кэш ?
Anonymous
да
Mark ☢️
а не под журнал?
Anonymous
ну мне дэн говорил, что на 6 дисков обязаловка 2 ссд под кеш
Александр
Ахаха
Александр
Кто-то что-то говорил
Александр
ССД под журналы
Александр
Какой кэш
Александр
Ты о чем?
Mark ☢️
объём чего
Александр
Хдд
Mark ☢️
там 150 иопсов
Александр
150 на диск верно?
Mark ☢️
ну типа
Александр
2 ноды по 3*2tb?
Mark ☢️
(и то, сейчас замеряю чтобы конкретно было)
Александр
Ну примерное такое?
Mark ☢️
ну да
Александр
Без ССД иопсы не поднять, возьми 1 ССД под журналы на 128гб
Александр
Больше не надо имхо
Александр
Кстати гибридных хдд нет?
Mark ☢️
нету
Александр
Гибридные снижают общие ио
Александр
Я не знаю почему
Александр
Но разница в рейде допустим есть
Александр
С цеф не потестить
Александр
Впринципе под журналы можно попробовать рам диск
Александр
Если ОЗУ много
Александр
Правда в доке не видел такого варианта
Anonymous
http://docs.ceph.com/docs/jewel/dev/cache-pool/
Mark ☢️
ну и после краша по питанию осд превратятся в тыкву
Anonymous
видимо под это
Mark ☢️
Use a replicated pool as a front-end to service most I/O,
Александр
ну и после краша по питанию осд превратятся в тыкву
Тебе для теста, так какая разница , будут ССД плменяешь
Mark ☢️
нее..я лучше ссд добавлю. они есть в наличии
Mark ☢️
Перевроверил — ST31000524AS
Mark ☢️
80 иопсов.
Mark ☢️
ну не кусок ли говна ?
Михаил
Примерно так и есть для сата диска
Mark ☢️
а нифига
Mark ☢️
я забенчил все диски
Mark ☢️
Mark ☢️
sudo fio --ioengine=libaio --direct=1 --name=test --bs=4096 --iodepth=1 --readwrite=randwrite --filename=/dev/sdX
Mark ☢️
hdparm --direct -t /dev/sdX (Это чтобы получить мегабайты в секунду линейного чтения в оин поток большими кусманами)
Mark ☢️
да. на OCZ Vertext-3 40K iops
Mark ☢️
нормальная методика измерения кароче.
Mark ☢️
для одиночного диска.
Mark ☢️
правда для SSD пришлось глубину очереди увеличивать. по какой-то причине не может оно насытить одну очередь
Polnoch
hdparm --direct -t /dev/sdX (Это чтобы получить мегабайты в секунду линейного чтения в оин поток большими кусманами)
Зачем линейное, нужно же случайное, нет?
Александр
Ему тенденции нужны, разница не большая будет