ты понь

Не мешает быть Царём-Эникеем

а насколько плохо юзать опенстек без raid 1?

в доке указано что рекомендед Raid1

пахнет импортозамещением

Там Ceph под капотом

А вы имеете отношение?

Я догадываюсь :)

@socketpair а ты fio мерил с помощью ioengine=rbd ?

да, разумеется

а что у вас в качестве дисков используется? у нас были определенные сложности с миграцией при использовании sheepdog в качестве блочных устройств

есть у меня подозрение, что она кривая и глючная

я беру блок девайс, указываю его в fio получаю 4к iops создаю блок девайс с теми же параметрами, подключаю его в виртуалку опенстека и получаю 12к иопс

вотэто поворот. а не свзяано ли это с обработкой sync ?

поэтому, раз у тебя более 10К иопсов, значит что-то шло параллельно или смерджилось. а значит режима синканья после каждого блока не было.

с fio соответственно тоже самое, пока имидж не залит полностью, процентов 10-20 при записи льется в тиер, остальное в основной

в документации по ceph или fio ? по fio где-то видел рекомендацию перезаписывать нулями перед тестом, но раньше с этим не замечал проблем, вернее замечал конечно с thin дисками, но там логика процесса была вполне ясна если речь о ceph, то я пока не нашел или имеется в виду это? RBD with replicated cache and erasure-coded base: This is a common request, but usually does not perform well. Even reasonably skewed workloads still send some small writes to cold objects, and because small writes are not yet supported by the erasure-coded pool, entire (usually 4 MB) objects must be migrated into the cache in order to satisfy a small (often 4 KB) write. Only a handful of users have successfully deployed this configuration, and it only works for them because their data is extremely cold (backups) and they are not in any way sensitive to performance. RBD with replicated cache and base: RBD with a replicated base tier does better than when the base is erasure coded, but it is still highly dependent on the amount of skew in the workload, and very difficult to validate. The user will need to have a good understanding of their workload and will need to tune the cache tiering parameters carefully.

А мне кажется, всё дело в комбинации —sync и —fsync

поэтому предварительное прописывание образа перед бенчмарком имеет реальный смысел