Ceph+zfs делают. Но делают это очень странные люди, готовые сами сопровождать ядро и патчить ceph.
Единственный вариант, для чего osd можно сажать на zfs - проверка CRC блоков при чтении.
у тебя странное представление, например, если у тебя 1-2 сервера где то, то лучшим решением будет kvm+lvm block под виртуалки, это будет значителньо лучше, чем mdraid 10 и ext4 например