Так это железо нужно смотреть. Смотри на предмет совместимости с SED

а зачем mdadm ?

Чтобы его зашифровать луксом

Посмотри sedutil-cli

zfs тоже можно луксом зашифровать без мдадма

Но у нас это реализовано иначе, но с sedutil вроде тоже получалось что-то.

А у вас как?

Посмотри sedutil-cli

Спасибо за интересные тесты👍 Моё мнение: пусть зфс и показала результаты скорости ниже, так ведь и не критически ниже? Плюс уверен можно ещё и подтюнить И в любом случае скорости это не единственный важный аспект. Скажем снапшоты это же киллер-фича. Особенно в вашем кейсе. Они могут создаваться автоматически и в большом количестве, хоть тысячами При этом у вас в каталоге будет подкаталог .zfs, в котором будут доступны единовременно все файлы со всех снапшотов, как на ладони. Круто же! Шифровальщики и криворукие юзеры больше не страшны. Любой файл можно моментально восстановить, а накладные расходы совершенно минимальны. А ещё сжатие на лету, это тоже очень красивое

И всё же интересно куда уходят иопсы при шифровании

zfs тормоз. мощная, функциональная. но тормоз

Абсолютно нет!🧐 Можно чутка подтюнить, и будет не хуже ext4 По крайней мере на сата- и сас-девайсах. Вот с нвме да, есть пока проблемки. Ждём 3.0

Абсолютно нет!🧐 Можно чутка подтюнить, и будет не хуже ext4 По крайней мере на сата- и сас-девайсах. Вот с нвме да, есть пока проблемки. Ждём 3.0

А что по загрузке проца? Может в него всё упирается?

Я с ZFS на NVME играюсь тоже. Делал тоже статистику недавно.

Спасибо. Ну выглядит неплохо для зфс-то, а есть тест этих же дисков интел, но собранных авагой в рейд5 ? Было бы интересно взглянуть и сравнить! И ещё вопрос. Рекордсайз зфс вы подгоняли под размера блока в задании? Или оставляли всегда дефолтный?

Это один файл или много тестятся? На мете файлов шифрование не даёт максимально эффективно хранить

Нет, упирается именно в иопсы

Ой, это у нас тут смешались два разговора Скриншоты тестов от @vfonov не связаны с очередной занимательной головомойкой у @underflow17 ))

Абсолютно нет!🧐 Можно чутка подтюнить, и будет не хуже ext4 По крайней мере на сата- и сас-девайсах. Вот с нвме да, есть пока проблемки. Ждём 3.0

Нет, упирается именно в иопсы

Я всегда понимал айопсы как именно результирующий показатель совместной работы железна и софта. Если какой из компонентов системы плохо работает, то количество айопсов падает... Вот ты мне скажи по простому, чтоб даже я понял😔 - у тебя скорости чтения/записи в зашиированный датасет хуже чем в нешифрованный?

Вот сюда писал

ну в принципе согласен, если напрячься и затюнить екст4 то он может тупить так же как зфс) зы: подтюнить это отключить синки, кинуть сто тыщ терабайт озу?

кстати, вот разбор размера меты per file https://github.com/openzfs/zfs/issues/8771#issuecomment-495811601

Так, харош! Спать уже хочется Хотя ладно. Подтюнить это например подобрать рекордсайз под нагрузку. А ext4 может так интересно?🤔

ок,

Так, харош! Спать уже хочется Хотя ладно. Подтюнить это например подобрать рекордсайз под нагрузку. А ext4 может так интересно?🤔

Это что вообще

Вот тут как раз пример про нативное шифрование, больше блоков = больше иопс

кешей дофига, а всего 15 мб чтения и диски пригружены :(

Так, дай подумоть Но 15 мб чтения это же не максимальный, а просто текущий показатель? Ты тестил с фио на что в принципе способен этот пул? Локально и через нфс. Уверен, это точно не 15 мб)

это за последние 5 секунд :(

ну учти, что это с отключенным синком. и кучей ссд в кеше (я кстати, на них так ни разу нагрузки и не видел :(

Синк отключен на уровне и зфс, и нфс?

Так может ВМке больше и не надо?

Спасибо. Ну выглядит неплохо для зфс-то, а есть тест этих же дисков интел, но собранных авагой в рейд5 ? Было бы интересно взглянуть и сравнить! И ещё вопрос. Рекордсайз зфс вы подгоняли под размера блока в задании? Или оставляли всегда дефолтный?

Иопсы не просели!

ну аппаратное шифрование видимо, либо недостаточно нагрузили

Проблема была в том что zfs по непонятной и неочевидной мне причине во время шифрования использует в 4 раза операций записи чем без шифрования!

И это (внимание!) при sync=disabled 😨

zfs -V ?

Вы сравниваете холодное и мокрое , как можно сравнивать 3108 +ssd и zfs на nvme

товарищи вопрос из разряда TL4G: как лучше обращаться к scsi устройствам, через /dev/sgXX или есть другие варианты?

товарищи вопрос из разряда TL4G: как лучше обращаться к scsi устройствам, через /dev/sgXX или есть другие варианты?