Jbod пачка дисков а видно как один большой

Это где такой бред

Я думал hba это когда куча дисков

Я думал hba это когда куча дисков

jbod это вообще не к zfs

Это про настройку контроллера

Все у меня каша в голове в общем я от zfs хотел отказоусточивое хранилище и Дики под виртуалки zfs over iscsi

zfs over iscsi - не лучшее решение

zfs не создавался как система работающая по сетям

А как же репликации по сети и снимки по сети

Тогда что посоветуете

Для виртов Gluster или Ceph, а лучше не страдать //// и начать работать с VSAN

Если только одна схд

zfs не создавался как система работающая по сетям

Что?

тогда это iscsi over zfs а не то что вы писали

Я вот про это писал https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI

Мне кажется, что zfs over iscsi это массив zfs доступный по iscsi

TrueNAS как решение слегка в ахуе

Это типа взяли 2 хранилки и натянули костылем Raid1 пос ети

Это типа взяли 2 хранилки и натянули костылем Raid1 пос ети

Короче нет смысла zfs городить поверх адаптек 6405... Truenas просто так диски не видит. Хотя я не пробовал режим hba или jbob

так попробуй

Ну просто думал что люди пробовали. И то что нет прямого доступа к диску насколько плохо это для zfs мне не понятно

lz4 разве может замедлять как-то серьёзно?..

Я вот в непонятках, как бы не ускорить может

sudo modprobe brd rd_nr=1 rd_size=$((4 * 1048576)) cat > fio.conf << EOF [workload] bs=8k ioengine=sync iodepth=1 numjobs=1 direct=1 sync=1 fsync=1 time_based=1 runtime=10 size=100M filename=/testpool/bigfile rw=write thread unified_rw_reporting=1 group_reporting=1 buffer_compress_percentage=20 refill_buffers buffer_pattern=0xdeadbeef EOF sudo ./scripts/zfs.sh -u sudo ./scripts/zfs.sh sudo $ZPOOL create -f -o ashift=12 testpool /dev/ram0 sudo $ZFS set recordsize=8k testpool sudo $ZFS set logbias=throughput testpool sudo $ZFS set compression=lz4 testpool sudo rm /testpool/bigfile -f sudo fio fio.conf sudo $ZPOOL sync sudo $ZFS get compressratio,compress,used stat /testpool/bigfile вот вам живые цифры, как на latency для sync write влияет lz4 (openzfs master 2021.11) # without compression clat (usec): min=42, max=46441, avg=68.93, stdev=194.79 # lz4 clat (usec): min=55, max=43277, avg=78.47, stdev=179.52 # gzip clat (usec): min=204, max=14983, avg=273.33, stdev=120.69 на max можно не смотреть, это ограниченная по ресурсам машина Это если logbias=throughput, если по дефолту =latency, то в zil запись не сжимается и sync latency вообще не аффектится (если cpu хватает чтобы запись в zil и сброс txg не толкались). Конфиг считать набросом на ночь

Кстати сжатие и дедупликация замедляют же фс

если хватает cpu, то многопоток ускоряет. Немного ухудшает латенси однопотока (на hdd можно не заметить разницу и выиграть по латенси даже)

а как сжатие можно подобрать "неправильно" ? имеется ввиду выбор между имеющимися алгоритмами сжатия ?

Взять медленный и надеется на увеличение скорости

а как сжатие можно подобрать "неправильно" ? имеется ввиду выбор между имеющимися алгоритмами сжатия ?

тесты проводите с принудительным sync и выключенным arc

Logbias на тестах менял? Если нет, то принудительный синк ничего не покажет, т.к. По дефолту в zil не жмётся блок (logbias=latency)

не менял, но разница в производительности записи отличается кардинально для выключенного сжатия и к примеру zstd19)

Zstd19 это вырожденный случай жеж

Провёл тесты по записи и чтению файла архива zst весом 70469417 байт Рейтинг по занятому в итоге месту 69344565 zstd-19 69347049 zstd-18 69729189 zstd-17 69735457 zstd-16 69737337 zstd-15 69737357 zstd-14 69737365 zstd-13 69737517 zstd-12 69737617 zstd-11 69737625 zstd-10 69738109 zstd-9 69738605 zstd-8 69738721 zstd-7 69739509 zstd-6 69741601 zstd-5 69798881 zstd-4 69828305 zstd-3 69828305 zstd 69854833 gzip-9 69854861 gzip-8 69854989 gzip-7 69855009 gzip-6 69855009 gzip 69855789 gzip-5 69856233 gzip-4 69861625 gzip-2 69861649 gzip-3 69861825 gzip-1 69908881 zstd-2 70254793 zstd-1 70411513 zstd-fast-5 70411853 zstd-fast-3 70412169 zstd-fast-4 70415865 zstd-fast-2 70416981 zstd-fast-6 70417909 zstd-fast-7 70421749 zstd-fast-1 70425629 zstd-fast-8 70430409 zstd-fast-9 70432369 zstd-fast-10 70443937 lz4 70443937 on 70451341 zstd-fast-20 70465609 lzjb 70468973 zle 70469417 off Рейтинг по затраченному времени на запись off 42m52,591s lzjb 54m35,596s on 55m46,514s zstd 57m26,268s zstd-2 58m1,524s zstd-1 58m19,002s zstd-fast-5 58m46,681s zle 59m19,189s zstd-fast-7 59m29,969s zstd-4 59m34,400s lz4 59m3,552s zstd-fast-9 59m44,365s zstd-fast-6 59m46,327s zstd-fast-10 59m54,887s zstd-3 59m9,722s zstd-fast-1 60m10,091s zstd-5 60m24,332s zstd-7 60m35,410s zstd-fast-4 60m35,803s zstd-fast-2 60m3,669s zstd-fast-3 60m44,054s zstd-fast-8 60m7,061s zstd-8 61m16,249s zstd-fast-20 61m43,443s zstd-6 62m0,480s zstd-9 62m32,201s zstd-12 64m13,074s zstd-11 64m36,001s zstd-10 65m13,987s zstd-14 66m11,084s zstd-13 66m47,642s zstd-15 66m48,722s gzip-1 68m3,745s gzip 69m31,036s gzip-3 70m19,730s gzip-9 71m16,380s gzip-8 71m21,334s gzip-6 71m5,716s gzip-7 72m43,656s gzip-5 72m53,650s gzip-4 72m6,181s gzip-2 72m7,757s zstd-16 82m38,996s zstd-17 83m24,111s zstd-18 103m14,875s zstd-19 115m53,274s Рейтинг по затраченному времени на чтение zstd-11 31m20,703s zstd-9 31m26,809s zstd-12 31m29,109s zstd-16 31m32,805s zstd-14 31m33,501s zstd-13 31m34,906s zstd-8 31m37,349s zstd-17 31m41,680s zstd-fast-5 31m47,315s zle 31m47,848s zstd-15 31m52,844s zstd-10 31m52,866s zstd-fast-6 31m54,389s zstd-fast-1 31m55,383s zstd-6 31m57,974s zstd-fast-10 31m58,787s zstd-fast-8 31m59,045s zstd-fast-3 32m0,722s zstd-5 32m12,699s zstd-19 32m14,234s zstd-4 32m19,743s zstd-fast-9 32m35,355s zstd-fast-7 32m52,879s zstd-7 32m5,578s zstd-fast-4 32m7,277s zstd-fast-2 32m9,098s zstd 33m13,645s zstd-3 33m15,275s gzip-2 33m15,278s lz4 33m17,949s off 33m34,176s gzip-5 33m57,456s gzip-4 33m57,702s gzip-7 33m59,246s zstd-fast-20 33m6,782s on 34m1,173s lzjb 34m22,346s zstd-2 34m30,179s gzip-8 34m3,292s gzip-6 34m37,654s gzip-3 34m42,527s gzip-9 34m46,866s zstd-1 34m5,162s zstd-18 35m12,073s gzip-1 35m33,878s gzip 35m7,637s Тест проводился в HDD пуле с одним vdev mirror из ST2000NM001A-2J2101 с принудительным sync и выключенным arc кешем и ресайзблоком 1мб процессор intel i9-9900KF

On должен быть равен lz4, не малая погрешность видна в этом месте