Если вдруг у кого-то есть, чего добавить - давайте добавим.

смысла нет, наверное. большого выигрыша не будет, так как с физикой не поспоришь - скорость записи так и так будет ограничена пропускной способностью блинов. разве что отзывчивость будет может чуть получше, но в случае записи больших файлов не сильно сыграет.

watch arc_summary -s l2arc

добрый. А попробуй еще этот параметр xattr=sa

жж и насколько?

к вопросу насколько lz4 эффективно игнорит уже сжатое $ ./lzbench -t16,16 -elz4 ~/Downloads/silesia.zip lzbench 1.8 (64-bit Linux) AMD Ryzen 7 5800U with Radeon Graphics Assembled by P.Skibinski Compressor name Compress. Decompress. Compr. size Ratio Filename memcpy 17489 MB/s 17323 MB/s 67633896 100.00 /home/gmelikov/Downloads/silesia.zip lz4 1.9.3 15676 MB/s 16672 MB/s 67899128 100.39 /home/gmelikov/Downloads/silesia.zip done... (cIters=1 dIters=1 cTime=16.0 dTime=16.0 chunkSize=1706MB cSpeed=0MB)

Для сравнения ryzen 3600 с RAM 2400MHZ https://zfsonlinux.topicbox.com/groups/zfs-discuss/T228f2ac87c8f6d0f-M2d40a19086fa20432de23e4e Compressor name Compress. Decompress. Compr. size Ratio Filename memcpy 13184 MB/s 13398 MB/s 211947520 100.00 /tmp/tmpfs/silesia.tar lz4 1.9.2 668 MB/s 4144 MB/s 100880800 47.60 /tmp/tmpfs/silesia.tar done... (cIters=1 dIters=1 cTime=16.0 dTime=16.0 chunkSize=1706MB cSpeed=0MB)

к вопросу насколько lz4 эффективно игнорит уже сжатое $ ./lzbench -t16,16 -elz4 ~/Downloads/silesia.zip lzbench 1.8 (64-bit Linux) AMD Ryzen 7 5800U with Radeon Graphics Assembled by P.Skibinski Compressor name Compress. Decompress. Compr. size Ratio Filename memcpy 17489 MB/s 17323 MB/s 67633896 100.00 /home/gmelikov/Downloads/silesia.zip lz4 1.9.3 15676 MB/s 16672 MB/s 67899128 100.39 /home/gmelikov/Downloads/silesia.zip done... (cIters=1 dIters=1 cTime=16.0 dTime=16.0 chunkSize=1706MB cSpeed=0MB)

Ребята, всем привет. Подскажите убогому, пожалуйста. Если на пуле/датасете поменять тип сжатия и передобавить l2arc, он будет сжиматься новым способом или от сжатия пула/датасета сжатие l2arc не зависит?

новые данные будут использовать новый тип сжатия, старые так и будут лежать как лежали

Привет. А напомните плиз, как глянуть насколько сжат файл на ZFS-е? То есть сколько реально allocated bytes.

Без и с --apparent-size

барабанная дробь - он по дефолту включен

Добрый день, прошу прощения , какие то вещи перечитываю по новой, верно ли я понял , что мне ничего не надо доп подкручивать для этого ? Даже по freenas 11, что я использую, это уже работает ? Благодарю 👋

правильно

Коллеги, вопрос: RAID-Z из четырёх HDD по 16 ТБ - это плохая идея, да?

Коллеги, вопрос: RAID-Z из четырёх HDD по 16 ТБ - это плохая идея, да?

Почему? А есть другие варианты (ну кроме 10-го, он все же лучше но потеря 50% емкости)?

да вот боюсь, что для больших HDD всё-таки нет вариантов кроме 10 - по причинам, которые озвучил выше Владислав. Только я думаю, восстановление там даже не двое суток окажется, а больше. Но сэкономить 16 ТБ чёт ужас как хочется, сервер в данном случае домашний, и вот хочу, чтобы отговорили что ли)

да вот боюсь, что для больших HDD всё-таки нет вариантов кроме 10 - по причинам, которые озвучил выше Владислав. Только я думаю, восстановление там даже не двое суток окажется, а больше. Но сэкономить 16 ТБ чёт ужас как хочется, сервер в данном случае домашний, и вот хочу, чтобы отговорили что ли)

Попробуйте draid. Я еще в работе не пробовал, самому интересно. А Вам под какие нужды? Файлопомойка для фото, видео, просто данных?

А staid уже во всю используют ?

Уточните, не понял.

И если у Вас там чисто винты, я бы попробовал пару мелких ссд как лог прикрутить, мне на raidz реально дает преимущество.

Draid - описка ))

В каких задачах помогло ?

ну я не использую, у меня zfs2 пока в продакшине не было, а сейчас железа нет тестить, но вот народ подсказывал что надо уже переходить =) вот я тут ищу подопытного что бы вместо меня внедрил =)

сильно бустануло когда я zfs раздавал через nfs

Не знаете, какая версия фри нас например его умеет ? Я б потестил)

без понятия, я не использую, можно глянуть у них в релизе

Вы имеет ввиду кэш тогда на чтение , да ?

нет, кеш для чтения это ARC, ну или L2ARC (но последний ИМХО он бесполезен, а иногда вреден, поэтому я перестал его использовать)

Да, точно, спасибо

Попробуйте draid. Я еще в работе не пробовал, самому интересно. А Вам под какие нужды? Файлопомойка для фото, видео, просто данных?

Ну вы ваши диски как l2 поставили же ?🤔

да, файлопомойка, но там будут датасеты и с важными данными, в частности моих пет-проектов. Высокий перформанс при этом не нужен, пока по крайней мере. У меня уже есть NVME-пул, и всё что требует айопсов храню там. На работе юзаем только зеркала, но то работа, а вот дома зудит сэкномить) Насчёт draid - я тоже ни разу не пробовал, но вообще интересно) Пожалуй, погоняю его)

Опять не понял, поясню, я из дисков собрал raidz2, и прицепил к ним zil/slog на паре небольших ссд, а ARC ограничил конфигурацией, что бы он не скушал половину оперативки, все. Могу команду поискать, если Вам так будет понятнее. Но я делаю все через консоль. У меня нет веб-морды как во фринас/трунас.

То бишь вы arc насильно пересадили на ssd? Да мне вроде оперативы не жалко ))

Вы не поняли, ARC нельзя никуда пересадить, он всегда в оперативной памяти формируется и кеширует самые "горячие" данные для ускорения чтения. Если Вы не можете позволить себе большой ARC в ОЗУ, ВЫ можете на очень быстром носителе (например nvme) добавить к ARC L2ARC, туда система поместит все что не влезло в ARC.

Это как раз я знаю,… я все равно этот ssd nvme добавил

А SLOG это пространство, обычно на отдельном носителе который гораздо быстрее основных носителей из которых собран пул (опять же ssd например если пул собран из обычных дисков, или nvme если пул собран из сата ссд) куда пишутся транзакции при синхронной записи

Не знаете, какая версия фри нас например его умеет ? Я б потестил)

Смотрю у ixsystem есть и трунас и фринас, это что у них теперь разные продукты? Сто лет не заглядывал на их сайт.

с какого-то момента они переименовались из бесплатного\свободного-наса в настоящий-нас) Чтобы это значило) У них ещё есть Трунас Скейл - на базе Линя, а не Фряхи. Перспективный, но говорят сырой

draid parity - The parity level (1-3). Defaults to one.

да вот боюсь, что для больших HDD всё-таки нет вариантов кроме 10 - по причинам, которые озвучил выше Владислав. Только я думаю, восстановление там даже не двое суток окажется, а больше. Но сэкономить 16 ТБ чёт ужас как хочется, сервер в данном случае домашний, и вот хочу, чтобы отговорили что ли)

да вот боюсь, что для больших HDD всё-таки нет вариантов кроме 10 - по причинам, которые озвучил выше Владислав. Только я думаю, восстановление там даже не двое суток окажется, а больше. Но сэкономить 16 ТБ чёт ужас как хочется, сервер в данном случае домашний, и вот хочу, чтобы отговорили что ли)

зато смерть 2 дисков может не пережить

Не сцы, тыщу раз так делали © 🙈. У меня крутится RAID-Z на 4 8тб SMR. Если есть бекап, то можно спокойно использовать. Ну или если данные не ценные.

ну ты экстремал) Нет, даже экстремист! 8ТБ и SMR - сколько оно ребилдится будет-то) Но вообще мысль понял.

Да нормально. Я уже тестировал. Где-то здесь выкладывал результаты ребилда. По данным, там ничего важного, промежуточные бекапы и торрентокачалка. Потеряются данные, не беда.

ух ты, то есть даже на SMR ребилд успешно завершился? Это SMR-диски от WD ? И сколько пог времени ребилд длился примерно, не помнишь? И насколько был заполнен пул в процентах?

Сутки где-то, Seagate Archive. 40% где-то

спасибо! Ценно. Я читал кстати на Реддите, что не все SMR равны. Только у ВД он такой кривой, что ребилд, точнее ресилвер, отваливается по тайм-ауту. А у Сигейта и Тошибы всё ровно, хоть и медленнее нормального CMR

root@storage:/test# fio --filename=test --sync=1 --rw=randwrite --bs=4k --numjobs=20 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=300 && rm test test: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=4 ... fio-3.1 Starting 20 processes Jobs: 20 (f=20): [w(20)][98.3%][r=0KiB/s,w=80KiB/s][r=0,w=20 IOPS][eta 00m:05s] Jobs: 20 (f=20): [w(20)][100.0%][r=0KiB/s,w=160KiB/s][r=0,w=40 IOPS][eta 00m:00s] test: (groupid=0, jobs=20): err= 0: pid=17550: Mon Sep 21 10:38:16 2020 write: IOPS=265, BW=1062KiB/s (1088kB/s)(311MiB/300080msec) clat (msec): min=12, max=1981, avg=75.30, stdev=205.76 lat (msec): min=12, max=1981, avg=75.30, stdev=205.76 clat percentiles (msec): | 1.00th=[ 14], 5.00th=[ 15], 10.00th=[ 15], 20.00th=[ 15], | 30.00th=[ 15], 40.00th=[ 16], 50.00th=[ 23], 60.00th=[ 29], | 70.00th=[ 31], 80.00th=[ 42], 90.00th=[ 65], 95.00th=[ 435], | 99.00th=[ 1083], 99.50th=[ 1250], 99.90th=[ 1687], 99.95th=[ 1737], | 99.99th=[ 1989] bw ( KiB/s): min= 7, max= 281, per=6.83%, avg=72.53, stdev=78.85, samples=8785 iops : min= 1, max= 70, avg=18.11, stdev=19.71, samples=8785 lat (msec) : 20=49.09%, 50=35.15%, 100=9.09%, 250=0.20%, 500=2.36% lat (msec) : 750=0.50%, 1000=2.06%, 2000=1.56% cpu : usr=0.03%, sys=0.28%, ctx=166562, majf=0, minf=187 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued rwt: total=0,79687,0, short=0,0,0, dropped=0,0,0 latency : target=0, window=0, percentile=100.00%, depth=4 Run status group 0 (all jobs): WRITE: bw=1062KiB/s (1088kB/s), 1062KiB/s-1062KiB/s (1088kB/s-1088kB/s), io=311MiB (326MB), run=300080-300080msec

root@storage:/test# fio --filename=test --sync=1 --rw=randwrite --bs=4k --numjobs=20 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=300 && rm test test: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=4 ... fio-3.1 Starting 20 processes Jobs: 20 (f=20): [w(20)][98.3%][r=0KiB/s,w=80KiB/s][r=0,w=20 IOPS][eta 00m:05s] Jobs: 20 (f=20): [w(20)][100.0%][r=0KiB/s,w=160KiB/s][r=0,w=40 IOPS][eta 00m:00s] test: (groupid=0, jobs=20): err= 0: pid=17550: Mon Sep 21 10:38:16 2020 write: IOPS=265, BW=1062KiB/s (1088kB/s)(311MiB/300080msec) clat (msec): min=12, max=1981, avg=75.30, stdev=205.76 lat (msec): min=12, max=1981, avg=75.30, stdev=205.76 clat percentiles (msec): | 1.00th=[ 14], 5.00th=[ 15], 10.00th=[ 15], 20.00th=[ 15], | 30.00th=[ 15], 40.00th=[ 16], 50.00th=[ 23], 60.00th=[ 29], | 70.00th=[ 31], 80.00th=[ 42], 90.00th=[ 65], 95.00th=[ 435], | 99.00th=[ 1083], 99.50th=[ 1250], 99.90th=[ 1687], 99.95th=[ 1737], | 99.99th=[ 1989] bw ( KiB/s): min= 7, max= 281, per=6.83%, avg=72.53, stdev=78.85, samples=8785 iops : min= 1, max= 70, avg=18.11, stdev=19.71, samples=8785 lat (msec) : 20=49.09%, 50=35.15%, 100=9.09%, 250=0.20%, 500=2.36% lat (msec) : 750=0.50%, 1000=2.06%, 2000=1.56% cpu : usr=0.03%, sys=0.28%, ctx=166562, majf=0, minf=187 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued rwt: total=0,79687,0, short=0,0,0, dropped=0,0,0 latency : target=0, window=0, percentile=100.00%, depth=4 Run status group 0 (all jobs): WRITE: bw=1062KiB/s (1088kB/s), 1062KiB/s-1062KiB/s (1088kB/s-1088kB/s), io=311MiB (326MB), run=300080-300080msec

Спасибо, а вот мой результат этого же на зеркале из четырёх CMR Тошиб по 12ТБ: fio --filename=test --sync=1 --rw=randwrite --bs=4k --numjobs=20 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=300 && rm test test: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=4 ... fio-3.12 Starting 20 processes test: Laying out IO file (1 file / 1024MiB) Jobs: 20 (f=20): [w(20)][100.0%][w=2800KiB/s][w=700 IOPS][eta 00m:00s] test: (groupid=0, jobs=20): err= 0: pid=22221: Wed Jun 15 13:18:01 2022 write: IOPS=580, BW=2320KiB/s (2376kB/s)(680MiB/300007msec); 0 zone resets clat (msec): min=4, max=245, avg=34.47, stdev=15.48 lat (msec): min=4, max=245, avg=34.47, stdev=15.48 clat percentiles (msec): | 1.00th=[ 24], 5.00th=[ 26], 10.00th=[ 27], 20.00th=[ 28], | 30.00th=[ 28], 40.00th=[ 29], 50.00th=[ 30], 60.00th=[ 31], | 70.00th=[ 32], 80.00th=[ 38], 90.00th=[ 48], 95.00th=[ 60], | 99.00th=[ 108], 99.50th=[ 130], 99.90th=[ 157], 99.95th=[ 169], | 99.99th=[ 239] bw ( KiB/s): min= 31, max= 152, per=5.00%, avg=115.94, stdev=29.33, samples=12000 iops : min= 7, max= 38, avg=28.94, stdev= 7.32, samples=12000 lat (msec) : 10=0.09%, 20=0.03%, 50=91.97%, 100=6.56%, 250=1.35% cpu : usr=0.04%, sys=0.26%, ctx=349621, majf=17, minf=370 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued rwts: total=0,174027,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=4 Run status group 0 (all jobs): WRITE: bw=2320KiB/s (2376kB/s), 2320KiB/s-2320KiB/s (2376kB/s-2376kB/s), io=680MiB (713MB), run=300007-300007msec

А зеркало жеж а не raidz