а есть возможность исключить один из винтов из пула и на нём как на устройстве проверить скорость? для меня тоже необычно видеть что seq read медленнее чем запись

меня это тоже удивило. @gmelikov - такое возможно для ZFS?

ну zfs в принципе всегда (если без кеша) пишет быстрее чтения. Почему конкретные цифры и разница - другой вопрос

prefetch включен?

Это же CoW, чтение всегда рандомно, есть префетч и попытка записывать максимально последовательно, но эта оптимизация работает только в узком отрезке времени (в одном TXG)

Где смотреть?

Где смотреть?

а у вас какая ОСь?

debian

https://github.com/zfsonlinux/zfs/wiki/ZFS-on-Linux-Module-Parameters

debian

ну если не знаешь как смотреть - то видимо префекч включен))

https://github.com/zfsonlinux/zfs/wiki/ZFS-on-Linux-Module-Parameters#zfs_prefetch_disable

debian на который накатил prox все значения по умолчанию, zfs raid10 из админки создавал

по железу lsi9211 it mode backplane 3Gbit

debian на который накатил prox все значения по умолчанию, zfs raid10 из админки создавал

ну потюнить конечно можно, но без ARC чтение всегда медленнее, это норм, смотрите сколько IOPS просто у вас выжимается

вы в IOPS на чтении упираетесь

read: IOPS=101k, BW=394MiB/s (413MB/s)(8192MiB/20806msec)

101K?

8HDD WD GOLD

кеши рам

А тут что? write: IOPS=231k, BW=900MiB/s (944MB/s)(8192MiB/9098msec); 0 zone resets

может линейная

может линейная

ессно)

seqWrite

а рандом

ну на запись вы 4 миррора выжали как есть

125 иопс гарантировано :D

Просто что показывает в fio iops?

с диска

а "k"?

с диска

с пула. С отдельного диска он (fio) iops покажет, если сам диск тестировать.

ну помножить на количество дисков :)

все очень странно )))

https://pastebin.com/qt9jRhQW

fio вам показали совокупную скорость и iops для тома, который вы создали в пуле. Кстати если размер блока увеличите - будет повыше

кстати, а ashift у вас какой при создании пула?

12

https://pastebin.com/qt9jRhQW

ничессе, у меня на 24х блинах медленнее выходило. таки плохой hba из raid-контроллера без возможности перешить в it.

я перепрошил в it

ir тоже умеет диски прокидывать, но там trim работать не будет

ir тоже умеет диски прокидывать, но там trim работать не будет

у тебя массив из hdd сейчас ?

https://pastebin.com/qt9jRhQW

32к - для ВМ, кмк - много наверное будет. Либо попробовал бы сделать vdev special, чтобы записи до 8k на них ложились

У меня debian + proxmox на mdadm ssd raid1 и raid10 из 4WD GOLD 4Tb и 4WD HC310 4Tb Немного солянка из дисков

вот из 8hdd zfs raid10

понял. хороший результат по скорости, кмк.

32к - для ВМ, кмк - много наверное будет. Либо попробовал бы сделать vdev special, чтобы записи до 8k на них ложились

Есть ли смысл пересобрать пул с ashift=13?

а даст ли система пересобрать его так

данных нет

а даст ли система пересобрать его так

сломать и создать заново

у тебя блочные устройства 8к сектор?

будешь в два раза больше секторов читать

4 скорее всего

ну вот, 12 - норм

логично

смартцтл покажет сколько там на самом деле сектор на устройстве

Есть ли смысл пересобрать пул с ashift=13?

я бы в качестве теста проверил бы ashift=13 и volblocksize=8k

я бы в качестве теста проверил бы ashift=13 и volblocksize=8k

13 на hdd не особо смысла вижу, там 99% 4К блок то

Sector Size: 512 bytes logical/physical

это на блинах?

Sector Size: 512 bytes logical/physical

кажется кто-то пиз*ит (диск)

ага. или райд

на hc310

Sector Sizes: 512 bytes logical, 4096 bytes physical

контроллер

во, тут 12 надо

вроде 4к начали на достаточно больших дисках делать только

ну и ссд

сокращает пространство под разметку, увеличивает полезные данные

13 на hdd не особо смысла вижу, там 99% 4К блок то

исключительно из целей любознательности))

будет просадка на рандомном чтении

на hc310

ну даже если на дисках реально 512б блок, то всё равно стоит ashift 12 ставить, чтобы потом было не больно менять

и записи

главное чтобы ashift был не меньше блока физического. Если больше - практически разницы в перформансе нет, только место потеряете и худшее сжатие будет

Sector Size: 512 bytes logical/physical

это так называемые 512е. я так понял что работать с такими дисками лучше с блоком 4к

но они совместимы с ретрожелезом, которое в 4к не умеет

будет просадка на рандомном чтении

вот и будет возможность увидеть в результатах теста. @HellTeacher - можете сделать? Или это долго?

Да, могу сделать

wipefs -af /dev/sd[a-h] )))

с ashift=13 делаю, верно?

для теста

@sgolod а где volblocksize указывать?

The default block size for volumes is 8 KB в google пишут