может, очень слабый проц?

Но всё-таки, какую полосу на запись можно выжать из 24 дисков? И в какой конфигурации?

теоретически, райд0, линейный, в идеальных условиях - помножить то, что указано в их спецификации, на 24. в случае с зфс - будет чуть медленнее из-за накладных расходов. в реальных условиях скорость будет ниже этого числа.

в два раза меньше

а нужен ли в таком кейсе зфс?

на запись zfs как раз может даже делать другие решения, если учесть фрагментацию и рандомную запись

Иопсы не очень интересно, понятно, что из этих дисков много не выжать. Там бэкап будет лежать, мне гораздо интереснее полоса при последовательной записи. Один диск выдает где-то 180МБ\с, а в zfs 12 mirror vdev почему-то 122

один поток на синхронном доступе только 1 vdev может юзать, т.е. 1 mirror Если убедиться что запись асинхронная, тогда можно выжать хорошо (если озу на dirty write есть)

Даже на один mirror должно быть порядка 200МБ/с

Даже на один mirror должно быть порядка 200МБ/с

нет, там nlsas должны быть

стоит учитывать неравномерность скорости в зависимости от положения сектора на блине, средняя меньше у всех хдд

На 40%?

nlsas это обычный хдд только с другим интерфейсом.

Так я вроде никаких рекордов от них и не требую

значит никаких 200мб/с получиться не может даже в теории

Одиночный диск вполне себе может, а в пуле - нет?

WRITE: bw=225MiB/s (236MB/s), 225MiB/s-225MiB/s (236MB/s-236MB/s), io=13.3GiB (14.2GB), run=60274-60274msec

один поток на синхронном доступе только 1 vdev может юзать, т.е. 1 mirror Если убедиться что запись асинхронная, тогда можно выжать хорошо (если озу на dirty write есть)

попробуйте сделать партицию в конце диска и там потестить, получите быстро результат. Это уже немного сбоку вашего вопроса, но всё же

Один поток fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --size=100G --rw=write WRITE: bw=126MiB/s (132MB/s), 126MiB/s-126MiB/s (132MB/s-132MB/s), io=7824MiB (8204MB), run=62222-62222msec 4 потока fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --numjobs=4 --size=100G --rw=write WRITE: bw=239MiB/s (251MB/s), 58.5MiB/s-62.1MiB/s (61.3MB/s-65.1MB/s), io=15.1GiB (16.2GB), run=64390-64503msec 8 потоков fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --numjobs=8 --size=100G --rw=write WRITE: bw=297MiB/s (311MB/s), 31.2MiB/s-56.1MiB/s (32.7MB/s-58.8MB/s), io=22.6GiB (24.3GB), run=68795-78022msec

кстати рекомендовал бы с меньшим блоком тестить, в реальности запись всегда меньшим блоком будет, 1M достаточно чтобы имитировать поточку, а бОльшее уже будет доп задержки давать в самом тесте и быстро съедает буферы

директ бессмысленен кстати, zfs сейчас его игнорит, иногда с потерей перфа

Всем привет, прошу подсказать как правильно сделать, есть пул raidz5 . На пуле есть файловая система и том. когда я делаю снапшот файловой системы то я могу его увидеть по пути .zfs/snapshot/, с томом так не получается и даже если я на томе создам файловую систему и примонтирую его там не окажется скрытого каталога .zfs. Не подскажете есть ли какойто способ посмотреть на снапшот не создавая клона.

raid в лвм ещё хуже производительность показывает

Один поток fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --size=100G --rw=write WRITE: bw=126MiB/s (132MB/s), 126MiB/s-126MiB/s (132MB/s-132MB/s), io=7824MiB (8204MB), run=62222-62222msec 4 потока fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --numjobs=4 --size=100G --rw=write WRITE: bw=239MiB/s (251MB/s), 58.5MiB/s-62.1MiB/s (61.3MB/s-65.1MB/s), io=15.1GiB (16.2GB), run=64390-64503msec 8 потоков fio --ioengine=libaio --direct=1 --invalidate=1 --name=test --bs=4M --iodepth=32 --numjobs=8 --size=100G --rw=write WRITE: bw=297MiB/s (311MB/s), 31.2MiB/s-56.1MiB/s (32.7MB/s-58.8MB/s), io=22.6GiB (24.3GB), run=68795-78022msec

Так я вроде никаких рекордов от них и не требую

Да и не вижу я на нем нагрузки

Тогда явно что-то не то делаешь

Плюс, вот сейчас про скорость записи, а восстановление из инкремента не важно да?

Блок на 4МБ? Это какой такой СРК пишет таким блоком? Что ты тестируешь? Сферического коня в вакууме? Если хочешь красивых циферок bs=4MB, iodepth=128 numjobs=64

Про 1 диск быстрее чем рейд (5/6) из дисков - no shit, Sherlock. Рейд без динамического страйпа так устроен, что все диски будут ждать самого медленного. Собирай либо 10-й из 24 дисков, либо 50/60 Ну и да, zfs не про скорость, а про сохранность данных и фичи (снапшоты, zfs send|recv, arc кэш, сжатие)

Я не тестирую, я сравниваю. Размеры блока я менял, разницы никакой

Именно так, осталось понять, что именно

Важно, ещё как. Но для начала надо бы в окно бэкапа попасть, а с такой скоростью записи не получится

Сравнивать в сферическом вакууме затея ахуенная

Начинать с чего-то надо. А если у меня локальное последовательное чтение херню выдает, какой смысл что-то ещё гонять?

*запись

Начинать с чего-то надо. А если у меня локальное последовательное чтение херню выдает, какой смысл что-то ещё гонять?

Смысл в том, что делать numjobs выше чем будет конечная как минимум нецелесообразно У тебя будет 8 одновременных потоков?

Скорее всего, нет. Ну так я и гонял сначала один поток, 4 и 8 потом сделал для полноты картины

Disk busy, disk latency и команда на сбор lvm

https://pastebin.com/3rM8YLcj

Я про iotop со стороны ОС, а не zfs

@rahsru

@rahsru

https://pastebin.com/raw/dB4J92VJ

Это в момент теста?

Да

128kb же record size?

И конечно же модель дисков

lvdisplay -m

Завтра выложу

А сделайка Raid0 из одного диска за компанию