Не, я про HDD.

Ну на HDD при зеркале, скорость на чтение же удваивается?

Ребята всем привет. подскажите, пожалуйста, как правильно сравнить производительность массива? Тестировал с помощью фио до тех пор пока не обнаружил что при повторном запуске (просто подряд) с теми же параметрами результаты различаются на 30%. Тестирую не на файловой системе, а на блочном устройстве непосредственно памяти 32гб размер тестовой выборки 128гб fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=/dev/sda --bs=4k --iodepth=64 --size=128G --readwrite=randrw --rwmixread=75 ткните где я дурак, пожалуйста.

Ребята всем привет. подскажите, пожалуйста, как правильно сравнить производительность массива? Тестировал с помощью фио до тех пор пока не обнаружил что при повторном запуске (просто подряд) с теми же параметрами результаты различаются на 30%. Тестирую не на файловой системе, а на блочном устройстве непосредственно памяти 32гб размер тестовой выборки 128гб fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=/dev/sda --bs=4k --iodepth=64 --size=128G --readwrite=randrw --rwmixread=75 ткните где я дурак, пожалуйста.

Не в случае с ZFS пока не будет IO_direct

Хмм... Я просто думал, что раз с блоками 4k всё равно скорости маленькие, то эти ограничения ЗФС не скажутся. С блоками 4к скорости на практике измеряются лишь сотнями МБ/сек в лучшем случае. Всё равно отсутствие IO_direc скажется? Так хочется увдвоения скорости, и чтоб на ЗФС, и чтоб прямо сейчас)

Коллеги, вопрос: Если у NVME-диска заявлено 80к IOPS записи блоком 4K при QD32, то могу ли я рассчитывать, что зеркальный пул из 4-х таких дисков даст 160к IOPS записи?☺️

Сделать x2 ssd дисков относительно текущих

пока приложение не умеет работать напрямую с каждым диском - полностью кратный рост ничто не даст, если что

оо... понял. Ну, меня бы устроил даже и полуторный прирост. Но мне в прицнипе уходить с ЗФС не хочется, вот в чём дело... Там IO_Direct не на подходе ещё?🥹

При randrepeat у Вас постоянно они и те же случайные данные генерируются, само собой кэш какую часть из них запоминает Плюс опция refill_buffers

а как же --direct=1 ? насколько я понял из описания - randrepeat это паттерн чтения-записи т.е. самого теста. он то как раз и должен быть одинаковый если я хоть что то в чём то понимаю иначе это какой то не правильный мёд.

direct не работает с ZFS, ведь патча io_direct ещё нет

а у меня не зфс))))))

а у меня не зфс))))))

на самом деле следовало сразу про это написать. потому что есть zfs специфичные вещи.

извините

просто спросил как правильно протестировать производительность хранилища. сначала на кошках тренируюсь потом на зфс пойду

ну просто мог получить неправильный ответ.

не со зла, прада

Впринципе разные алгоритмы тестирования. У ZFS Кэш Сжатие Запись + Проверка чексумм блоков Дедуп

проблема в том что разница в 30% при нескольких запусках

При randrepeat у Вас постоянно они и те же случайные данные генерируются, само собой кэш какую часть из них запоминает Плюс опция refill_buffers

в общем вот такая конструкция даёт точно такой же разброс fio --randrepeat=0 --ioengine=libaio --direct=1 --gtod_reduce=1 --refill_buffers --name=test --filename=/dev/sda4 --bs=4k --iodepth=64 --size=8G --readwrite=randrw --rwmixread=75

а покажи выхлоп fio полный

https://pastebin.com/SDrNbDFs

https://pastebin.com/SDrNbDFs

это поверх чего тест запускался?

p420i 10ssd raid50 + ssd smart path, centos

да вообще не понятный тест...

Да

ну тут стоит на бенчи взглянуть, до 4 nvme zfs при норм проце и памяти ещё тянет, а вот дальше да, нужен o_direct

Кстати, коллеги, а патчить IO_Direct вручную это вообще нормально? Я слышал, что это возможно, но какие минусы, подводные камни?

Кстати, коллеги, а патчить IO_Direct вручную это вообще нормально? Я слышал, что это возможно, но какие минусы, подводные камни?

Коллеги, вопрос: Если у NVME-диска заявлено 80к IOPS записи блоком 4K при QD32, то могу ли я рассчитывать, что зеркальный пул из 4-х таких дисков даст 160к IOPS записи?☺️

Сделать x2 ssd дисков относительно текущих

возможно этого кусочка нету потому что актвирован ssd smart path...

оо... понял. Ну, меня бы устроил даже и полуторный прирост. Но мне в прицнипе уходить с ЗФС не хочется, вот в чём дело... Там IO_Direct не на подходе ещё?🥹

в общем, ребят ssd smart path тут ни при чём. персентили не появились. НО! запустил с параметром --numjobs=4 и результаты теперь более менее стабильные. похоже недозагружена было хранилище одним джобом, поэтому и плавало всё

Еще можно метаданнные вынести на отдельные ssd с хорошей латентностью. Например на optane.

Уходить из чисто релегиозных соображений - дрочке на результаты синтетических тестов? Извините за грубую формулировку. Я приведу такой пример. Стстема тупила на аппаратном рейд с батаоейкой и writeback на 10 дисках в raidz10 и lvm поверх. Такая конфигурация двет больше iops чем zfs на тех же дисках в зеркале. После переноса на zfs на том же оборудовании (и замене аппаратный raid на hba) стало работать с запасом по нагркзке на диски, т.е. диски простаивали! И это во времена zfs 0.8x, нагрузку создавали windows-гости на libvirt Если уходить собрались, то интересно на что?

Уходить из чисто релегиозных соображений - дрочке на результаты синтетических тестов? Извините за грубую формулировку. Я приведу такой пример. Стстема тупила на аппаратном рейд с батаоейкой и writeback на 10 дисках в raidz10 и lvm поверх. Такая конфигурация двет больше iops чем zfs на тех же дисках в зеркале. После переноса на zfs на том же оборудовании (и замене аппаратный raid на hba) стало работать с запасом по нагркзке на диски, т.е. диски простаивали! И это во времена zfs 0.8x, нагрузку создавали windows-гости на libvirt Если уходить собрались, то интересно на что?

О, у меня ещё один вопрос, коллеги) Вот смотрите. Консумерские NVME заявляют куда большие скорости/айопсы чем энтерпрайзные Но в любом обзоре на NVME есть скриншот, который показывает как резко падает скорость после записи первых N гигов Типа первые 200 гигов запишутся на супер-мега скорости, а потом всё, обломинго, скорость резко падает Это происходит из-за исчерпания псевдо-SLC области диска, так? Тогда как энтерпрайзные диски держат свою скорость ровно. Пусть и не такую супер-высокую.

И вот вопрос: а для случайных мелкоблочных операций это⬆️ тоже справедливо? Или в этом случае разницы между консумерскими и энтерпрайзными дисками не будет?

И вот вопрос: а для случайных мелкоблочных операций это⬆️ тоже справедливо? Или в этом случае разницы между консумерскими и энтерпрайзными дисками не будет?

смотря каких операций

У меня сторадж будет с преимущественно записью. Вообще это будут виртуалки, соотв много случайного мелкоблока, много потоков, с разной глубиной... Поэтому на NVME нацелился

Если Вы ищите скорость Вам скорее LVM/mdadm нужны

А что это ? Надёжность пониже будет ?🤔

LVM слегка умный рейд mdadm предельно тупой софт рейд

Ага … тупой но типа быстрый ?:)