@sgolod а где volblocksize указывать?

в .sh скрипте, там можно задать несколько значений и скрипт выполнит последовательно несколько тестов

for BLOCKSIZE in 4k 8k 32k 128k; do zfs destroy ${ZFS_POOL} zfs create -V 64G -b $BLOCKSIZE -o compression=off ${ZFS_POOL}

Я не менял, он делает все тесты, что вы себе делали.

тогда он последовательно будет проверять том с размером блока от 4к до 128к. можно оставить только 4/8/32

4k пройдет, выложу 8к предыдущий и новый

ок

поправлю после

уже до 8к почти дошел

с ashift=13 делаю, верно?

да. и очень интересн тест где и volblocksize=8k

да. и очень интересн тест где и volblocksize=8k

а у вас в тесте vol на 100% заполняется? Дальше просто возможна просадка по перформансу

а у вас в тесте vol на 100% заполняется? Дальше просто возможна просадка по перформансу

там вроде стояло ограничение на 8G

блоксайз это не ашифт

блоксайз это не ашифт

да. интересен результат когда ашифт=8к и волблоксайз=8к

да. интересен результат когда ашифт=8к и волблоксайз=8к

#benchmark lsi 9211 fsync=0 RAID10 8HDD 4Tb compression=off ashift 13 https://pastebin.com/vmx77ZnD

#benchmark lsi 9211 fsync=0 RAID10 8HDD 4Tb compression=off ashift 12 https://pastebin.com/YbRJbjcB

получается что с ashift=13 и размера блока 8к, показатели не хуже чем для ashift=12. И даже чуть выше для randread и randrw

если писать блоками по 8, естественно

а вот блоками по 0.5к?

:)

а вот блоками по 0.5к?

конечно будет плохо. речь шла о сравнении ashift 12 и 13.

будет просадка на рандомном чтении

получается что просадки нет?

конечно будет плохо. речь шла о сравнении ashift 12 и 13.

Тесты это отлично! Но всё же просто так увеличивать ashift не стоит, оно того в итоге не стоит

Тесты это отлично! Но всё же просто так увеличивать ashift не стоит, оно того в итоге не стоит

согласен). я же говорил - исключительно из любознательности. Я бы для HDD оставил 12, а если в перспективе в пуле будут диски заменяться на SSD, то можно было бы сделать и 13

согласен). я же говорил - исключительно из любознательности. Я бы для HDD оставил 12, а если в перспективе в пуле будут диски заменяться на SSD, то можно было бы сделать и 13

дада, я поддерживаю)

дада, я поддерживаю)

спасибо! чесслово)), это того стоит!)

#benchmark lsi 9211 fsync=0 RAID10 8HDD 4Tb compression=off ashift 13 https://pastebin.com/vmx77ZnD

Вячеслав, на всякий случай посмотрите свободное место на томе во время теста. Ключ size=8G вроде должен ограничивать размер места под тест, но при длительном тесте (когда фактические данные для чтения/записи выходят больше чем на 8Г) - лучше перепроверить))

Ок

Что-нибудь еще стоит обратить внимание после zpool add vmdata log mirror /dev/nvme0n1p1 /dev/nvme1n1p1 ?

на тип нвме. :)

p4801x 100Gb

10.9 PBW

Такое ощущение, что он ее не использует

он её будет использовать при синхронной записи. Если добавить ключ fsync=1 в секции .fio файла

Спс за наводку.

ну или совсем простой тест pveperf /vmdata

там будет строка FSYNC/sec, без SLOG и с SLOG - две большие разницы

ну так и так. это не способ разогнать скорость записи, это способ сократить ожидание выполнения синхронных записей.

в любом случае скорость записи будет равна скорости массива

root@prod-pve01:/opt/bench# pveperf /vmdata CPU BOGOMIPS: 224044.60 REGEX/SECOND: 2142286 HD SIZE: 14317.96 GB (vmdata) FSYNCS/SECOND: 7783.23 DNS EXT: 101.86 ms DNS INT: 12.69 ms

он её будет использовать при синхронной записи. Если добавить ключ fsync=1 в секции .fio файла

В global оно ставится?

Понеслась

В global оно ставится?

наверное, но я не проверял

root@prod-pve01:/opt/bench# pveperf /vmdata CPU BOGOMIPS: 224044.60 REGEX/SECOND: 2142286 HD SIZE: 14317.96 GB (vmdata) FSYNCS/SECOND: 7783.23 DNS EXT: 101.86 ms DNS INT: 12.69 ms

потом удалите из пула эти logs и проверьте ещё раз)

в любом случае скорость записи будет равна скорости массива

ускорить запись можно перемещением журнала на ссд ? насколько это надежно ?

нельзя, с физикой не поспоришь

но отзывчивость системы можно

ускорить запись можно перемещением журнала на ссд ? насколько это надежно ?

можно ускорить запись на последних версиях ZFS используя special vdev

вот кто-то тестил http://napp-it.org/doc/downloads/special-vdev.pdf

вот резульаты тестирования, Георгий сбрасывал

Что-нибудь еще стоит обратить внимание после zpool add vmdata log mirror /dev/nvme0n1p1 /dev/nvme1n1p1 ?

Для slog обычно нет смысла выделять больше 5-10гб, туда идёт только журнал синхронной записи в размере до следующего сброса txg на диск.

можно ускорить запись на последних версиях ZFS используя special vdev

+1

Для slog обычно нет смысла выделять больше 5-10гб, туда идёт только журнал синхронной записи в размере до следующего сброса txg на диск.

Кстати, @HellTeacher - вы можете попробовать свои 4801X разбить на разделы. И один раздел (x2 mirror) использовать для SLOG (меньшего размера), а второй для special vdev. Оптан у вас быстрый и поэтому выдержит))). а на vdev мета будет писаться. Конечно 100Gb*80% дадут всего 80Gb для special vdev, не очень много - но хотя бы место впустую под SLOG не будет простаивать. другое дело, если бы у вас пул был собран из ssd, там и больше 10Гб пролететь может

типа: /dev/nvme0n1p1 (10Gb) + /dev/nvme1n1p1 (10Gb) - это mirror для SLOG /dev/nvme0n1p2 (90Gb) + /dev/nvme1n1p2 (90Gb) - это mirror для special vdev

Хм, а он не закончится? Сколько его нужно на мой pool?

Хм, а он не закончится? Сколько его нужно на мой pool?

вроде когда закончится, запись пойдёт в основной пул. Георгий говорил что мета приблизительно может занимать что-то в районе 1% от размера пула.

148Gb

хм

потестию завтра

148Gb

можно попробовать для special сделать stripe (90+90=180).

в прод такое ссыкатно

у меня китайские переходники PCI-e to U.2

ну тогда может и 90 хватит. по крайне мере интересно было бы увидеть как для вашего случая это поможет

Хоть там и ломаться нечему

можно попробовать для special сделать stripe (90+90=180).

Нене, special vdev надо резервировать! Иначе при отказе пулу хана

вроде когда закончится, запись пойдёт в основной пул. Георгий говорил что мета приблизительно может занимать что-то в районе 1% от размера пула.

+, в худшем случае мета пойдёт писаться в обычные вдевы, а ещё один special вы всегда успеете воткнуть

по сравнению с slog, там большие нагрузки?

по сравнению с slog, там большие нагрузки?

с их TBW - это не вопрос)

Я про, то что бы доставить что то попроще как вариант для special

Я про, то что бы доставить что то попроще как вариант для special

ну если есть пара обычных SSD, то конечно можно их добавить в пул как спешл

просто у 4801 реально будет использоваться в вашем случае (HDD) не более 10Гб. Жалко))))

Я про, то что бы доставить что то попроще как вариант для special

Ну лучше всего протестить разницу, поделитесь плиз если сделаете это)

Ну лучше всего протестить разницу, поделитесь плиз если сделаете это)

Завтра сделаю, отпишусь.

90Gb в vm под swap прокидывать по чутьчуть xD

этот сервер у меня на 16 корзин

и 4 sata на мамке свободны

если еще пул добавлять такого же объема можно для каждого по 2ssd с кондером под спешел

например dc s4610

на 240

#benchmark https://pastebin.com/CkS7zv76 lsi 9211 fsync=1 RAID10 8HDD 4Tb compression=lz4 ashift 12 + slog 2xp4801x fsync=1 + lz4 + slog