Vyacheslav
Буду тестить все и raidz2 и raid10 с slog и без с lz4 и без и т.д.
Vyacheslav
fio и pgbench сделаю внутри VM
Vyacheslav
Завтра начну ))) Сейчас lsi 9211 из iR в iT перепрошить нужно.
Vyacheslav
На старых серверах fio то же позапускаю.
Vyacheslav
Есть у кого готовые конфиги для fio?
Fedor
там и в командной строке нормально работает
Fedor
дело не в цпу, а латенси
Fedor
на ссд
Fedor
ну ок. но на десятках тысяч иопс менее равномерный доступ.
Fedor
24 ссд в райд 10. включение компрессии поднимало латенси с 2-3 до 20-50
Сергей
там по fio считается 3 lat - clat, slat и lat. Есть возможноть взглянуть на те результаты теста с/без lz4?
Fedor
увы, уже нет.
Vyacheslav
Я перед тестами, тут отпишусь.
Fedor
Fedor
в конце её отключили и перенесли данные
George
George
можно вынести на ssd мету, ddt, мелкие блоки. Вынос меты порядочно улучшает жизнь с raidz (в общем то оно писалось для draid)
Сергей
12. When a special vdev is not needed or helpful
12.1. Sequential data access (ex mediaserver)
Performance is pool limited. Neither RAM nor a special vdev really helps.
George
это именно vdev классический, только с правилами аллокации на него
George
если он заполнился - пул продолжит работать, но всё будет лететь на обычные vdevы
George
если прое-теряете - потеряете весь пул
George
George
Сергей
тогда получается что сейчас можно получить небольшой прирост за счёт разнесения записи: мету на спешл, данные - на обычный vdev. Но здесь прирост будет существенно меньше, чем даёт тот же SLOG, правильно?
George
George
slog чисто про синхронную запись
George
мета и фактически данные всё равно в пул приедут
George
и вот тут мету можно вынести на ssd, т.е. доп инструмент
Сергей
я понимаю. я просто хочу понять насколько большой объём приходится на запись метаданных от всего объёма записываемых данных - 1% из 100?
George
George
но оно аналогично обычным vdevам наращивается
Vladislav
FreeNAS 11.3 :
Переработан движок репликации данных в ZFS. Производительность репликации увеличена в 8 раз. Добавлена поддержка автоматического возобновления прерванных сеансов передачи данных, параллельного выполнения задач и локальной репликации;http://www.opennet.ru/opennews/art.shtml?num=52269
Well
👍
Александр🇷🇺
Первый тост за локалхост
Well
За ECC тогда второй
Aaer
Ну третий за пятницу тогда.
Aaer
Fedor
Vyacheslav
Что то вреде этого будет достаточно для теста zfs?
https://pastebin.com/pQKie44y
Vyacheslav
Или что то стоит подправить?
Ivan
если нужно потетстить как просядет четиние после исчерпания кэша, то время побольше поставь
Ivan
и лучше наверно на пул натравить, а не файл
Vyacheslav
Я пока создал из админки raid10 для будущих VM без компрессии
Сергей
компрессия кстати совсем ресурсы не ест. щас файлы брошу
Vyacheslav
Я ее включу на втором круге тестов
Vyacheslav
lz4 посвить планирую.
Разница в latency интересна
Сергей
комментарии ниже
Сергей
Сергей
Сергей
bench-zfs.sh, там можно указать какие размеры блоков будут тестироваться и какая глубина очереди.
Ivan
фигась, ткнул на этот файл в телеге, а он сразу выполняться стал 😃
Vyacheslav
ага
Ivan
так можно вирусы впаривать
Vyacheslav
в git bash терминале
Ivan
в git bash терминале
у меня в cmd винды началало выполняться.
это странно, т.к. ассоциаций для sh я не создавал
Vyacheslav
а git на винде стоит?
Сергей
bench-zfs.fio, в нём можно отрегулировать длительность теста (там стоит 60 секунд). Там сделаны 5 наборов - последовательное чтение, послед. запись, случайное чтение, случайная запись, и случаные чтение/запись. Можно оставить только нужные/желаемые
Сергей
скрипт создаёт volume в rpool (если имя пула отличается - поменять в скрипте) и на созданный вольюм запускает fio с параметрами в .fio файле
Vyacheslav
Сергей
результаты пишутся в файлы, в именах файлов будет volblock и iodepth.
Сергей
для проверки записи с fsync, добавить в каждую секцию конфига (.fio) fsync=1. Это для теста SLOG
Сергей
[randrw-sync]
....
fsync=1
Сергей
в случае теста ФС, соответственно filename (из .fio) должен указывать на каталог, а не на блочное устройство.
если же filename=/dev/nvme.... - то тестироваться будет уже само устройство без участия ZFS, БЫТЬ ВНИМАТЕЛЬНЫМ - выполняется перезапись содержимого устройства.
Vyacheslav
https://pastebin.com/Xwck11ge
Vyacheslav
Это пока что без slog
Vyacheslav
8HDD 4Tb RAID10
Vyacheslav
seqRead: bw=394MiB/s (413MB/s)
seqWrite: bw=900MiB/s (944MB/s)
Пишет быстрее чем читает? оО
Сергей
Сергей
покажите ещё:
zpool status -v
Vyacheslav
https://pastebin.com/P3f2bFWU
Vyacheslav
zfs list
NAME USED AVAIL REFER MOUNTPOINT
vmdata 64.5G 14.0T 96K /vmdata
vmdata/fio 64.5G 14.0T 8.02G -