Vyacheslav
Буду тестить все и raidz2 и raid10 с slog и без с lz4 и без и т.д.
Vyacheslav
fio и pgbench сделаю внутри VM
Vyacheslav
Завтра начну ))) Сейчас lsi 9211 из iR в iT перепрошить нужно.
Vyacheslav
На старых серверах fio то же позапускаю.
Vyacheslav
Есть у кого готовые конфиги для fio?
Fedor
там и в командной строке нормально работает
Сергей
я видел только ухудшение на своих профилях нагрузки, увы.
ты уверен что у тебя lz4 включился? он реально почти цпу не ест. Там если на пуле не стояла опция lz4_compress, то он не включался по умолчанию.
Fedor
дело не в цпу, а латенси
Fedor
на ссд
Сергей
дело не в цпу, а латенси
он мизерный по сравнению с латенси на disk io
Fedor
ну ок. но на десятках тысяч иопс менее равномерный доступ.
Сергей
ну ок. но на десятках тысяч иопс менее равномерный доступ.
вот у Вячеслава будут самые быстрые на данный момент в мире ssd диски, посмотрим как вкл/выкл lz4 скажется на производительности. fio и иопсы покажет
Fedor
24 ссд в райд 10. включение компрессии поднимало латенси с 2-3 до 20-50
Сергей
там по fio считается 3 lat - clat, slat и lat. Есть возможноть взглянуть на те результаты теста с/без lz4?
Fedor
увы, уже нет.
George
Буду тестить все и raidz2 и raid10 с slog и без с lz4 и без и т.д.
вы ещё на special allocation class гляньте, можно метадату на ssd вынести
Vyacheslav
Я перед тестами, тут отпишусь.
Fedor
в конце её отключили и перенесли данные
Сергей
вы ещё на special allocation class гляньте, можно метадату на ssd вынести
я правильно понимаю что special vdev нужны для постоянного хранения метаданных, мелких блоков? Или это тоже как и SLOG - временное хранение на быстром устройстве?
George
можно вынести на ssd мету, ddt, мелкие блоки. Вынос меты порядочно улучшает жизнь с raidz (в общем то оно писалось для draid)
Сергей
постоянное, соответственно требуют резервирования
и места. Т.е. если я хочу образы ВМ, где у меня volblock=8k, то и места нужно много?
Сергей
12. When a special vdev is not needed or helpful 12.1. Sequential data access (ex mediaserver) Performance is pool limited. Neither RAM nor a special vdev really helps.
George
и места. Т.е. если я хочу образы ВМ, где у меня volblock=8k, то и места нужно много?
ну если вы настроите хранение на нём блоков <=8K , то конечно они будут храниться на нём
George
это именно vdev классический, только с правилами аллокации на него
George
если он заполнился - пул продолжит работать, но всё будет лететь на обычные vdevы
George
если прое-теряете - потеряете весь пул
Сергей
ну если вы настроите хранение на нём блоков <=8K , то конечно они будут храниться на нём
просто получается что для хранения данных которые мы читаем большую часть времени последовательно - больше подходит классический vdev. А для образов виртуалок - скорее спешл
George
12. When a special vdev is not needed or helpful 12.1. Sequential data access (ex mediaserver) Performance is pool limited. Neither RAM nor a special vdev really helps.
вот кстати не совсем правильный пример, на raidz вы будете экономить минимум 2 IOPS с каждой записи на HDD (2 копии меты)
Сергей
тогда получается что сейчас можно получить небольшой прирост за счёт разнесения записи: мету на спешл, данные - на обычный vdev. Но здесь прирост будет существенно меньше, чем даёт тот же SLOG, правильно?
George
slog чисто про синхронную запись
George
мета и фактически данные всё равно в пул приедут
George
и вот тут мету можно вынести на ssd, т.е. доп инструмент
Сергей
я понимаю. я просто хочу понять насколько большой объём приходится на запись метаданных от всего объёма записываемых данных - 1% из 100?
George
я понимаю. я просто хочу понять насколько большой объём приходится на запись метаданных от всего объёма записываемых данных - 1% из 100?
в процентах - оооочень грубо говоря около того, точнее - зависит от recordsize и количества данных
George
но оно аналогично обычным vdevам наращивается
Vladislav
FreeNAS 11.3 : Переработан движок репликации данных в ZFS. Производительность репликации увеличена в 8 раз. Добавлена поддержка автоматического возобновления прерванных сеансов передачи данных, параллельного выполнения задач и локальной репликации;http://www.opennet.ru/opennews/art.shtml?num=52269
Well
👍
Александр🇷🇺
Первый тост за локалхост
Well
За ECC тогда второй
Aaer
Ну третий за пятницу тогда.
Aaer
Fedor
Vyacheslav
Что то вреде этого будет достаточно для теста zfs? https://pastebin.com/pQKie44y
Vyacheslav
Или что то стоит подправить?
Ivan
если нужно потетстить как просядет четиние после исчерпания кэша, то время побольше поставь
Ivan
и лучше наверно на пул натравить, а не файл
Сергей
Или что то стоит подправить?
а что мерять будете? ZFS может сделать блочное устройство, а можно на уровне ФС
Vyacheslav
Я пока создал из админки raid10 для будущих VM без компрессии
Сергей
компрессия кстати совсем ресурсы не ест. щас файлы брошу
Vyacheslav
Я ее включу на втором круге тестов
Vyacheslav
lz4 посвить планирую. Разница в latency интересна
Сергей
комментарии ниже
Сергей
Сергей
Сергей
bench-zfs.sh, там можно указать какие размеры блоков будут тестироваться и какая глубина очереди.
Ivan
фигась, ткнул на этот файл в телеге, а он сразу выполняться стал 😃
Vyacheslav
ага
Ivan
так можно вирусы впаривать
Vyacheslav
в git bash терминале
Ivan
в git bash терминале
у меня в cmd винды началало выполняться. это странно, т.к. ассоциаций для sh я не создавал
Vyacheslav
а git на винде стоит?
Сергей
bench-zfs.fio, в нём можно отрегулировать длительность теста (там стоит 60 секунд). Там сделаны 5 наборов - последовательное чтение, послед. запись, случайное чтение, случайная запись, и случаные чтение/запись. Можно оставить только нужные/желаемые
Сергей
скрипт создаёт volume в rpool (если имя пула отличается - поменять в скрипте) и на созданный вольюм запускает fio с параметрами в .fio файле
Сергей
результаты пишутся в файлы, в именах файлов будет volblock и iodepth.
Сергей
для проверки записи с fsync, добавить в каждую секцию конфига (.fio) fsync=1. Это для теста SLOG
Сергей
[randrw-sync] .... fsync=1
Сергей
в случае теста ФС, соответственно filename (из .fio) должен указывать на каталог, а не на блочное устройство. если же filename=/dev/nvme.... - то тестироваться будет уже само устройство без участия ZFS, БЫТЬ ВНИМАТЕЛЬНЫМ - выполняется перезапись содержимого устройства.
Vyacheslav
https://pastebin.com/Xwck11ge
Vyacheslav
Это пока что без slog
Vyacheslav
8HDD 4Tb RAID10
Vyacheslav
seqRead: bw=394MiB/s (413MB/s) seqWrite: bw=900MiB/s (944MB/s) Пишет быстрее чем читает? оО
Сергей
seqRead: bw=394MiB/s (413MB/s) seqWrite: bw=900MiB/s (944MB/s) Пишет быстрее чем читает? оО
меня это тоже удивило. @gmelikov - такое возможно для ZFS?
Сергей
покажите ещё: zpool status -v
Vyacheslav
https://pastebin.com/P3f2bFWU
Vyacheslav
zfs list NAME USED AVAIL REFER MOUNTPOINT vmdata 64.5G 14.0T 96K /vmdata vmdata/fio 64.5G 14.0T 8.02G -