А что тут? Максимальная скорость?

Лучше наверное либо рамы добить, либо диски менять. Но при ребуте тормоза будут просто ад.

Через дтрейс выяснял

Я давно кидал репу с примерами из дтрейс бук, там хорошие наброски для нфс в том числе имеются

чем нагружаешь ?

Это очень странно. Как нфс экспортируешь?

nfs в асинхронном режиме ?

фрагментация дикая. % это и есть остат. просто для себя сделал скрипт который иостат и зпул стал совмещает

export ZPOOL_SCRIPTS_AS_ROOT=1 zpool iostat -c iostat-1s 1 не?

Вопрос, больше теоретический. Вот есть у меня ZFS (на базе Proxmox), 6 дисков SCSI, поверх них собран raidz2 с отдельным logs на nvme. Эти SCSI диски видимо подключены через SMC2208 в режиме HBA, удаленно ни модель, ничего другого не понять. Начал клонировать виртуалку - с этого гипервизора на этот гипервизор - вся система легла колом. После этого я уже поднимал другие гипервизоры, правда на основе 4х дисков, в таком же формате - raidz2 + logs на m2 При условии, что мне не так сильно критично свободное место в уже установленных серверах - как мне лучше пересобрать ZFS для получения лучшей производительности?

зеркала лучший вариант в ЗФС по производительности

Типа вот так zpool create tank mirror и дальше уже номера дисков. А вот эта тема - логи, кеш, их как лучше использовать?

Типа вот так zpool create tank mirror и дальше уже номера дисков. А вот эта тема - логи, кеш, их как лучше использовать?

если честно, я из всех спец девайсов только SLOG-девайс юзал, это кэш на запись. Годная штука, с ней можно включать асинхронную запись и наслаждаться скоростью вкупе с безопасностью данных. Но для такого девайся нужен или энтерпрайзный ССД, желательно НВМЕ конечно и ОБЯЗАТЕЛЬНО с капаситором. Либо просто-напросто Оптан. Про ИБП молчу, куда без него. И если данные прям супермегаважны, то ещё и зазеркалить бы это девайс не помешало бы, хотя это уже можно сказать излишество

если честно, я из всех спец девайсов только SLOG-девайс юзал, это кэш на запись. Годная штука, с ней можно включать асинхронную запись и наслаждаться скоростью вкупе с безопасностью данных. Но для такого девайся нужен или энтерпрайзный ССД, желательно НВМЕ конечно и ОБЯЗАТЕЛЬНО с капаситором. Либо просто-напросто Оптан. Про ИБП молчу, куда без него. И если данные прям супермегаважны, то ещё и зазеркалить бы это девайс не помешало бы, хотя это уже можно сказать излишество

Окей, с этим понятно. А логи / кеши? У меня сейчас по планам собрать кластер из 5 серваков, на трех будет основной zfs под систему + медленные данные + хранилка, и отдельно - на CEPH из SSD дисков распределенную хранилку на 3х гипервизорах И вот как раз основную дисковую xfs видимо буду собирать как зеркало + nvme под логи

если честно, я из всех спец девайсов только SLOG-девайс юзал, это кэш на запись. Годная штука, с ней можно включать асинхронную запись и наслаждаться скоростью вкупе с безопасностью данных. Но для такого девайся нужен или энтерпрайзный ССД, желательно НВМЕ конечно и ОБЯЗАТЕЛЬНО с капаситором. Либо просто-напросто Оптан. Про ИБП молчу, куда без него. И если данные прям супермегаважны, то ещё и зазеркалить бы это девайс не помешало бы, хотя это уже можно сказать излишество

он ускоряет синхронную запись. это не совсем одно и тоже что и включить асинхронную запись для датасета (sync=disabled)

зеркало в ЗФС это однозначно ВИН, минус только в его дороговизне да, логи\logs то SpecialLOG-девайс и есть. Он так называется, потому что хранит ZIL - ZFS intent log В чём его смысл. Итак, вообще ZIL хранится в оперативе, и понятно она быстрее чем любой ССД, даже Оптана. И при этом ZFS может врать системе, что уже записала всё, что требовалось на сам диск(и), хотя на самом деле эти данные ещё не покинули ZIL, который в оперативке. А по факту данные будут переписаны в ПЗУ позже. Поэтому и называется этот вид обмана асинхронной записью. Такой подход обепечивает ооочень быструю запись, но ценой вероятного полного краха файловой системы, если во время записи всё повиснет или отрубится свет. Оперативка-то ощищается при выключении. Так что это опасно. Но когда у тебя есть SLOG-девайс, то ты можешь точно так же обманывать систему, но уже с гораздо большим уровнем безопасности. Теперь-то ZIL на ССД, который не обнулится от отключения света. Но чтобы ССД успел всё точно дозаписать, ему нужен маленький автономный источник энергии, у ССД это не батарейки, а просто большие такие конденсаторы. А вот Оптану это не нужно, он такой быстрый, что точно успет всё дозаписать.

зеркало в ЗФС это однозначно ВИН, минус только в его дороговизне да, логи\logs то SpecialLOG-девайс и есть. Он так называется, потому что хранит ZIL - ZFS intent log В чём его смысл. Итак, вообще ZIL хранится в оперативе, и понятно она быстрее чем любой ССД, даже Оптана. И при этом ZFS может врать системе, что уже записала всё, что требовалось на сам диск(и), хотя на самом деле эти данные ещё не покинули ZIL, который в оперативке. А по факту данные будут переписаны в ПЗУ позже. Поэтому и называется этот вид обмана асинхронной записью. Такой подход обепечивает ооочень быструю запись, но ценой вероятного полного краха файловой системы, если во время записи всё повиснет или отрубится свет. Оперативка-то ощищается при выключении. Так что это опасно. Но когда у тебя есть SLOG-девайс, то ты можешь точно так же обманывать систему, но уже с гораздо большим уровнем безопасности. Теперь-то ZIL на ССД, который не обнулится от отключения света. Но чтобы ССД успел всё точно дозаписать, ему нужен маленький автономный источник энергии, у ССД это не батарейки, а просто большие такие конденсаторы. А вот Оптану это не нужно, он такой быстрый, что точно успет всё дозаписать.

В ZFS понятия краха системы при потере питания нет, только если баг

Есть только крах того что внутри)))

даже если у тебя не доедет последние 5 секунд данных из лога при падении по питанию - это не смертельно для zfs. а вот потеря slog чревата более серьезными проблемами.

А без выделенного девайса лог не сразу на диски ли пишется?

консистентность на уровне приложения, да. Зависит от рук разработчика

А без выделенного девайса лог не сразу на диски ли пишется?

А без выделенного девайса лог не сразу на диски ли пишется?

>а вот потеря slog чревата более серьезными проблемами. тем же чревата, что и без него - потеря данных с него (за последние Х секунд)