Нет. Это какая-то ересь. Никак на производительность не влияет с разделом диск или без. Просто возможно потребуется определить на другом компьютере с какой информацией этот диск. С разделом это будет видно, а без раздела покажет как пустой диск

Так насколько я помню zfs не даёт создание degrade pool из одного диска. Или сейчас он уже это умеет?

С зеркалом возможно добавлять диски и удалять

У меня 2 диска, объемом по 1ТБ. На одном из них есть информация, которую некуда перенести - нет, условно, третьего диска на который эти данные можно было бы временно перенести. Поэтому создаю пул из одного диска, на котором нет данных, затем копирую данные на него и после этого могу использовать второй диск для включения в пул и последующего зеркалирования.

добавлять да, а вот сразу создать мирор даст ли на 1 девайсе?

Нет. На одном не даст

Нет. На одном не даст

так у товарища именно этот кейс) и он его хочет провернуть)

Даст

если с файликом?

так у товарища именно этот кейс) и он его хочет провернуть)

Даст

Не. Не на одном. У меня две физические железки по 1ТБ каждая.

Не. Не на одном. У меня две физические железки по 1ТБ каждая.

Разделы используются А) для проверки write latency на диск (отдельный раздел куда выполняется короткий fio/dd) Б) под нужды задачи/системы В) Часть людей считают, что zfs не умеет оставлять кусок в конце диска под разные размеры (умеет), поэтому пишут ересь про разделы

И, я правильно понимаю, что никто не послал человека прочитать документацию?

Так пусть читает и тренируется на кошках файлах

Да. Я создаю пул из одного диска - не зеркало. Затем со второго перенести (путем обычного копирования) данные в созданный пул, а уже после этого подключать к пулу второй диск (с которого уже скопированы данные) и создавать зеркало.

А файлы тоже можно использовать как блочные устройства?

Да. Я создаю пул из одного диска - не зеркало. Затем со второго перенести (путем обычного копирования) данные в созданный пул, а уже после этого подключать к пулу второй диск (с которого уже скопированы данные) и создавать зеркало.

А файлы тоже можно использовать как блочные устройства?

Можно примонтировать через /dev/loop

надо сразу зеркало создавать, одно устройство там буде Whole Disk, как рекомендовано в документации hxxps : // openzfs . github . io / openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#whole-disks второе устройство - это sparse file, как про это написано в hxxps : // github . com / openzfs/zfs/issues/16367 потом сделать zpool offline для этого sparse file и потом zpool detach для него. после этого - можно будет потом добавить второй диск в этот degraded mirror через zpool attach лучше делать именно Whole disks, потому что тогда и производительность пула будет выше, потому что отключается совершенно не нужный в данном случае Linux IO elevator и кроме того - гораздо проще будет в будущем менять сбойные диски через zpool replace - не надо будет самому создавать никакие таблицы разделов или разделы - все это файловая система ZFS сделает самостоятельно.

Вопрос, как определить какой диск вышел из строя когда целым добавляется?

надо сразу зеркало создавать, одно устройство там буде Whole Disk, как рекомендовано в документации hxxps : // openzfs . github . io / openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#whole-disks второе устройство - это sparse file, как про это написано в hxxps : // github . com / openzfs/zfs/issues/16367 потом сделать zpool offline для этого sparse file и потом zpool detach для него. после этого - можно будет потом добавить второй диск в этот degraded mirror через zpool attach лучше делать именно Whole disks, потому что тогда и производительность пула будет выше, потому что отключается совершенно не нужный в данном случае Linux IO elevator и кроме того - гораздо проще будет в будущем менять сбойные диски через zpool replace - не надо будет самому создавать никакие таблицы разделов или разделы - все это файловая система ZFS сделает самостоятельно.

Вот это то о чем я читал и здесь, выше, упоминал - что если есть возможность то лучше использовать диск целиком, без разделов. Я правильно понимаю, что и таблица разделов, та же GPT, не нужна?

человек обратился с простым вопросом, вы ему за воротник напихали... 1. Создаем пул. Корневой датасет будет смонтирован в корень: /tank zpool create -o ashift=12 -O relatime=off -O atime=off -O compression=zstd -O xattr=sa -O normalization=formD -O acltype=posixacl -f tank /dev/disk/by-id/[чистый диск] 2. копируем данные со второго диска в пул cp /mnt/[каталог для монтирования диска с данными] /tank 3. проверяем, что данные скопировались zpool list zfs list видим, что % изменились, есть какая-то занятость пула ls -l /tank также видим семейные данные 4. форматируем диск с данными 5. добавляем диск к пулу с учетом, что хотим сделать зеркало zpool attach tank /dev/disk/by-id/[диск в пуле] /dev/disk/by-id/[подготовленный диск] 6. проверяем, ждем окончания синхронизации данных watch zpool status

Потому что если человек не в состоянии прочитать доку, то ему не стоит использовать ZFS

жестко :)

"Не достоин!.. пока"

совершенно не так, человеку дали советы, как не потерять свою "ценную" информацию, параллельно изучить и попробовать на кошках.. если будет пытаться пробовать , сам искать решение на файликах, люди помогут советом

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

вся запись данных на zfs пул проходит через zil. Вы можете выделить его на отдельные носители или не выделять, все равно будет идти запись запись через него. Это настройки по умолчанию. параметр logbias позволяет управлять потоком записи через zil. Вы можете данные непосредственно писать на диски, минуя zill (параметр logbias=throughput ) Это актуально например для БД postgresql.

sync лучше не трогать, если Вам дороги данные. Если же потеря данных не критична, то можно для небольшого ускорения записи отключить синхронизацию. Даже писать не буду как, чтобы не соблазнять :)

sync лучше не трогать, если Вам дороги данные. Если же потеря данных не критична, то можно для небольшого ускорения записи отключить синхронизацию. Даже писать не буду как, чтобы не соблазнять :)

вся запись данных на zfs пул проходит через zil. Вы можете выделить его на отдельные носители или не выделять, все равно будет идти запись запись через него. Это настройки по умолчанию. параметр logbias позволяет управлять потоком записи через zil. Вы можете данные непосредственно писать на диски, минуя zill (параметр logbias=throughput ) Это актуально например для БД postgresql.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.

при send | receive данные идут минуя SLOG на принимающей стороне? Я не увидел сейчас: передавал 32ГБ LOG не качнулся.

Для начала обновиться

обновиться куда? на этом сервере установлена самая новая версия операционной системы и самая новая версия zfs из репозитория zfs stable. версия 2.1.16 это самая крайняя версия в ветке 2.1-release, которая устанавливается из репозитория zfs. более новой версии в ветке 2.1-release в данный момент не существует, так что некуда обновляться. более новая версия 2.2.7 из ветки 2.2-release лежит в репозитории zfs-testing, но в документации hxxps : // openzfs . github . io / openzfs-docs/Getting%20Started/RHEL-based%20distro/index.html#testing-repositories написано, что она не рекомендуется для использования on production systems: In addition to the primary zfs repository a zfs-testing repository is available. This repository, which is disabled by default, contains the latest version of OpenZFS which is under active development. These packages are made available in order to get feedback from users regarding the functionality and stability of upcoming releases. These packages should not be used on production systems. этот сервер - production system, поэтому использую zfs из репозитория zfs stable, а не zfs из репозитория zfs testing.

Это что за репозиторий?

https://launchpad.net/~zfs-native/+archive/ubuntu/stable Это там где последнее обновление было 387 недель назад?

обновиться куда? на этом сервере установлена самая новая версия операционной системы и самая новая версия zfs из репозитория zfs stable. версия 2.1.16 это самая крайняя версия в ветке 2.1-release, которая устанавливается из репозитория zfs. более новой версии в ветке 2.1-release в данный момент не существует, так что некуда обновляться. более новая версия 2.2.7 из ветки 2.2-release лежит в репозитории zfs-testing, но в документации hxxps : // openzfs . github . io / openzfs-docs/Getting%20Started/RHEL-based%20distro/index.html#testing-repositories написано, что она не рекомендуется для использования on production systems: In addition to the primary zfs repository a zfs-testing repository is available. This repository, which is disabled by default, contains the latest version of OpenZFS which is under active development. These packages are made available in order to get feedback from users regarding the functionality and stability of upcoming releases. These packages should not be used on production systems. этот сервер - production system, поэтому использую zfs из репозитория zfs stable, а не zfs из репозитория zfs testing.

Этот "сервер" использует: - десктопный проц, с неофициально заявленной поддержкой UDIMM ECC - неизвестный HBA (это не ведь не материнский SATA контроллер, который захлёбнется от постоянной нагрузки?) - неизвестной модели диски, которые могут быть SMR - и надеюсь это хотя бы Asrock \ Supermicro материнска с IPMI? Но да, конечно основная проблема которая может быть это zfs-testing и использование не RHEL-like дистрибутива

Этот "сервер" использует: - десктопный проц, с неофициально заявленной поддержкой UDIMM ECC - неизвестный HBA (это не ведь не материнский SATA контроллер, который захлёбнется от постоянной нагрузки?) - неизвестной модели диски, которые могут быть SMR - и надеюсь это хотя бы Asrock \ Supermicro материнска с IPMI? Но да, конечно основная проблема которая может быть это zfs-testing и использование не RHEL-like дистрибутива

Этот "сервер" использует: - неизвестной модели диски, которые могут быть SMR Это CMR диски. Seagate Exos X22 SATA (22TB-20TB) (5xxe-CMR) Модель ST16000NM003G-2K.

Здравствуйте, All! Подскажите пожалуйста, как оптимальнее всего настроить сервер с ZFS, чтобы была прежде всего максимальная надежность хранения данных и вторым по приоритетности - максимальная скорость работы, но не в ущерб надежности и стабильности. Технические параметры сервера Процессор AMD Ryzen 9 3900 12-Core Processor Память 128 GiB DDR4 ECC Подсистема хранения 2 x 1.92 TB (Gen 3) NVMe + 8 x 22 TB SATA 6Gb/s 7200 rpm Операционная система Rocky Linux 9.5 + zfs-2.1.16 Планирую сделать один RAIDZ2 vdev из всех этих 8 HDD каждый из которых имеет размер 20 TiB (или 22 TB, другими словами). zpool create -o ashift=12 -O compression=lz4 -O atime=off -O xattr=sa -O acltype=posix tank raid2 ... Это выделенный сервер у которого только одна роль - backup server, куда будут писаться через ssh zfs send ...| zfs recv ... в постоянном режиме все датасеты со всех серверов (постоянная репликация с паузой между повторными попытками в 10 минут). Датасеты с удаленных серверов - это в основном sparse zvol размером 64 TiB с volblocksize=16K и данными на XFS внутри zvol. ARC займет своих 50% оперативной памяти или даже 80%. L2ARC не вижу смысла вообще делать, потому что на этот сервер будут в основном только писать, а читать будут очень редко - когда надо будет что-то восстановить из резервных копий. special device на NVMe тоже не вижу смысла делать, потому что это значительно уменьшит надежность файловой системы и увеличит ее хрупкость, даже если бы это и дало какой-то небольшой прирост производительности при записи на диски. При такой конфигруации - если делать из 8 HDD на 20 TiB один RAIDZ2 vdev - два HDD уйдут на контрольные суммы и примерно 120 TiB будет доступного места на диске. Если в такой конфигурации сервер не будет справляться с нагрузкой на запись - тогда наверное единственным вариантом будет сделать два RAIDZ2 vdev каждый по 4 диска, тогда на контрольные суммы уйдет 4 диска и полезный объем пула будет 80 TiB, но при этом - будет в два раза выше производительность дисковой подсистемы, потому что будет два RAIDZ2 vdev вместо одного. RAIDZ3 vdev из 8 HDD наверное нет смысла делать, потому что это еще сильнее уменьшит производительность дисковой подсистемы по сравнению с RAIDZ2 vdev. А надежность у RAIDZ2 vdev вполне достаточная для выполнения этой задачи. Что не могу пока что понять: Если поставить logbias=throughput то в man странице написано, что в таком случае SLOG вообще не будет использоваться. А если поставить logbias=latency (по умолчанию) тогда будет использоваться SLOG для записи synchronous requests. Но не понятно, когда 100% операций записи на zfs pool производит команда zfs receive - есть ли тогда synchronous requests и какой именно размер SLOG будет самым оптимальным для такого zpool ? Или имеет смысл просто поставить logbias=throughput и забыть про эту проблему с SLOG (он же ZIL) и L2ARC вообще? Возможно есть еще какие-то варианты и способы как выжать максимум производительности из файловой системы ZFS на этом сервере, обладающего таким hardware, возможно про какие-то еще настройки zpool для оптимизации производительности я забыл ? tuned profile на этом сервере установлен в network-latency - Optimize for deterministic performance at the cost of increased power consumption, focused on low latency network performance.