затем, что она умеет размещать метаданные и мелкие файлы на ssd

L2arc? Он для рандома же а вы пишите про линейную

читаться будут в основном одни и те же данные для разных клиентов?

9 терабайт кэша дают где-то 70-80% попаданий нет, l2arc в таких масштабах я не готов )

ну так отдача на линейной скорости hdd меня вполне устроит )

9 терабайт кэша дают где-то 70-80% попаданий нет, l2arc в таких масштабах я не готов )

так я специально большой recorsize хочу поставить, чтобы чтение с hdd было блоками по 4мб

а общий размер пула какой предполагается?

4 hdd по 3ТБ

если получится всегда задействовать prefetch, то может получиться, да

так я же спрашивал: если recordsize 4m, то эти 4mb в arc только одновременно попадут

мне бы добиться, чтобы текущий кусок не вымывался из памяти, а следующий как нужен будет — прочитается

а то вот начитался ужасов: https://serverfault.com/questions/1017892/nginx-with-zfs-on-linux-with-16m-recordsize-too-much-arc-fill-and-high-io-but-lo

ну в примере со SO явно клиентов было намного больше, а arc не такой уж и большой, вот он и вымывался постоянно

я планирую 48ГБ под arc, это условно 12к блоков поместится, думаю, до 6к одновременных клиентов должно держать

ага, вообще recordsize>1M имеет смысл только если весь блок точно понадобится и в очень ближайшее время

я 1мб ставлю на волюмах с бекапами

как раз агрессивный prefetch мне тут может помешать )

ага, для бекапов если они линейные и однопоточные и больше можно, но там разница не большая получается

максимальное 16 )

а что мне даст из плюсов значение 16 кроме того что сжаться будет лучше?

а чем жать? если lz4, то не так уж и лучше, у него размер словаря маленький

а чем жать? если lz4, то не так уж и лучше, у него размер словаря маленький

в nginx sendfile отключите, он деградацию даст перформанса

а можно детали? или просто эмпирическое правило?

то есть O_DIRECT тоже не факт, что стоит включать?

Там ufs

рецепт от фрагментации простой - свободное место. Хотите меньше фрагментации - обеспечьте большой запас места. Ну и заполнять CoW ФС больше чем на 85% в принципе противопоказано по этой же причине

-15% как-то жирновато

хотя сама фрагменитрованность файлов мне не так страшна, меня пугает, если из-за фрагментированности свободного пространства zfs вообще не сможет новую запись разместить ) (напомню, речь про recodsize=4M)

А как работает аллокатор? Ищет до победного, и только если не найдёт, то пишет по кускам?

Можете не верить, но один раз мне попался сервер с виндой где фрагментация достигла 76%

фрагментация чего? ntfs?

А кто нибудь использует intel 5100 ssd? Под zfs

5100 это не nvme?

Нет) 2.5 sata

авоткстати я ведь правильно понимаю что у DDR5 ECC является дефолтной частью стандарта?

Не знаю как насчет DDR5, будут ли ставить дополнительный чип для работы в режиме ECC, но Intel от жадности исключила поддержку ECC из десктопных Pentium и Celeron, буквально до девятого поколения было все хорошо и можно было организовать недорогое хранилище на ZFS с ECC. В десятом поколении на десктопных оставили только у i3 которые с индексами E и TE, в продаже их не нашел.