Как пофиксить такое?

Скорее всего один из дисков помирает, вот и не фиксится. Или на обоих ошибки. Я бы смотрел в сторону btrfs check, или сразу btrfs restore, если нет бэкапов.

Перенести на ZFS

предложите варианты замены для 10ТБ и выше?

zpool create -f -o ashift=12 -o autotrim=on -O acltype=posixacl -O aclinherit=passthrough -O atime=off -O canmount=off -O devices=off -O dnodesize=auto -O normalization=formD -O xattr=sa rpool /dev/nvme0n3 Нормальный список флагов для рутового пула, или ещё что-то надо добавить? Gentoo, ноутбук.

тут есть обычный набор https://openzfs.github.io/openzfs-docs/Getting%20Started/Debian/Debian%20Bullseye%20Root%20on%20ZFS.html

Я от туда и брал, разве что вопрос с relatime есть, так ли он нужен, и нет ли какого-нибудь lazytime?

емнип при atime=off уже не важно

И да, как правильно сделать датасет в шифрованном датасете? Есть зашифрованный rpool/home, Как правильно создать rpool/home/some_dir, чтоб не вводить два раза пароль от обоих датасетов?

шифрование наследуется

Мне интересно почему люди покупают Сигейты всё ещё для чего-то важного?

Слушайте... история с фиговыми сигейтами давно в прошлом, да и касалась она самых дешёвых консумерских моделей С ынтерпрайзными дисками у них всегда всё было не хуже чем у заклятых коллег по хдд-бизнесу Мало того, тут в чате недавно выяснилось, что SMR диски Сигейта даже можно юзать с ЗФС, тогда как ВД-шные..

Слушайте... история с фиговыми сигейтами давно в прошлом, да и касалась она самых дешёвых консумерских моделей С ынтерпрайзными дисками у них всегда всё было не хуже чем у заклятых коллег по хдд-бизнесу Мало того, тут в чате недавно выяснилось, что SMR диски Сигейта даже можно юзать с ЗФС, тогда как ВД-шные..

Просто как пример от 21-ого года

10k дисков от wd из 200к?)

Посмотрите за прошлые года (2019-2020), мы можем ещё обсудить 0.77% у Тошибы

Зачем мне прошлые года, когда стата за 2021г по таким вещам уже можно считать устаревшей?

А, ну вам виднее как часто выпускают новые диски и меняют технологию на заводах по их изготовлению :) Если Вам нравятся Сигейты - выбор Ваш, удачи, она Вам понадобится :)

Ну как сказать, blackblaze слегка другую стату даёт

Ну как сказать, blackblaze слегка другую стату даёт

Сигейты юзает множество энтерпрайзов, как и хитачи, а вот вд я чтото не встречал в хранилках. Да и в целом подобные заявления без какого либо существенного обоснования сродни холивару. А с тем учетом, как вд недавно в штаны наделала с rpm у дисков и смр в нас сегменте, так и вовсе заявления сомнительны...

у нас на работе в основном Сигейт и Тошибу юзают, хотя против ВД ничего не имею на самом деле, ну кроме их SMR-подлянок)

HGST (ex-Hitachi) я и не рекомендовал, даже при том что это один бренд с WD сейчас. Я только про линию Gold \ DC.

Наткнулся тут на работу одного студента про OpenZFS, вдруг кому будет интересно-полезно. Это про использование PMEM для ZFS. https://os.itec.kit.edu/downloads/2021_MA_Schwarz_SyncIOForZFS.pdf

немогу пока дать, коробок с хламом в серверной, а я далеко

к сожалению нет, я с Украины, и серверная в зоне боевых действий...

со всеми вытикающими...

потому что это реально рулетка, китаец не признается никогда что там стоит

я отказался от таких переходников в пользу прямых без свичевых

А что кстати под zfs самое удобное ?🤔

солярис. нативнее и удобнее просто некуда. на самом деле, всё равно, где.

ему-же сановское железо подавай ? И бесплатная версия, это по сути - бета ?

альфы и бэты одних продуктов бывают стабильней lts других продуктов.

А, тогда не суть уже. Думаю они уже действительно хламом стали. В общем, потенциально я понял в чём была проблема у Вас. Некоторые pcie свитчи не корректно предельную очередь на чтение\запись сообщают для ОС. В итоге NVMe определяется условно с очередями 15/0/0

чочочо свичи сообщают? о том сколько чего у них нвме сами сообщают, свич тут никак не может помешать. его дело пакеты пцие роутить ну и еще pci-pci мостом прикидываться

Либо баг кернела, потому что фикситься это строчкой "modprobe nvme poll_queues=4", после этого вместо 500 мбайт было 2347 мегабайт на Xeon v2 (на Ryzen этого делать не надо было) https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Tuning-the-performance-of-Intel-Optane-SSDs-on-Linux-Operating/post/1334953

мне кажется речь там о другом а именно о переходе с работы по прерываниям на поллинг

https://lore.kernel.org/linux-nvme/360fdd5a-f2ce-86c6-55e5-a15ff2f9e1cc@kernel.dk/T/ вот чото еще чисто софтовы баг

Либо баг кернела, потому что фикситься это строчкой "modprobe nvme poll_queues=4", после этого вместо 500 мбайт было 2347 мегабайт на Xeon v2 (на Ryzen этого делать не надо было) https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Tuning-the-performance-of-Intel-Optane-SSDs-on-Linux-Operating/post/1334953

А каким образом измерял скорость?

К вопросам по ZFS, их два 1) Можно ли применять к ZFS простую логику тестов (записал 250ГБ рандомных данных, подождал 5 минут, запустил тесты) или нужно использовать другой подход? 2) Где можно человеческим языком почитать про настройки ZFS для volume block size и насколько он критичен? Правильный запрос в гугл с lmgtfy тоже прекрасно подойдёт Список планируемых тестов: https://pastebin.com/qmHBV8nv

После ещё пары часов опытов - проблема не к кернеле. А в самом диске. mte220s слишком странно ведёт себя с серверным процом. На Ryzen он показывает 2600-2700 мбайт, на Epyc 700-800. P.S. И да, я понимаю, что разница в частоте, но соседние диски не показывают такое падение

Это диск подо что ?