D⁣en⁣is
Как пофиксить такое?
Скорее всего один из дисков помирает, вот и не фиксится. Или на обоих ошибки. Я бы смотрел в сторону btrfs check, или сразу btrfs restore, если нет бэкапов.
Okhsunrog
Vladislav
Seagate X20 20TB посыпался на 3-й день работы 😂 качество огонь Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 2
Vladislav
Мне интересно почему люди покупают Сигейты всё ещё для чего-то важного?
Vladislav
предложите варианты замены для 10ТБ и выше?
Vladislav
шило на мыло
Vladislav
Линейка DC имеет меньше AFR нежели Seagate
Wild_Wind
zpool create -f -o ashift=12 -o autotrim=on -O acltype=posixacl -O aclinherit=passthrough -O atime=off -O canmount=off -O devices=off -O dnodesize=auto -O normalization=formD -O xattr=sa rpool /dev/nvme0n3 Нормальный список флагов для рутового пула, или ещё что-то надо добавить? Gentoo, ноутбук.
Nick
autotrim возможно зря
Nick
может сделать нагрузку когда не надо
Nick
особенно на десктопных ссд
Wild_Wind
Оке, буду ручками запускать fstrim. В остальном, норм?
Wild_Wind
тут есть обычный набор https://openzfs.github.io/openzfs-docs/Getting%20Started/Debian/Debian%20Bullseye%20Root%20on%20ZFS.html
Я от туда и брал, разве что вопрос с relatime есть, так ли он нужен, и нет ли какого-нибудь lazytime?
Wild_Wind
Итого: zpool create -f -o ashift=12 -o autotrim=off -O acltype=posixacl -O aclinherit=passthrough -O atime=off -O canmount=off -O devices=off -O dnodesize=auto -O normalization=formD -O xattr=sa rpool /dev/disk/by-partuuid/8ff58846-66b6-424a-bea8-664177c12d85
Wild_Wind
И да, как правильно сделать датасет в шифрованном датасете? Есть зашифрованный rpool/home, Как правильно создать rpool/home/some_dir, чтоб не вводить два раза пароль от обоих датасетов?
Art
Мне интересно почему люди покупают Сигейты всё ещё для чего-то важного?
Слушайте... история с фиговыми сигейтами давно в прошлом, да и касалась она самых дешёвых консумерских моделей С ынтерпрайзными дисками у них всегда всё было не хуже чем у заклятых коллег по хдд-бизнесу Мало того, тут в чате недавно выяснилось, что SMR диски Сигейта даже можно юзать с ЗФС, тогда как ВД-шные..
Vladislav
Просто как пример от 21-ого года
Aba
Vladislav
10k дисков от wd из 200к?)
Посмотрите за прошлые года (2019-2020), мы можем ещё обсудить 0.77% у Тошибы
Aba
Посмотрите за прошлые года (2019-2020), мы можем ещё обсудить 0.77% у Тошибы
Зачем мне прошлые года, когда стата за 2021г по таким вещам уже можно считать устаревшей?
Aba
В общем заявления весьма сомнительные...
Vladislav
Зачем мне прошлые года, когда стата за 2021г по таким вещам уже можно считать устаревшей?
А, ну вам виднее как часто выпускают новые диски и меняют технологию на заводах по их изготовлению :) Если Вам нравятся Сигейты - выбор Ваш, удачи, она Вам понадобится :)
Vladislav
И под новыми дисками я не имею ввиду перемаркировку модельного ряда*
Aba
А, ну вам виднее как часто выпускают новые диски и меняют технологию на заводах по их изготовлению :) Если Вам нравятся Сигейты - выбор Ваш, удачи, она Вам понадобится :)
Сигейты юзает множество энтерпрайзов, как и хитачи, а вот вд я чтото не встречал в хранилках. Да и в целом подобные заявления без какого либо существенного обоснования сродни холивару. А с тем учетом, как вд недавно в штаны наделала с rpm у дисков и смр в нас сегменте, так и вовсе заявления сомнительны...
Art
Ну как сказать, blackblaze слегка другую стату даёт
но при этом больше всего они именно Сигейт используют я недавно как раз смотрел за Q1 22, там есть странности, 12ТБ модель Сигейта отказ 6%, у 14 отказ 4 и у 16 отказ 0.8% Мне по статисте Блэкблейза всегда было интересно, насколько равномерно распределяются диски разных вендоров по нагрузкам. Всё-таки наверное в каких-нибудь холодных хранилищах диски изнашиваются медленее
Aba
у нас на работе в основном Сигейт и Тошибу юзают, хотя против ВД ничего не имею на самом деле, ну кроме их SMR-подлянок)
Да я в целом тоже, за исключением этих "подлянок" с смр и rpm, просто к тому, что заявления уж больно голословны (Х хуже У)
Vladislav
HGST (ex-Hitachi) я и не рекомендовал, даже при том что это один бренд с WD сейчас. Я только про линию Gold \ DC.
Aba
HGST (ex-Hitachi) я и не рекомендовал, даже при том что это один бренд с WD сейчас. Я только про линию Gold \ DC.
а сейчас уже поди разбери. В DC точно хитачи (может и не все модели, но множество), в голд вроде вд только (но это не точно :))
Shaker
Наткнулся тут на работу одного студента про OpenZFS, вдруг кому будет интересно-полезно. Это про использование PMEM для ZFS. https://os.itec.kit.edu/downloads/2021_MA_Schwarz_SyncIOForZFS.pdf
Shaker
А у кого-то есть оно в работе с PMEM100 в режиме AppDirect ?
Alexandr
к сожалению нет, я с Украины, и серверная в зоне боевых действий...
Alexandr
переходни там лежат в коробке с хламом
Vladislav
к сожалению нет, я с Украины, и серверная в зоне боевых действий...
А, тогда не суть уже. Думаю они уже действительно хламом стали. В общем, потенциально я понял в чём была проблема у Вас. Некоторые pcie свитчи не корректно предельную очередь на чтение\запись сообщают для ОС. В итоге NVMe определяется условно с очередями 15/0/0
Alexandr
да, это 1 из причин
Alexandr
а те что у меня они еще делили не х16 а х4 на 4шт nvme
Alexandr
со всеми вытикающими...
Alexandr
тоесть проблемы минимум две
Vladislav
со всеми вытикающими...
Тогда да, с этого стоило начинать тогда наш диалог про свитчи с али :)
Alexandr
я отказался от таких переходников в пользу прямых без свичевых
Alexandr
потому что это реально рулетка, китаец не признается никогда что там стоит
Vladislav
потому что это реально рулетка, китаец не признается никогда что там стоит
Тут я довольно конкретную модель приводил, и я сам знаю, что там Broadcom чип стоит. И мне даже ЗИП прислали, ибо возникла небольшая проблема с одной платой. Поэтому китаец китайцу рознь
Vladislav
я отказался от таких переходников в пользу прямых без свичевых
В целом, сейчас прямые стоят дешевле. Но прямые не сделать на 8 дисков к примеру.
Alexandr
Тут согласен
Alexandr
И бифуркация еще должна быть
Egor
Никаких системдов, никакого дерьма, только юних-лайк
Fedor
солярис. нативнее и удобнее просто некуда. на самом деле, всё равно, где.
Shaker
солярис. нативнее и удобнее просто некуда. на самом деле, всё равно, где.
ему-же сановское железо подавай ? И бесплатная версия, это по сути - бета ?
Shaker
refub sun на рынке это копье конечно, но и древность тоже.
Ivan
ему-же сановское железо подавай ? И бесплатная версия, это по сути - бета ?
альфы и бэты одних продуктов бывают стабильней lts других продуктов.
Shaker
Как повезет
Vladislav
чочочо свичи сообщают? о том сколько чего у них нвме сами сообщают, свич тут никак не может помешать. его дело пакеты пцие роутить ну и еще pci-pci мостом прикидываться
Либо баг кернела, потому что фикситься это строчкой "modprobe nvme poll_queues=4", после этого вместо 500 мбайт было 2347 мегабайт на Xeon v2 (на Ryzen этого делать не надо было) https://community.intel.com/t5/Blogs/Products-and-Solutions/Memory-Storage/Tuning-the-performance-of-Intel-Optane-SSDs-on-Linux-Operating/post/1334953
Vladislav
мне кажется речь там о другом а именно о переходе с работы по прерываниям на поллинг
Я делал только пункт про очередь, потому что dmesg показывал 15/0/0 мне на очередь в сторону nvme
Δαρθ
https://lore.kernel.org/linux-nvme/360fdd5a-f2ce-86c6-55e5-a15ff2f9e1cc@kernel.dk/T/ вот чото еще чисто софтовы баг
Vladislav
Окей, не пофиксили это в 20.04 (5.4)
Vladislav
В 22.04 (5.15) всё ок сразу Scratch this, неправ
Vladislav
А каким образом измерял скорость?
fio 8k 32io 5min randread Direct=1 Buff=0
Vladislav
После ещё пары часов опытов - проблема не к кернеле. А в самом диске. mte220s слишком странно ведёт себя с серверным процом. На Ryzen он показывает 2600-2700 мбайт, на Epyc 700-800. P.S. И да, я понимаю, что разница в частоте, но соседние диски не показывают такое падение
Vladislav
Это диск подо что ?
Под vdev в raidz1 выданный через iSER в сторону вари. Смотрю какие диски использовать
Vladislav
А вообще изначальный спор был про pcie switch vs bifur для ZFS