приблизительно, это:
root@stockholm-host:~# zpool status -v
pool: zfs
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: scrub repaired 0 in 5h15m with 1 errors on Sun May 12 05:39:29 2019
config:
NAME STATE READ WRITE CKSUM
zfs ONLINE 0 0 22
sda3 ONLINE 0 0 44
errors: Permanent errors have been detected in the following files:
<0x124>:<0x7416>
<0x147>:<0x7416>
zfs/containers/stockholm:<0x7416>
<0x16b>:<0x7416>
<0x18b>:<0x7416>
<0x1a8>:<0x7416>
А почему девайс так странно зовётся?
Fedor
Fedor
Второй
Fedor
Зфс
Mikhail
дык как человек захотел, так и назвал пул))
Fedor
А. Тут отступ не учтён
Fedor
Не виден
Fedor
Оперативка какая?
LeiDruid
кстати, для информации какой raid controller и версия OS? чисто для статистики
DISTRIB_DESCRIPTION="Ubuntu 16.04.3 LTS"
Product Name = AVAGO MegaRAID SAS 9361-8i
Fedor
Смарт что говорит?
LeiDruid
smartctl ?
LeiDruid
из того, что чисто теоретически может иметь смысл для SSD -
Wear_Leveling_Count 0x0013 089 089 000 Pre-fail Always - 643
LeiDruid
Используешь - жди потери данных
А какой бэкграунд этой практики? Будет ли лучше сделать пул силами самой zfs, при этом объявить все диски в контроллере как Raid0 ?
Fedor
А какой бэкграунд этой практики? Будет ли лучше сделать пул силами самой zfs, при этом объявить все диски в контроллере как Raid0 ?
Не будет. Зфс должен знать максимально о физических устрлйствах. Даже NCQ надо отключать.
Fedor
Если кеши в дисках - то только батарейные.
Fedor
И тому подобное
LeiDruid
Интересно. Как в таком случае показывать много дисков?
Fedor
Зфс это недёшево
Fedor
Вроде так называется
Fedor
Это делает полный проброс дисков в систему, контроллер в данном случае - всего лишь концентратор
LeiDruid
а zfs разве не должен восстанавливать сегменты, crc которых не совпало из зеркального девайса?
Т.е. я понимаю, почему у меня так, но непонятно, почему не будет работать с кучей девайсов
Fedor
а zfs разве не должен восстанавливать сегменты, crc которых не совпало из зеркального девайса?
Т.е. я понимаю, почему у меня так, но непонятно, почему не будет работать с кучей девайсов
Будет работать как угодно, но стабильно будет работать только при соблюдении всех факторов
Fedor
Обработкой ошибок должен заниматься зфс, а не контроллер
LeiDruid
мне интересно, что именно вызывает такую нестабильность
Fedor
мне интересно, что именно вызывает такую нестабильность
Если опишешь полностью свою дисковую систему с настройками, можно будет предположить.
Fedor
Рейд в виде девайсов в зфс это плохо. Проверено.
LeiDruid
LeiDruid
Вот что есть в контроллере
LeiDruid
На некоторых контроллерах нет HBA режима, поэтому я пытаюсь понять как сделать так, чтобы работало в общем случае
Mikhail
мне интересно, что именно вызывает такую нестабильность
Да что угодно от багов в ос до багов и прошивках дисков, до окисления контактов :)))
Fedor
А нафига зфс делать поверх одного раздела райд?
Fedor
Переведи в хба, сделай такую же конфигурацию с зфс
Mikhail
Делай raidz, желательно второй с hot spare
Fedor
Не, райдз может в профиль потребления не попасть
LeiDruid
Да что угодно от багов в ос до багов и прошивках дисков, до окисления контактов :)))
ну это такое... Я все-таки слонен думать, что проблема где-то в логике
LeiDruid
Переведи в хба, сделай такую же конфигурацию с зфс
не везде есть HBA. Такая проблема проявляется крайне редко, но не на единственном сервере
Fedor
В этом быть должно
LeiDruid
Делай raidz, желательно второй с hot spare
Хотелось бы избежать проблем с производительностью всех этих "экономных" рейдов
Fedor
Аналог Райд10 в зфс работает прекрасно
LeiDruid
Аналог Райд10 в зфс работает прекрасно
Если владеете теорией, поделитесь, пожалуйста: почему именно raw device предпочтительны для zfs ? Почему конкретно плохи варианты от R0 однодисковых до файлов в качестве блочных устройств?
Я пытаюсь понять принцип коррекции и как на это влияют устройства
LeiDruid
Пока рекомендация использовать исключительно raw представляется мне скорее эмпирической
LeiDruid
Хоть и не лишенной теоретической подоплеки
Fedor
Я с телефона сейчас. По факту - зфс должен знать, что уже действительно записано на диск с точностью до сектора, зфс должен знать обо всех ошибках и метриках, которые происходят на дисках.
LeiDruid
ага, спасибо
Fedor
Основная цель зфс - сохранить данные в целостности, для этого он использует ряд алгоритмов и математики. Но он для этого должен знать, что происходит, в реальном времени. Всякие кеши рейдов и тому подобное очень ему в этом мешают.
Fedor
Например - зфс из за Кеша райд думает, что данные уже записаны на диск, но по факту - нет.
Fedor
Кто его знает, как дело пойдёт дальше
Andrey
Если владеете теорией, поделитесь, пожалуйста: почему именно raw device предпочтительны для zfs ? Почему конкретно плохи варианты от R0 однодисковых до файлов в качестве блочных устройств?
Я пытаюсь понять принцип коррекции и как на это влияют устройства
По моему Федор через чур категоричен. Если контроллер не предоставляет режим хба(например смартаррэй 400 хпшный), то вполне можно каждый диск отдать как рэйд 0. Это работает.
Fedor
По моему Федор через чур категоричен. Если контроллер не предоставляет режим хба(например смартаррэй 400 хпшный), то вполне можно каждый диск отдать как рэйд 0. Это работает.
Заработает, да. Но в случае ошибок зфс это прочувствует далеко не сразу. И вероятность получить бад чексум в этом случае несколько выше.
Александр🇷🇺
Александр🇷🇺
Именно так и произошло
Александр🇷🇺
У меня тут недавно же -2 хдд из 4ых
LeiDruid
Все же, ну чисто теоретически: фс получила бэд чексумм. Что она дальше-то делает?
Mikhail
Все же, ну чисто теоретически: фс получила бэд чексумм. Что она дальше-то делает?
В теории если ошибка восстанавливаемая (<n бит), то фиксит. Если нет - то надо искать способ восстановления. И тут если fs не знает откуда тащить фикс - то значит потеря части данных.
LeiDruid
А разве это не предусматривает RAID10 или как он там фактически в zfs называется?
LeiDruid
Ведь с крайне высокой долей вероятности там будут лежать корректные данные
Mikhail
А разве это не предусматривает RAID10 или как он там фактически в zfs называется?
Так если хардварный рейд, то нет способа посмотреть заглянуть на диски. Или я неправильно понял вопрос :)
Fedor
Там чуть более глубокий алгоритм восстановления данных
Fedor
Сейчас с телефона, не опишу
Fedor
Миррор используется как достоверный источник
Fedor
Эта схема ломается в случае не-ецц памяти, когда данные повреждаются после вычисления чексумм но до записи на диск
Fedor
Чексуммы нацелены на рекавери данных в случае если диск сам потерял биты
LeiDruid
вооот
LeiDruid
и я так думаю
LeiDruid
Но память-то у меня ECC
LeiDruid
Поэтому я надеюсь очень, что парное устройство будет источником восстановления
LeiDruid
Кстати, все это кэширование же можно отключить в настройках VD
LeiDruid
На SSD это будет практически незаметно
LeiDruid
Немного только смушает необходимость установки линукса на root zfs
LeiDruid
или лучше так же - сделать руты на mdadm, а зфс собрать из /dev/sd[a-z|2 ?
Fedor
грузиться можно с чего угодно, но зфс должен быть только с raw
Fedor
и не слайсами, а полностью диском.
Fedor
А чем партиции то плохи? Alignment?
Не рекомендуются самим вендором, снижают производительность
LeiDruid
Это как раз не страшно
Fedor
Ну если у вас хоум сервер, то да :)
LeiDruid
Страшно терять данные, а деградировать на пару процентов - нормально