В смарте даже есть параметр который это сообщает

ZFS при том, что это активно обновляемая файловая система самого современного уровня, и специалисты профильного чата вдруг могли бы знать, что если не реализована, то хотя бы обсуждается возможность более гибкого реагирования на появление таких ошибок. Я вполне могу представить ситуацию, когда софт при невозможности восстановления одного байта предложил бы не уничтожать все остальные терабайты, а что-то сделать с единственным файлом

ZFS при том, что это активно обновляемая файловая система самого современного уровня, и специалисты профильного чата вдруг могли бы знать, что если не реализована, то хотя бы обсуждается возможность более гибкого реагирования на появление таких ошибок. Я вполне могу представить ситуацию, когда софт при невозможности восстановления одного байта предложил бы не уничтожать все остальные терабайты, а что-то сделать с единственным файлом

софт не "уничтажает оставшиеся терабайты". Если данные невозможно восстановить - пул будет помечен, как нерабочий. Дальнейшее восстановление данных это уже вне области zfs, увы. Но это не означает, что их нельзя (попытаться) восстановить

Спасибо, Вот это я и надеялся услышать. Просто где-то встречалась фраза, что в случае, если избыточности не достаточно для восстановления информации, то это приводит к потере всего пула. Хотелось узнать подробности.

софт не "уничтажает оставшиеся терабайты". Если данные невозможно восстановить - пул будет помечен, как нерабочий. Дальнейшее восстановление данных это уже вне области zfs, увы. Но это не означает, что их нельзя (попытаться) восстановить

А где-то помечается, в каком месте невозможно восстановить? И если пул нерабочий - то как, например, просто удалить тот файл, в котором не удается восстановить один байт?

нельзя. И почему мы считаете, что там "файл" ? =)

@gmelikov Может, Вы как разработчик знаете ответ на вопрос?

Файл - это просто как наглядный пример, что для пользователя проблема может быть совсем небольшая из-за одной конкретной ошибки, но она вдруг может перерасти в потерю всей вообще информации.

на какой?

Есть пул raidz1, на котором проходил ресилверинг одного диска. По неизвестной причине вдруг другой диск перешел в статус REMOVED. После перегрузки этот диск появился снова и начался ресилверинг на нем. Вот вдруг в процессе ресилверинга этих уже двух дисков будет обнаружена ошибка в единственном месте, которую избыточность этого пула не может исправить. Допустим, это место относится к единственному байту единственного файла. Будет ли как-то помечен только этот файл как неисправный, или же zfs решит, что появилось два неисправных диска в пуле с избыточностью 1 и на основании этого весь пул признает негодным?

честно говоря я не тестил лично, по идее только 1 блок будет помечен проблемным, можно сэмитировать и потестить на файликах

Вот такое поведение я бы ожидал. Что проблема локализируется, а весь пул в остальном остается живым

а мета дублируется даже на 1 диске по умолчанию, так что 1 байт проблемный не должен что-то явно сломать

ну риск всё равно есть что очень повезёт и обе копии конкретной меты побьются, тогда да, увы, всё что ниже этой меты по дереву - каша

здесь вон люди вообще за ZVOL топят - а там, простите, никаких файлов и никакой меты вообще нет =)

мета там конечно же есть - стоит разделять мету файла как его описание, и мету ZFS как описание каждого блока данных, его чексуммы, дерево Меркла и тд

Да, это понятно. А какова вероятность попадания этого байта в мету? Другими словами - какой (примерно) процент от всего объема диска приходится на мету?

Да, это понятно. А какова вероятность попадания этого байта в мету? Другими словами - какой (примерно) процент от всего объема диска приходится на мету?

корка это конечно неожиданно =)

а в остальном всё ожидаемо вроде

Корка?

core dump

простите, профдеформация

книжку я так и не нашел, ее таки придется покупать

но вообще - свежий openzfs имеет специальный режим где даже при полностью недоступном одном vdev из пула можно попытаться почитать из него. Результаты конечно же не оптимистичны будут т.к. данные 1 файла размазываются на разные vdevs

Кстати, нашел FreeBSD Mastery: ZFS онлайн в русском переводе http://onreader.mdl.ru/FreeBSDMasteryZFS/content/index.html

Кстати, нашел FreeBSD Mastery: ZFS онлайн в русском переводе http://onreader.mdl.ru/FreeBSDMasteryZFS/content/index.html

По просьбе автора доступ к данной странице ограничен. Если вы не помните короткое имя сайта, обращайтесь за получением пароля для доступа к закрытым материалам cloudcomputing:mdl.ru

По просьбе автора доступ к данной странице ограничен. Если вы не помните короткое имя сайта, обращайтесь за получением пароля для доступа к закрытым материалам cloudcomputing:mdl.ru

А вот вторая книжка (FreeBSD Mastery: Advanced ZFS), более профессиональная - без ограничений: http://onreader.mdl.ru/AdvancedZFS/content/index.html

А вот вторая книжка (FreeBSD Mastery: Advanced ZFS), более профессиональная - без ограничений: http://onreader.mdl.ru/AdvancedZFS/content/index.html

интересно. есть ключ слова для гугления? но это всё равно из области рекаверинга

Вы серьёзно считаете статистику?

Почему от вас прёт такая агрессия и снобизм? Я просто поинтересовался, какой процент приходится на мету. В будущем я, например, собираюсь вынести мету на SSD и для этого тоже такая статистика была бы интересна

Для подсчёта размера SSD на вынос меты есть буквально первые 15 ссылок гугла

zfs_max_missing_tvds https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#zfs-max-missing-tvds

хм. занятное, но не пойму, что такое "top-level vdevs" ...

не видел честно говоря таких явных изысканий :) не буду шутить про 50% размер меты тоже плавает от юзкейса, 1-5% от пула в потолке, я бы сказал, с учётом дублирования

https://www.reddit.com/r/zfs/comments/16hwbmk/when_is_a_vdev_not_a_toplevel_vdev/ Эффективно, что угодно)))))))))) Но есть сценарии когда это не совсем так

@DanteAvalon Вот в таком стиле отвечать у вас никогда рука не поднимается?

не видел честно говоря таких явных изысканий :) не буду шутить про 50% размер меты тоже плавает от юзкейса, 1-5% от пула в потолке, я бы сказал, с учётом дублирования

эээ.. что "эффективно" и что "не совсем так" ? :\

Вам? Нет конечно

А, ну значит, зря я не воспринимал это как личное.

))) dd if=/dev/zero of=/home/temp/t.2 bs=1024 count=1 skip=1000 dd if=/dev/zero of=/home/temp/t.3 bs=1024 count=1 skip=1000 (internal error: Value too large for defined data type Aborted (core dumped))

А вот всё, welcome на терминологию

Вы бот чтоли?

Не переживайте, к каждому человеку с которым я общаюсь у меня вполне конкретное отношение. Если человек задаёт некорректный вопрос, отказывается гуглить, и это происходит в n-ый раз - да, к нему появляется специфичное отношение

Вы бот чтоли?

zfs_max_missing_tvds https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#zfs-max-missing-tvds

Выдаю ссылки из гугла когда люди не могут погуглить сами, ага

Перед первым сегодняшним вопросом я и гуглил, и в книжке "FreeBSD Mastery: ZFS" ответ искал. И последующие ответы нескольких участников чата показали, что ответ не очевиден и требуют экспериментов. А вы сразу же стали учить меня гуглом пользоваться, приведя в пример совершенно неадекватные поисковые запросы.

Потому что Вы искали то, что не имеет отношения к ZFS

Это вы так поняли вопрос. А другие мне прояснили касательно именно zfs

То есть от 500тер реально меты может быть на 5теров!!!😱😱😱