Добрый день! Экспериментирую, пытаясь въехать в тему ZFS... Был массив RAID10 с системой на другом диске. Систему переустановил. Как теперь восстановить массив, сохранив данные на нем?

zpool import что показывает?

zpool import что показывает?

как мало мне для счастья надо было! :) Спасибо, восстановил. Оказывается, неправильно имя указывал, а не знал, что команда без параметров список выводит.

zpool import что показывает?

кстати, на будущее: информация на дисках вся хранится? Если их переставить в другой комп и, соответственно, поменять местами диски, то он все равно правильно восстановит массив?

кстати, на будущее: информация на дисках вся хранится? Если их переставить в другой комп и, соответственно, поменять местами диски, то он все равно правильно восстановит массив?

да, если зеркало - можно только один диск подтянуть из двух. Будет статус degraded но прочитает

он там пишет, если до этого на другом железе использовалось вроде флаг -f требует

он там пишет, если до этого на другом железе использовалось вроде флаг -f требует

Спасибо! Сложнее всего начать, а там уже само пойдет. До этого опыт только с железками был.

А операционка какая? У меня подобные параметры для бсд с ацл в домене. Только стримов нет

FreeBSD (в данный момент 13.2), Сейчас экспериментирую с настройкой по ману и нахожу, что рекомендуемый вариант, т.е: aclmode = restricted aclinherit = passthrough acltype = nfsv4 и в самбе: vfs objects = zfsacl Вот прямо вот так, без чего бы то ни было еще, - это вполне рабочая схема. А еще обнаружил, что "zfsacl: acesort" вообще уже нигде нет, ни в мане, ни в сырцах. https://www.samba.org/samba/docs/current/man-html/vfs_zfsacl.8.html

FreeBSD (в данный момент 13.2), Сейчас экспериментирую с настройкой по ману и нахожу, что рекомендуемый вариант, т.е: aclmode = restricted aclinherit = passthrough acltype = nfsv4 и в самбе: vfs objects = zfsacl Вот прямо вот так, без чего бы то ни было еще, - это вполне рабочая схема. А еще обнаружил, что "zfsacl: acesort" вообще уже нигде нет, ни в мане, ни в сырцах. https://www.samba.org/samba/docs/current/man-html/vfs_zfsacl.8.html

aclmode, aclinherit зависит от zfs set aclmode, aclinherit

Для пула, а vfs objects давненько. Acesort действительно упразднено

FreeBSD (в данный момент 13.2), Сейчас экспериментирую с настройкой по ману и нахожу, что рекомендуемый вариант, т.е: aclmode = restricted aclinherit = passthrough acltype = nfsv4 и в самбе: vfs objects = zfsacl Вот прямо вот так, без чего бы то ни было еще, - это вполне рабочая схема. А еще обнаружил, что "zfsacl: acesort" вообще уже нигде нет, ни в мане, ни в сырцах. https://www.samba.org/samba/docs/current/man-html/vfs_zfsacl.8.html

X streams не использовал никогда. Лучше чтобы оно в самбе было всё файлами, чтобы не искать что и где легло в правах. Ещё остался вопрос про sa=...

aclmode, aclinherit зависит от zfs set aclmode, aclinherit

ну да, я про настройки zfs и писал.

а в чём вообще глубинный смысл юзания расшаривания самбов и нфсов средствами ZFS а не станлартными средствами OS?

а в чём вообще глубинный смысл юзания расшаривания самбов и нфсов средствами ZFS а не станлартными средствами OS?

Ну, в данном случае мы говорим про расшаривание средствами OS. Просто с zfs(у меня во всяком случае) лет 10 назад был ряд сложностей с использованием acl, сейчас пересмотрел этот момент и обнаружил, что там всё "из коробки" работает)

Ну, в данном случае мы говорим про расшаривание средствами OS. Просто с zfs(у меня во всяком случае) лет 10 назад был ряд сложностей с использованием acl, сейчас пересмотрел этот момент и обнаружил, что там всё "из коробки" работает)

а, понял. тогда претензии снимаю )))

Ну, в данном случае мы говорим про расшаривание средствами OS. Просто с zfs(у меня во всяком случае) лет 10 назад был ряд сложностей с использованием acl, сейчас пересмотрел этот момент и обнаружил, что там всё "из коробки" работает)

Я использую настройки фс aclmode=passthrough aclinherit=passthrough rpool

aclmode=discard aclinherit=restricted описан как наследование и изменение запрещено, то в самбе нужно явно указывать наследование, а в консоли мы получим ограничение на изменение атрибутов на файлы средствами ос.

Part 3: Building Your Own FreeBSD-based NAS with ZFS  | Klara Inc https://klarasystems.com/articles/part-3-building-your-own-freebsd-based-nas-with-zfs/

Тут подробно описано.

Таким образом будут Ace давлеть над обычными

Народ, вопросец по домашнему использованию (нагрузка: торренты/фильмы/бэкапы/nextcloud/подобное): есть 10 дисков (5 шт годичной давности и 5 штук новых) — какой пул из этого. стоит собрать для вменяемой отказоустойчивости? Думаю про raidz2 или 2 группы raidz1

Народ, вопросец по домашнему использованию (нагрузка: торренты/фильмы/бэкапы/nextcloud/подобное): есть 10 дисков (5 шт годичной давности и 5 штук новых) — какой пул из этого. стоит собрать для вменяемой отказоустойчивости? Думаю про raidz2 или 2 группы raidz1

Raidz2 переживет вылет двух дисков (но не факт, что переживет ребилд :), две группы raidz1 вылет 2-х дисков могут и не пережить

Угу, уже помышляю вернуться к изначальной идее вписать новые диски в качестве зеркал для старых

Part 3: Building Your Own FreeBSD-based NAS with ZFS  | Klara Inc https://klarasystems.com/articles/part-3-building-your-own-freebsd-based-nas-with-zfs/

ну так они также, как я ранее цитировал ман самбы, советуют: change aclmode to restricted. This will cause chmod to error out rather than clobber the ACEs. change aclinherit to passthrough. The default behavior is to remove the write and write_owner permissions; setting it to passthrough tells OpenZFS to inherit all ACEs without any modifications.

Raidz2 переживет вылет двух дисков (но не факт, что переживет ребилд :), две группы raidz1 вылет 2-х дисков могут и не пережить

А почему может не пережить?

Угу, уже помышляю вернуться к изначальной идее вписать новые диски в качестве зеркал для старых

у меня домашний raidz2 работает на 10-ти дисках 5- и 10-летней давности и ничего, полёт нормальный) но, тут, конечно, смотря, что за диски)

ну так они также, как я ранее цитировал ман самбы, советуют: change aclmode to restricted. This will cause chmod to error out rather than clobber the ACEs. change aclinherit to passthrough. The default behavior is to remove the write and write_owner permissions; setting it to passthrough tells OpenZFS to inherit all ACEs without any modifications.

Ну в общем и целом из коробки работает хорошо теневые копии, наследие прав, лог действий, корзина и даже антивирус. Правда корзина работает в пределах датасета, если в шаре несколько датасетов, то будет работать только для одного из них, для остальных файлы будут пропадать. Не перемещает самба файлы в корзину из датасета в датасет. Потому я шарю датасетами

zfs set snapdir=visible rpool раньше нужно было делать, теперь нет. Оно нормально и со скрытыми работает, главное правильно маску указать

Ну в общем и целом из коробки работает хорошо теневые копии, наследие прав, лог действий, корзина и даже антивирус. Правда корзина работает в пределах датасета, если в шаре несколько датасетов, то будет работать только для одного из них, для остальных файлы будут пропадать. Не перемещает самба файлы в корзину из датасета в датасет. Потому я шарю датасетами

ну, у меня были в своё время сложности с правами и наследованием, поэтому приятно удивился, как оно хорошо из коробки работает, корзина как то никогда не требовалась, теневые копии раньше тоже не использовал, а вчера за полчаса настроил, а антивирус, - так еще с того времени, как его нужно было в исходники при сборке самбы подпихивать)

Единственное с чем я пока не разобрался zfs set xattr=sa

ну, у меня были в своё время сложности с правами и наследованием, поэтому приятно удивился, как оно хорошо из коробки работает, корзина как то никогда не требовалась, теневые копии раньше тоже не использовал, а вчера за полчаса настроил, а антивирус, - так еще с того времени, как его нужно было в исходники при сборке самбы подпихивать)

Сейчас с пакетов clamav, vfs objects=virusfilter

Ну и параметры для антивируса, всё есть в доке

Кто-то может объяснить xattr=sa?

Для пула или датасета

у меня домашний raidz2 работает на 10-ти дисках 5- и 10-летней давности и ничего, полёт нормальный) но, тут, конечно, смотря, что за диски)

WD40EFZX

Linux - Extended Attributes (xattr=on|off|sa|dir) The xattr property defines how ZFS will handle Linux' eXtended ATTRibutes in a file system. The default setting of on (which maps to dir) stores those attributes in hidden sub directories. This can result in a performance impact as multiple attribute lookups may be required when accessing a file. Changing this setting to sa (System Attributes) means the attributes are stored directly in the inodes, resulting in less IO requests when extended attributes are in use. For a file system with many small files this can have a significant performance improvement - for file systems with fewer, larger files then the impact is less significant. The default setting of on/dir is for backwards compatability as the original implementation of ZFS did not have the facility of storing extended attributes in inodes

Типа для Линукс

WD40EFZX

я бы сделал так - все 10 в raidz2 и еще один того же или большего объёма в spare для спокойствия. ну и разумеется, автоматический мониторинг смарта и оперативная сигнализация о включении spare диска в работу, хотя бы на почту) а для торрентов рекомендую отдельный диск без массива. поищите, тут эта тема много обсуждалась.

я бы сделал так - все 10 в raidz2 и еще один того же или большего объёма в spare для спокойствия. ну и разумеется, автоматический мониторинг смарта и оперативная сигнализация о включении spare диска в работу, хотя бы на почту) а для торрентов рекомендую отдельный диск без массива. поищите, тут эта тема много обсуждалась.

У меня их всего 10

У меня их всего 10

штош...

Debian 12, не могу экспортировать пул. busy и всё тут. ничего не смонтировано, процессы в lsof тоже его никакие не держат. всё что мог перепробовал

zpool export -f тоже не помогает

zfs 2.2.2

Debian 12, не могу экспортировать пул. busy и всё тут. ничего не смонтировано, процессы в lsof тоже его никакие не держат. всё что мог перепробовал

Бывает. Ребут помогает) На всякий случай покажите вывод: mount | grep zfs

доброго дня! коллеги, подскажите - какой смысл от zfs при использовании lun для iscsi target? помимо возможности уйти от аппаратного рейд контроллера. ведь самые вкусности вроде дедупликации и сжатия становятся неприменимы? или я сильно заблуждаюсь?

доброго дня! коллеги, подскажите - какой смысл от zfs при использовании lun для iscsi target? помимо возможности уйти от аппаратного рейд контроллера. ведь самые вкусности вроде дедупликации и сжатия становятся неприменимы? или я сильно заблуждаюсь?

Почитай что такое zvol

/ban Андрей

Братва. Я сори, тк чот плохо гуглится. Кажется вроде тут кто-то кидал ссылки на проект вроде в Github по использованию ZFS под Винду. Но НЕ ZFSin а что-то другое. Ни у кого ссылки названия не осталось? Спс.

нашел https://github.com/openzfsonwindows/openzfs/releases

хз.. мб переименовались...

это старое что ли получается...??? https://github.com/openzfsonwindows/ZFSin

ОК. Сенькс

Колееги, доброе время суток! Посоветуйте как лучше. На гипервизоре создан пул zfs, в этом пуле образ диска для виртуалки с OMV для всякого меняющегося медиаконтента. Вопрос как сделать: 1. zfs на гипервизоре с отключенным сжатием, zfs на виртулке с lz4 2. ЗФС на гипервизоре с LZ4, на виртуалке ЗФС с выключенным сжатием. 3. ЗФС на гипервизоре с LZ4 - на виртуалке с какойнибудь другой ФС, например ext4 4. Что-то другое

Колееги, доброе время суток! Посоветуйте как лучше. На гипервизоре создан пул zfs, в этом пуле образ диска для виртуалки с OMV для всякого меняющегося медиаконтента. Вопрос как сделать: 1. zfs на гипервизоре с отключенным сжатием, zfs на виртулке с lz4 2. ЗФС на гипервизоре с LZ4, на виртуалке ЗФС с выключенным сжатием. 3. ЗФС на гипервизоре с LZ4 - на виртуалке с какойнибудь другой ФС, например ext4 4. Что-то другое

если есть возможность, конечно, лучше бы диски отдать напрямую в вм и там зфс подымать

если есть возможность, конечно, лучше бы диски отдать напрямую в вм и там зфс подымать

К сожалению, такой возможности нет. В пуле уже несколько образов других ВМ.

а ты диски по iscsi с omv передавай)

ну смотри, zfs поверх zfs - х2 оперативы

...или нет?

ну смотри, zfs поверх zfs - х2 оперативы

Если так, то наверное имеет смысл в виртуалке использовать lvm?

https://telegra.ph/Vybor-fajlovoj-sistemy-dlya-storj-12-28

https://telegra.ph/Vybor-fajlovoj-sistemy-dlya-storj-ch2-01-16

https://telegra.ph/Vybor-fajlovoj-sistemy-dlya-storj-ch2-01-16

чет zfs медленная какая-то

чет zfs медленная какая-то

невероятно медленная, согласен

но тут всегда говорят что зфс это не про скорость

а я тут жду, пока сервак освободится, чтобы трунас туда накатить на 60тб оно же на хардах, как говно будет себя вести

https://telegra.ph/Vybor-fajlovoj-sistemy-dlya-storj-ch2-01-16

это один диск?

это один диск?

да.

тогда норм

ну смотри, zfs поверх zfs - х2 оперативы

Глупости. Этот параметр настраиваемый. На гипервизоре можно отключить, в ВМ оставить

Помоему в принципе глупость делать zfs внутри zfs.

зачем можно хотеть zfs на хосте: оверкоммит места в образах, ускорение за счёт умного кеша, снапшоты, избыточность хранения. Зачем *после этого* ещё делать вторым слоем zfs в VM -- я не понимаю

поставьте там какойнить ext3 и хрен с ним

Колееги, доброе время суток! Посоветуйте как лучше. На гипервизоре создан пул zfs, в этом пуле образ диска для виртуалки с OMV для всякого меняющегося медиаконтента. Вопрос как сделать: 1. zfs на гипервизоре с отключенным сжатием, zfs на виртулке с lz4 2. ЗФС на гипервизоре с LZ4, на виртуалке ЗФС с выключенным сжатием. 3. ЗФС на гипервизоре с LZ4 - на виртуалке с какойнибудь другой ФС, например ext4 4. Что-то другое

Я также за вариант 3. У себя, во всяком случае, так делаю.

а я тут жду, пока сервак освободится, чтобы трунас туда накатить на 60тб оно же на хардах, как говно будет себя вести

не совсем, ZFS как раз и создан с расчётом на харды

По сравнению с прочими системами он способен на большее, при должно количестве хардов, а вот если речь про sata ssd\nvme, то тут забей

По сравнению с прочими системами он способен на большее, при должно количестве хардов, а вот если речь про sata ssd\nvme, то тут забей

на 12 хардов планировалось, этого достаточно, чтобы хорошо стало?

на 12 хардов планировалось, этого достаточно, чтобы хорошо стало?

Ну сперва решите, зеркала или рейд

я думал о 2х страйпах с raidz2

на 12 хардов планировалось, этого достаточно, чтобы хорошо стало?

хорошо - довольно условное понятие

на 12 хардов планировалось, этого достаточно, чтобы хорошо стало?

Define Хорошо

Уровень аппаратного рейда с кэшем? Нет Удобство управления и тюнинга? Да Pg_bench/fio/sqlite показывает определенные циферки? Только если покрутить настройки и сперва циферки нужны

https://telegra.ph/Vybor-fajlovoj-sistemy-dlya-storj-ch2-01-16

Непонятны условия выполнения тестов. Сколько памяти отдано под arc? запись синхронная? Meta вынесена как? запись/чтение потоком/случайным блоком? Ну и как бы странно тестировать сабж на одном диске. Понятно, что ext4 и другие ос в таких условиях будет быстрее. Если что - я не адепт зфс.