Fedor
По поводу конфликтов надо смотреть точки пересечений уже
Fedor
И смотреть текущую реализацию нфс от зфс в конкретной системе
Rodion
Смотри, если у тебя в системе есть пул datapool, то по умолчанию есть и корневая файлосистема datapool
По умолчанию она монтируется как /datapool, но у тебя как я понял в /opt/datapool
И вот каталог /opt/datapool ты и экспортировал через НФС, как я вижу
Соответственно, файлы с клиента туда и попадают
/datapool нет, zfs list говорит:
[root@storage /]# zfs list
NAME USED AVAIL REFER MOUNTPOINT
datapool 4.40G 33.9G 4.40G /opt/datapool
datapool/fs1 26.5K 33.9G 26.5K /opt/datapool/fs1
Где файл в 4 GB, про который в datapool USED сказано, подскажи, плиз?
Fedor
Fedor
может снапшоты
Fedor
может просто в /datapool но скрыт
Rodion
может просто в /datapool но скрыт
Это как?? Ни разу не сталкивался, что б root в linux файлы не видел...
Fedor
zfs list -t snapshot
Fedor
Это как?? Ни разу не сталкивался, что б root в linux файлы не видел...
скрытые - это с точкой в начале
Fedor
что файлы что папки
Rodion
Это как?? Ни разу не сталкивался, что б root в linux файлы не видел...
[root@storage ~]# cd /datapool
-bash: cd: /datapool: No such file or directory
Fedor
видны в ls -la но не иавдны в просто ls например
Fedor
[root@storage ~]# cd /datapool
-bash: cd: /datapool: No such file or directory
может он не подключен
Rodion
может он не подключен
В смысле не подключен? Т.е. MOUNTPOINT в zfs list это не то место куда файлы складываются?
Aba
Что это вы тут такое рассказываете?))) В zfs на bsd/linux заработал механизм zfs share? Помнится ранее это была лишь прерогатива соляры...
Fedor
прям охота теперь проверить, неужели не занесли
у меня зфс на солярках все.)
Aba
прям охота теперь проверить, неужели не занесли
у меня зфс на солярках все.)
Ну на фряхе12.0 мудохался, мудохался с этим zfs share, а потом оказалось, что это вообще ансаппортед в бсд и чеши ручками экспорт настнаивай)
Fedor
https://openzfs.github.io/openzfs-docs/man/8/zfs-share.8.html
Fedor
Похоже, что там интеграция с самбой и нфс сервером таки имеется
Fedor
Но их надо поставить
Δαρθ
зфс еще удобна тем, что под каждую шару можно выделить свой датасет без лишних приседаний и специализировать его параметры под нагрузку именно на этой шаре
ну так стандартный нфс шаритель этому никак не мешает
Rodion
точно не в /datapool/fs1
сделал zfs destroy datapool/fs1, теперь zfs list говорит, что у меня только есть только datapool, но в нём я вижу каталог fs1 и в нём все файлы, что пытался в шару по nfs писать (!!!) Сюрр :)
Δαρθ
Denis
Rodion
в шаре было crossmnt в опциях?
zfs create -m /opt/datapool /dev/sdb
zfs create datapool/fs1
в /etc/exports - /opt/datapool 192.168.25.0/24(rw,no_root_squash)
на клиенте был смонтирован /opt/datapool/fs1 в /mnt и в /mnt писАл файлы.
Art
сделал zfs destroy datapool/fs1, теперь zfs list говорит, что у меня только есть только datapool, но в нём я вижу каталог fs1 и в нём все файлы, что пытался в шару по nfs писать (!!!) Сюрр :)
да не сюр, ты просто невнимательно читаешь) Без обид, друг)
Rodion
да не сюр, ты просто невнимательно читаешь) Без обид, друг)
Тут обидно не то, что "невнимательно читаешь", о то, что никто толком не говорит, в каком именно месте невнимательно :)
Denis
колеги подскажите, сделал detach сбойного диска в draid теперь немогу понять как обратно то вернуть? attach не хочет
Denis
он вставил хотспаре реплейсом хотспаре тоже не хочет
Denis
через hotspare кажись получилось :)
George
А что надёжнее: силами zfs или через /etc/export ?
под капотом там одно и то же. Через проперти удобнее настройки хранить, но они ограниченнее по возможностям настроек
George
колеги подскажите, сделал detach сбойного диска в draid теперь немогу понять как обратно то вернуть? attach не хочет
а в чём цель сбойный диск возвращать? Мб там с портом проблема, если считаете что диск ок
Denis
а в чём цель сбойный диск возвращать? Мб там с портом проблема, если считаете что диск ок
диск новый, там проблема была с кабелем судя по всему, в целом хотелось именно обкатать вариант замены диска в draid
Denis
кабель пока не заменил были ошибки на write заменил на CKSUM стали валится
Denis
просто я так понимаю аттач отработал бы если бы я условно расширял пул например у меня 7 дисков draid1 добавил в бы в пул еще 7 draid1, но тогда не понял как правильно вернуть диск обратно
George
колеги подскажите, сделал detach сбойного диска в draid теперь немогу понять как обратно то вернуть? attach не хочет
но вообще скоре вам нужен был offline online, и для кейсов замены дисков - replace
George
attach detach это про мирроры
Denis
но вообще скоре вам нужен был offline online, и для кейсов замены дисков - replace
ну вот тоже так понял уже поторопился
Denis
я по привычке делал у меня везде зеркала :)
Denis
а тут решил по эксперементировать
George
вот это интересно
Denis
но пока через spare я его загнал щас заребилдится попробую очистить
Denis
в итоге пока сделал так:
zpool add data spare /dev/disk/by-id/ata-ST8000VX004-2M1101_WSD8TECV
zpool replace data draid1-0-0 ata-ST8000VX004-2M1101_WSD8TECV
щас ребил идет по идее когда закончит нада будет:
zpool detach data draid1-0-0 чтоб вернуть его в AVAIL
и дальше на статус спаре смотреть
Δαρθ
Art
zfs create -m /opt/datapool /dev/sdb
zfs create datapool/fs1
в /etc/exports - /opt/datapool 192.168.25.0/24(rw,no_root_squash)
на клиенте был смонтирован /opt/datapool/fs1 в /mnt и в /mnt писАл файлы.
я воспроизвёл всё на стенде, поведение то же самое)
Пояснения:
1) Во-первых первая команда должна была выглядеть (и выглядела) вот так:
zpool create datapool -m /opt/datapool /dev/sdи
То есть сначала создаешь пул, а параметр -m задаёт точку монтирования для его корневой файлосистемы
2) в /etc/exports - /opt/datapool 192.168.25.0/24(rw,no_root_squash)
Так ты экспортировал каталог opt/datapool
Который является точкой монтирования для пула datapool
И если ты на стороне клиента монтируешь шару как /mnt и пишешь в /mnt/fs1, то ПОЧЕМУ-ТО оно будет писаться НЕ в зфс-файлосистему datapool/fs1
Почему сам не знаю, но так всегда было. Я всегда экспортировал каждую файлосистему отдельно. Но это было до того, как я открыл одну чудную опцию зфс. О ней далее..
Art
zfs create -m /opt/datapool /dev/sdb
zfs create datapool/fs1
в /etc/exports - /opt/datapool 192.168.25.0/24(rw,no_root_squash)
на клиенте был смонтирован /opt/datapool/fs1 в /mnt и в /mnt писАл файлы.
Пути решения:
1) Экспортировать через через /etc/exports/ каждую файлосистему отдельно. То есть должно быть:
/opt/datapool/fs1 192.168.25.0/24(rw,no_root_squash)
2) Использовать в /etc/exports/ опцию crossmnt, как коллеги подсказывают
Наверное должно бытьь так:
/opt/datapool 192.168.25.0/24(rw,crossmnt,no_root_squash)
Но у меня не взлетело!
3) Экспортировать через zfs sharenfs
То есть просто выполняешь команду:
zfs set sharenfs='rw=192.168.25.0/24' datapool
И вот так, по способу 3 всё будет красивое) Все создаваемые в зфс файлосистемы будут появляться на сторон клиента в /mnt/, или куда смонтируешь
Rodion
Пути решения:
1) Экспортировать через через /etc/exports/ каждую файлосистему отдельно. То есть должно быть:
/opt/datapool/fs1 192.168.25.0/24(rw,no_root_squash)
2) Использовать в /etc/exports/ опцию crossmnt, как коллеги подсказывают
Наверное должно бытьь так:
/opt/datapool 192.168.25.0/24(rw,crossmnt,no_root_squash)
Но у меня не взлетело!
3) Экспортировать через zfs sharenfs
То есть просто выполняешь команду:
zfs set sharenfs='rw=192.168.25.0/24' datapool
И вот так, по способу 3 всё будет красивое) Все создаваемые в зфс файлосистемы будут появляться на сторон клиента в /mnt/, или куда смонтируешь
просто огромный РЕСПЕКТ !! Эх, у нас есть аналог byMecoffie, типа ДваПиваЭтомуГосподину? :)
п. 2 у меня тоже не взлетел.
пока ограничился п.1, но раз п.3 по феншую - перейду на него, всё равно хранилка пока только запускается.. :)
Denis
как только сделал zpool detach data draid1-0-0 пул вернулся в исходное состояние
Denis
NAME STATE READ WRITE CKSUM
data ONLINE 0 0 0
draid1:5d:7c:1s-0 ONLINE 0 0 0
ata-TOSHIBA_HDWT380_79M0A036FB0G ONLINE 0 0 0
ata-ST8000VN004-3CP101_WP00FWYZ ONLINE 0 0 0
ata-WDC_WD80EFBX-68AZZN0_VR325RWK ONLINE 0 0 0
ata-ST8000VN004-3CP101_WRQ01VXL ONLINE 0 0 0
ata-WDC_WD80EFBX-68AZZN0_VR329P3K ONLINE 0 0 0
ata-ST8000VX004-2M1101_WSD8TG6C ONLINE 0 0 0
spare-6 ONLINE 0 0 0
draid1-0-0 ONLINE 0 0 0
ata-ST8000VX004-2M1101_WSD8TECV ONLINE 0 0 0
spares
draid1-0-0 INUSE currently in use
ata-ST8000VX004-2M1101_WSD8TECV INUSE currently in use
zpool detach data draid1-0-0
data ONLINE 0 0 0
draid1:5d:7c:1s-0 ONLINE 0 0 0
ata-TOSHIBA_HDWT380_79M0A036FB0G ONLINE 0 0 0
ata-ST8000VN004-3CP101_WP00FWYZ ONLINE 0 0 0
ata-WDC_WD80EFBX-68AZZN0_VR325RWK ONLINE 0 0 0
ata-ST8000VN004-3CP101_WRQ01VXL ONLINE 0 0 0
ata-WDC_WD80EFBX-68AZZN0_VR329P3K ONLINE 0 0 0
ata-ST8000VX004-2M1101_WSD8TG6C ONLINE 0 0 0
ata-ST8000VX004-2M1101_WSD8TECV ONLINE 0 0 0
spares
draid1-0-0 AVAIL
вдруг кому пригодится :)
Вадим «Дым» Илларионов ☭
Всем привет.
Подскажите, пожалуйста, есть ли какие нюансы при установке (споткнулся на проксмоксе, до выбора ФС даже не дошло ещё) на рейд-контроллер в режиме НВА?
Адаптек-7805:
- накопители разинитил,
- перевёл контроллер в НВА.
Результат при попытке установки — дисков не обнаружено...
Δαρθ
просто огромный РЕСПЕКТ !! Эх, у нас есть аналог byMecoffie, типа ДваПиваЭтомуГосподину? :)
п. 2 у меня тоже не взлетел.
пока ограничился п.1, но раз п.3 по феншую - перейду на него, всё равно хранилка пока только запускается.. :)
А какие у вас оси? а то у меня на линуксе вполне летит crossmnt...
Rodion
А какие у вас оси? а то у меня на линуксе вполне летит crossmnt...
Тут все опыты проводил на 2х виртуалках с RockyLinux 9.1 minimal install, версию zfs сейчас посмотрю.
Δαρθ
192.168.3.0/24(ro,insecure,all_squash,anonuid=65534,anongid=65534,async,subtree_check,crossmnt) вот с такими опциями (anongid/uid к делу точно не относятся) оно как-то само и маунтит под-датасеты
Rodion
NFS ставил так: dnf install -y https://zfsonlinux.org/epel/zfs-release-2-2.el9.noarch.rpm
Rodion
Fedor
не подскажете, если в одном из vdev’ов заменить диски на большего размера, размер vdev’а увеличится?
Maksim
не подскажете, если в одном из vdev’ов заменить диски на большего размера, размер vdev’а увеличится?
гугл/реддит говорит что да "Yes, just replace the drives one at a time and make sure the auto expand property is set to yes or true"
Fedor
сделал scrub и нашлись несколько битых файлов от 2 до 100Гб
им совсем всё?
George
сделал scrub и нашлись несколько битых файлов от 2 до 100Гб
им совсем всё?
Битые конкретные блоки, они будут ошибку чтения давать. Остальное вычитать чем-то по вкусу, а битые блоки можно попробовать в сырую узнав смещения через zdb достать, и руками изучать что в них не так. К примеру)
Fedor
Битые конкретные блоки, они будут ошибку чтения давать. Остальное вычитать чем-то по вкусу, а битые блоки можно попробовать в сырую узнав смещения через zdb достать, и руками изучать что в них не так. К примеру)
тоже вариант спасибо
там ещё образы и архивы попали, некоторые архивы не перемещаются, хотя ошибки открытия и чтения нет
George
Zfs send ещё умеет в режим, когда не падает на битых блоках, а заменяет их спец строкой аля deadbeef, можно тоже глянуть, как более ленивый вариант
Fedor
не самый лучший всё же
Alexander
slog должен быть защищен? т.е. можно ли в качестве slog Добавлять один диск или же нужен вариант зеркало или raidz?
Maksim
зависит от ценности данных. насколько я понимаю, если slog-девайс помрёт, вы потеряете данные за последние несколько секунд, но не весь массив
Alexander
правильно понимаю, что потеря возможна только по событиям непланового завершения работы?
т.е. потеря питания или крах системы
George
правильно понимаю, что потеря возможна только по событиям непланового завершения работы?
т.е. потеря питания или крах системы
при потере slog потеря данных будет только если он умер при ребуте, и на нём были данные
George
если он умрёт на живой системе, то данные в буфере в ОЗУ есть и будут успешно записаны
George
т.е. да, если данные важны - надо резервировать
Alexander
понял, спасибо. т.е. получается на не продакшн системе (домашний нас) использование slog без избыточности вполне вариант
George
понял, спасибо. т.е. получается на не продакшн системе (домашний нас) использование slog без избыточности вполне вариант
на домашнем nas проще рассмотреть возможность юзать sync=disabled )