George

парни, вопрос. - пул зфс размером 7Гб (свободно 2Гб) - zvol в пуле размером 5Гб в zvol установлен пустой минимальный дебиан, размечено ровно 4GB, один гиг остался свободным не размеченным пытаюсь сделать снапшот zvol - не дает, говорит out of space

У вас zvol значит не sparsed, т.е. Требуется 100% резервирование места, это требование и к снапшоту, т.к. При созданном снапшоте под него в худшем случае перезаписи всего он займёт 100% от размера диска.

George

Защита от окончания места

Алексей

А спарсед можно делать?

Anonymous

Кстати вопрос: как правильнее перенести папку /home/user на другой пул или диск?

George

Можете сделать sparsed zvol, но тогда ответственность наличия места будет на вас

George

А если оно кончится - фс в zvol получит io error на любую запись, чего они не очень любят

George

Кстати вопрос: как правильнее перенести папку /home/user на другой пул или диск?

Что значит перенести?

Anonymous

Что значит перенести?

Папка /home/user сейчас это rpool/userdata/user_86467

Алексей

Можете сделать sparsed zvol, но тогда ответственность наличия места будет на вас

Спасибо, то что нужно

Алексей

А если оно кончится - фс в zvol получит io error на любую запись, чего они не очень любят

Да, понимаю, это терпимо

Anonymous

Поставил новый ssd. Сделал пул zpool create ssdpool и примонтировпл в /mnt/ssd

Anonymous

Хочу на ссд перенести свою хоум папку

George

Папка /home/user сейчас это rpool/userdata/user_86467

Zfs send recv

George

Потом меняете маунтпоинт просто

Anonymous

Я и сейчас могу маунтпоинт поменять

Anonymous

Только не понятно фс перемонтировать или как. Еще вариант через usermode перенести

George

Только не понятно фс перемонтировать или как. Еще вариант через usermode перенести

ну на ваш вкус, всё равно будет момент переключения, со снапшотами и zfs send простой можно свести к минимуму

George

Можно и по тупому рсинком😁

Anonymous

Можно и по тупому рсинком😁

Рсинком уже скопировал

George

но со снапами не нужно приклад глушить на время копирования

Anonymous

Zfs list примерно такой: rpool/userdata/user123 /home/user ssdpool/user123 /mnt/ssd/user

Anonymous

rpool/USERDATA/alex_i8589s 45,1G 387G 45,1G /home/alex rpool/USERDATA/root_i8589s 133M 387G 133M /root ssdpool 45,1G 62,5G 488M /mnt/ssd ssdpool/alex 44,6G 62,5G 44,6G /mnt/ssd/alex т.е. мне надо снапшот из верхнего пула передать в самый нижний. так?

tmf

rpool/USERDATA/alex_i8589s 45,1G 387G 45,1G /home/alex rpool/USERDATA/root_i8589s 133M 387G 133M /root ssdpool 45,1G 62,5G 488M /mnt/ssd ssdpool/alex 44,6G 62,5G 44,6G /mnt/ssd/alex т.е. мне надо снапшот из верхнего пула передать в самый нижний. так?

zfs snapshot rpool/USERDATA/alex_i8589s@move zfs send -v rpool/USERDATA/alex_i8589s@move | zfs recv -v ssdpool/home/alex zfs unmount rpool/USERDATA/alex_i8589s set mountpoint=/rpool/USERDATA/alex_i8589s ssdpool/home/alex

tmf

либо вместо unmount + set mountpoint одно из двух: - usermod по замене домашней папки - отредактировать домашнюю папку в /etc/passwd

Vladislav

Боты, что рекламировать будете? Sonia Thompson Anna J

Алексей

#вопрос ребята у меня пул из 8 дисков по 8TB (два раза по raidz из 4 дисков) если я не совсем ламер, то доступного мне места должно быть 6 дисков по 8TB (поскольку 2 вылетают на чётность) = ну примерно 48TB система показывает 45TiB - что в общем-то бъется, вопросов нет я реально разметил 20TiB (создал НЕ sparse zvol) система показывает что занято 32TiB из 45TiB куда делись мои терабайты? как их извлечь? снапшотов нет, других данных нет, система свежая, голая

Vyacheslav

8тб на этикетке = 931гб*8 ~ 7.2tb реальных с диска

Vyacheslav

По остальному, нужны выводы из консоли, что, как размечено.

Алексей

8тб на этикетке = 931гб*8 ~ 7.2tb реальных с диска

Это понятно. Размечено 20тибибайтов, а занято показывает 32 тибибайта

Алексей

Это больше чем 50% оверхед

Алексей

По остальному, нужны выводы из консоли, что, как размечено.

Алексей

что еще вывести?

Fedor

там не тибибайты вроде, а данные + мета, которая тоже место занимает

Fedor

а данные по наблюдениям вроде как power2, а не 10

George

#вопрос ребята у меня пул из 8 дисков по 8TB (два раза по raidz из 4 дисков) если я не совсем ламер, то доступного мне места должно быть 6 дисков по 8TB (поскольку 2 вылетают на чётность) = ну примерно 48TB система показывает 45TiB - что в общем-то бъется, вопросов нет я реально разметил 20TiB (создал НЕ sparse zvol) система показывает что занято 32TiB из 45TiB куда делись мои терабайты? как их извлечь? снапшотов нет, других данных нет, система свежая, голая

всё просто) какой volblocksize?

George

читайте https://www.delphix.com/blog/delphix-engineering/zfs-raidz-stripe-width-or-how-i-learned-stop-worrying-and-love-raidz

George

если у вас volblocksize=8K (дефолтный), а ashift=12 (4K сектор), то на каждые 8К у вас будет писаться parity блок 4К, т.е 50% сверху. Ваши числа примерно на это и похожи

Алексей

всё просто) какой volblocksize?

George

ну да

Алексей

какой поставить лучше

George

плюс учтите, что в zfs и zpool командах free говорит о разном

George

какой поставить лучше

какой вам нужен :) смотрите таблицу в статье, смотрите свою нагрузку каким она блоком читает пишет

Алексей

спасибо парни, буду читать

Алексей

(мой скилл растет не по дням, а по часам! 💪)

George

ещё есть slop резервация 3.2% от размера пула, можно при надобности крутить https://github.com/openzfs/zfs/wiki/ZFS-on-Linux-Module-Parameters#spa_slop_shift

Алексей

ещё есть slop резервация 3.2% от размера пула, можно при надобности крутить https://github.com/openzfs/zfs/wiki/ZFS-on-Linux-Module-Parameters#spa_slop_shift

Спасибо!

Anonymous

zfs snapshot rpool/USERDATA/alex_i8589s@move zfs send -v rpool/USERDATA/alex_i8589s@move | zfs recv -v ssdpool/home/alex zfs unmount rpool/USERDATA/alex_i8589s set mountpoint=/rpool/USERDATA/alex_i8589s ssdpool/home/alex

Спасибо. Так и сделал только без снапшотов

Алексей

Zfs send без снапшотов это как?

Anonymous

Как кеш сделать если все диски уже в пулах?

Anonymous

Zfs send без снапшотов это как?