Evgenii
скорее всего грозит именно тем, что дочерний будет не шифрованный, подключай его в папку и все
Evgenii
командой zfs rename можно не только переименовать датасет, а переместить его внутрь другого датасета.
уазывавается полный старый путь и полный новый путь
Evgenii
короче связь между родителями и дочерними - чисто формальная, их можно перемещать. Влияет это на наследуемые свойства
Konstantin
ага, спасибо, так понятнее
Konstantin
а если у меня включено шифрование при создании пула, тогда как?
Konstantin
так же?
Evgenii
не знаю, шифрование еще не пробовал, возможно там есть особенности свои
Evgenii
(просто попытался обьяснить суть датасетов и иерархии)
Konstantin
не, с датасетами понятно вышло, спасибо
Konstantin
проверил, у созданного на шифрованном пуле датасета тоже включено шифрование
Konstantin
походу то самое наследование, ибо создавал без опций
Evgenii
да по умолчанию опции наследуются щас вроде
Konstantin
сейчас создал raidz пул с одним фейковым диском, отключил его и заливаю данные
Konstantin
как зальются - попробую заменить на живой диск
Konstantin
где потом посмотреть распределение данных по дискам?
Evgenii
распределение будет одинаковым.. что диск есть, что его нет
Evgenii
те куски, которые должны были литься на этот диск никуда литься не будут
Konstantin
то есть то что на диск что-то залилось мне покажет resilvering?
Evgenii
zpool status даст процент восстановления
Evgenii
да
Konstantin
ок, спасибо
Vladislav
Нужны советы по тюнингу ZFS на Debian 10 и Proxmox 6
На офф сайте только советы под подрезку ARC кеша
https://pve.proxmox.com/wiki/ZFS:_Tips_and_Tricks#Install_on_a_high_performance_system
Fedor
основной тюнинг - выбор конфигурации медленных дисков под нагрузку, подрезка л1арк, аттач л2арк с учётом требования хедеров для него из л1
Fedor
ещё - миррор зил, чтоб синхронные записи быстро пролетали. для дисков обязательна поддержка конденсаторами.
Fedor
удалённо - точно, локально - не знаю: опензфс научился в unmap, так что имеет смысл ставить флаг discard на диски
Vladislav
Умеет ли Линукс для опций
options zfs zfs_arc_min=4294967296
options zfs zfs_arc_max=68719476736использовать сокращения в виде 2G ?
Vladislav
у Фряхи такое возможно
vfs.zfs.arc_max="200M"
Fedor
не видел
Fedor
у меня не линукс, увы
Vladislav
а что?
Fedor
ядро иллюмос
Fedor
предок опенсоляриса
Fedor
ну и на одном из хостов солярис
Vladislav
пока сделал небольшой скриптик, чтоб не считать байты
https://gist.github.com/click0/82beeb7ebaa90fbe14460b3d8dbe4016
Fedor
есть ещё всякие гуляющие по инету скрипты arcstat и прочие, которые позволяют мониторить зфс и принимать решения по тюнингу
Fedor
префетчи те же, например
Vladislav
насколько помню, они для Фряхи
Vladislav
а не, есть и для Линукса
Vladislav
ыыы, их почти все надо дпиливать :)
Fedor
для фряхи, да? :) не обольщайтесь, сударь.
root@Sun:/export# kstat -p zfs:0:arcstats | grep prefetch | wc -l
10
Fedor
зфс это вообще не при фряху и линукс
Fedor
оно растёт из сан-оракл, потом отпочковалось из опенсорялиса в опензфс
Fedor
в фре была своя реализация зфс тоже вроде как. не щупал. и, вроде как, недавно на опензфс переехали.
Fedor
в опензфс, причём, там 5 значений вместо 10-ти.
Vladislav
скрипты зависят от реализации ZFS в ОС
Fedor
зависят, но они элементарно адаптируются.
Fedor
суть механизма то не меняется
Fedor
где sysctl, где kstat, где ещё чего-то
Vladislav
на гите zfsonlinux/zfs/ у скриптов много лиеуксовой привязки
Vladislav
Вот на Фряхе
# python dbufstat
Cannot open /proc/spl/kstat/zfs/dbufs for reading
Fedor
это скрипт из солярисовской экосистемы
Fedor
хотя не, там proc нету
Vladislav
# sysctl -a | grep dbuf
vfs.zfs.dbuf_cache_lowater_pct: 10
vfs.zfs.dbuf_cache_hiwater_pct: 10
vfs.zfs.dbuf_metadata_cache_overflow: 2595439
vfs.zfs.dbuf_metadata_cache_shift: 6
vfs.zfs.dbuf_cache_shift: 5
vfs.zfs.dbuf_metadata_cache_max_bytes: 655360
vfs.zfs.dbuf_cache_max_bytes: 1310720
net.inet.tcp.sendbuf_auto_lowat: 0
net.inet.tcp.sendbuf_max: 16777216
net.inet.tcp.sendbuf_inc: 524288
net.inet.tcp.sendbuf_auto: 1
kstat.zfs.misc.arcstats.dbuf_size: 52493760вот как dbufs соотнести?
Fedor
найти минимальный набор того, что нужно. в вашем случае с аркмин и аркмакс надо начинать
Fedor
потом уже смотреть чего и как, искать соответствующие скрипты
Vladislav
та я уже нашел, минимальный тюнинг сделал
Fedor
иначе зароетесь по самые гланды. если уж интересно покопаться, тогда велком ту официал администрейшн гайд для зфс он линукс
Vladislav
а дальше, когда все виртуалки смигрируют, буду смотреть
Fedor
и только потом надо будет уже пробовать копать дальше
Vladislav
Вопрос:
Хочу зарезервировать место под систему, чтоб виртуалки не переполнили массив
root@pve2:~# df -h / /rpool /rpool/ROOT /rpool/data
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
rpool/ROOT/pve-1 781G 7,8G 773G 1% /
rpool 773G 1,0M 773G 1% /rpool
rpool/ROOT 773G 1,0M 773G 1% /rpool/ROOT
rpool/data 773G 1,0M 773G 1% /rpool/data
Vladislav
виртуалки, я так понял, в /rpool/data живут.
Vladislav
сколько места резервировать под систему?
Fedor
плохая идея в системный пул данные лить
Vladislav
вот поэтому хочется обезопасить себя
Vladislav
Еще в системе есть 4 SSD, собранные в raid10.
Хочется пересобрать и отдать часть места под logs и cache
В связи с этим вопросы, тип RAID ? raid1 или raid10?
Сколько места надо под logs и cache ?
Fedor
зфс лучше отдавать диски в чистом виде - так называемый HBA. Она должна знать, что действительно было записано на диск.
Fedor
для лог стоит использовать только специфичные диски - с батарейкой, и slc, чтобы долго жили. много места не надо. у меня максимум на несколько гигабайт забивались.
Vladislav
диски отдаются в чистом виде, raid1 aka mirror планируется делать средствами ZFS
Vladislav
Пока вижу такую оценку размеров лога и кеша:
- One Pool, 12 Hard Drives, dual 6 drive RAIDz2 with 6x 10TB Seagate Enterprise drives each.
- Mirrored 100GB Intel S3700 as SLOG for ZIL, two striped 512GB Samsung 850 Pro's as L2ARC
Fedor
Райдз при интенсивной записи положит полку
Fedor
Гарантированные иопсы считать по медленным хардам
Fedor
И л2 не ставить, пока оперативка не будет забита ецц памятью до максимума сервака
Fedor
Иначе будут сайд эффекты
Fedor
Это грубо говоря
Fedor
Fedor
про ссд для зил ничего пока сказать не могу - изучать надо
Konstantin
эксперимент с копированием данных на рейдз с фейковым диском с последующей заменой прошел успешно
Konstantin
у меня правда теперь проблема - я сделал рейдз на 4 дисках по 1тб, доступный размер - 2.5тб
Konstantin
я его отдал в виртуалку, заливаю в нее сейчас данные
Konstantin
виртуалка пишет свободно ещё 800гб, а прокс говорит что зфс запонена на 90%, и свободно только 100гб