может у вас арк в настройках ограничен 192 гигабайтами?

Вообще туда не лазил … Как поставил 🤔🤷🏻‍♂️закину скоро еще данных … тут скоре - почему он не кэширует когда я одни и теже файлу гоняю (((

А файлов у вас на какой объем?

Что то около 260

И прямо все 260 по честному читаете

Что значит - по честному ?)

Как файлы гоняете?

Как файлы гоняете?

Монтаж - это префетч по идее, может он его не кэширует 🤷🏻‍♂️😭

Скорее монтажка все локально закешировала

Они по другому толком работать и не могут

У вас пару сообщений выше было 260 Грига

Всех приветствую, есть несколько вопросов по дедупликации, подскажите пожалуйста 1) Какой максимальный размер DDT может храниться в ОЗУ? в разных источниках я видел что пишут этот предел как 1/4 от ARC max, если это так, то можно ли как то увеличить этот предел не увеличивая ARC max? 2) как высчитать точный размер DDT? я находил несколько вариантов, самый точный из них пишут это zdb -b <pool_name>, где нужно размер bp count умножить на 320, и получится размер таблицы в байтах. другой вариант это zdb -S <pool_name>, где total blocks нужно так же умножить на 320, но конечный результат получается разным в 1,5-2 раза. то есть например в первом случае получается 2гб, во втором 800МБ. так же натыкался на третий вариант zpool status -D poolname, где нужно кол-во DDT entries умножить на размер in core, и в этом случае получается еще одна цифра отличная от предыдущих. какой в итоге способ верный? 3) в какой момент выгружается DDT в озу? если она находится в ARC, то например после ребута его размер минимален arcstat.py time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c 09:58:05 0 0 0 0 0 0 0 0 0 3.3M 84G

Можно ли перенести meta на недавно подключенный special через операцию replace единственного диска в пуле на другой диск того же размера?

с обычных vdevs? так нельзя, сейчас - только через перезапись данных

1) ddt это мета, лимиты на мету через параметры можно выставить, все возможные параметры (практически актуальный список) тут https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html 2) 320байт это средний размер, он зависит от версии кода, в мастере он около 200 байт чтоли сейчас. из zdb -S стоит брать итоговое количество блоков 3) при первом доступе, когда-то сделали возможность предзагрузить их форсированно, не помню правда как

Всем привет! Прошу поделиться опытом загрузки Linux с ZFS: какой дистрибутив и способ установки. Информация нужна для доклада на тему Linux boot from ZFS на конференции FrOSCon . Сам добился загрузки openSUSE путём миграции корня после инсталляции штатными средствами на ZFS.

https://openzfs.github.io/openzfs-docs/Getting%20Started/index.html см. Секцию root on zfs для каждого дистра. Я сам на дебиане с ним, там всё просто - с livecd создаётся пул, потом штатно на него ставится через debootstrap ось.

Всем привет! Прошу поделиться опытом загрузки Linux с ZFS: какой дистрибутив и способ установки. Информация нужна для доклада на тему Linux boot from ZFS на конференции FrOSCon . Сам добился загрузки openSUSE путём миграции корня после инсталляции штатными средствами на ZFS.

а с кхм астрой так сработает?:)

Спасибо большое за ответ! по поводу параметров да нашел уже zfs_arc_meta_limit_percent, и он выставлен в 75%, получается 3/4 от ARC, но глядя в cat /proc/spl/kstat/zfs/arcstats, arc_meta_used==~1.5гб(размер ARC - 42ГБ), хотя при том что таблица дедупликации около 11гб(посчитал как вы сказали, из вывода zdb -S взял Total allocated blocks и умножил на 200, хоть у меня и не мастер, но все равно цифры отличаются на много), и особо не растет, причем сейчас идет запись тестовыми файлами. почему вообще задался этим вопросом, потому что при нагрузке с винды большим файлом на том с включенной дедупликацией нагрузка бывает падает в ноль и плавает и через zpool iostat -vy видно что происходит чтение с дисков в этот момент, если нагружать том без дедупа, то такого не происходит. то что можно выгрузить форсированно это прям хорошо, попробую поискать, если вдруг вы вспомните в какую сторону глянуть, буду премного благодарен

вопрос про производительность: есть очень большой zfs pool , используется как cold storage. Читаю из него файлы утилиткой dar (с tar аналогично) , получаю среднюю read bandwidth ~ 2-3mb/sec (по zpool iostat). Вопрос - почему так медленно и как сделать быстрее? $ zfs version zfs-0.8.3-1ubuntu12.15 zfs-kmod-0.8.3-1ubuntu12.15 под ubuntu 20.04

А если смотреть не по zpool iostat?

смотрю ещё по pv за 76 часов перекачалось 2.83 ТБ, т.е в среднем получаем ~ 10mb/sec

Если ты через сеть качаешь, то она может быть узким местом.

качаю, но там 10gbit и точно может работать быстрее

Может и работает сильно разные вещи

Может и работает сильно разные вещи

вопрос про производительность: есть очень большой zfs pool , используется как cold storage. Читаю из него файлы утилиткой dar (с tar аналогично) , получаю среднюю read bandwidth ~ 2-3mb/sec (по zpool iostat). Вопрос - почему так медленно и как сделать быстрее? $ zfs version zfs-0.8.3-1ubuntu12.15 zfs-kmod-0.8.3-1ubuntu12.15 под ubuntu 20.04

Не знаю про dar, но tar по умолчанию читает маленькими блоками (10kB). Попробуйте как-то увеличить размер блока dar и будет значительно быстрее..

А что там по iostat?

iostat -zxm 5

вопрос про производительность: есть очень большой zfs pool , используется как cold storage. Читаю из него файлы утилиткой dar (с tar аналогично) , получаю среднюю read bandwidth ~ 2-3mb/sec (по zpool iostat). Вопрос - почему так медленно и как сделать быстрее? $ zfs version zfs-0.8.3-1ubuntu12.15 zfs-kmod-0.8.3-1ubuntu12.15 под ubuntu 20.04

проверил: с SSD диска файлик на 4ГБ : 4.21GiB 0:00:25 [ 171MiB/s] так проверял: cat big_file |pv|ssh -i backup-key backup-server "cat - > /backups/..../test"

Какой средний размер файла? Какие параметры датасета отличаются от дефолта?

файлов много мелких

Я думаю, что проблема в dar. Он там может сжимать/шифровать - у вас это используется? если да - то как?

файлов много мелких

avgrq-sz

И пул на хардах? Возможно, это и есть ответ

вде диски rareq-sz~ 4-6

да, на хардах

А если сделать cat big-file-from-pool |... то тоже медленно?

Ну и если dar сейчас используется для восстановления из бэкапа (я так понимаю читается из zfs и пишется куда-то на локальный диск) - может это проблема локального диска (ему не хватает скорости - особенно если много мелких файлов), а не zfs?

Проблема скорее всего в локальном диске (с которого делается архив) и настройках dar, а не в zfs..

Проблема скорее всего в локальном диске (с которого делается архив) и настройках dar, а не в zfs..

вы читаете много мелких файлов (с HDD), потом еще их сжимаете, в этом и проблема. Один большой файл всегда лучше кучи мелких файлов))

Кардинально думаю никак. Я бы пересмотрел технологический процесс если возможно - чтобы мелкие файлы создавались на SSD например..

dar без компрессии я имею ввиду. На zfs кстати включена компрессия или нет?

включена - lz4

Какой средний размер файла? Какие параметры датасета отличаются от дефолта?