Посмотрите iotop -oP самая верхняя строка - это чтение из кэша (Total DISK READ ) следующая - это непосредственное чтение с дисков(Actual DISK READ) м б у вас на серваке, где хорошая скорость данные просто из разогретого кэша читаются?

Думаю кэш тут не при чём. Вообще я перекидываю данные с контейнера1 на впс1 в контейнер2 на впс2. Делаю через rsync. С впс3 на впс2 так же делал рсинк и скорость была около 100Мб/с. А вот с впс1 на впс2 - 10Мб/с

С хоста проверьте скорость, без виртуалов

С хоста проверьте скорость, без виртуалов

поменять сетевой кабель. 11Мб/с = 100 Mбит/c

Всем привет , подскажите ответ на наверное дурацкий вопрос. есть сервер PBS на него бекапятся данные, все диски шпиндельные те рандомное чтение так себе. натянул на него ZFS , дал много памяти для ARC, L2ARC нет так как нет SSD и смотрю что кеш метаданных не сильно собирается а при задачах типа GC (фактический перебор файлов) диск жёстко проседает на чтение(100 операциий с диска и 4 кб прочитанных данных). кеш при этом значительно не растёт дай думаю проверю почему метадата не кешируется , запускаю find /mnt/storage/Backups-Storage1 -type f > /test.txt и вижу что перечисление файлов прям реально идёт медленно но при этом растёт кеш. ок . кеш вырос и файнд стал пролетать быстро , при этом и GC заработал мгновенно. делаю пару бекапов и понимаю что кеш куда то пропадает. долго думал и понял что структура файлов у PBS основана на хешах и при бекапе сектора исходного диска разбрасываются по многим файлам соотвественно и кеш метадаты протухает. и при следующей попытке чтения у меня уже опять тормоза. Вопрос как заставить ZFS максимально использовать кеш метадаты в памяти да так чтобы при обновлении метадаты она её ещё и в памяти поддерживала актуальной а не выкидывала те блоки которые изменились?

А как же правила чата не запрещающие оказывать платную поддержку?

добавлю версии всего софта последние что есть в DEBIAN 11 + PBS , zfs-2.1.11-pve1 zfs-kmod-2.1.11-pve1 и вы хотите оказать платную поддержку ?

Припоминаю Вашу фразу из чатика Вари просто

и какое отношение она имеет к заданному мною вопросу ?

давайте без офтопа и не понятного тролинга. Есть вопрос , если есть люди готовые подсказать ответ или натолкнуть на дельную мысль то это было бы супер Как мне кажется первичную диагностику и полноту описания вопроса я смог соблюсти.

И побалуйтесь с префетчом

мысль дельная , но к сожалению вижу что префеч включен (кстати по дефолту) но больше настроек которые бы удержали кеш в памяти при обновлении блока особых не вижу и как бы префеч это ускорение чтения а мне надо обновлять кеш по мере записи блоков на диски ещё до момента когда эти блоки понадобятся на чтение

L2 нет я же написал

А следовало бы включить на купленный л2 Логически объясните мне У Вас есть 128гб оперативы. Вы считали меты и данных на 80гб Она положилась в кэш. Вы начали считать новые данные. Кэш заполнился до 120гб Каким образом он должен удерживать блоки которые считались час назад в кэше, если у него уже новые блоки поступают?

посомтрите на график, там где подьём там был прогон файиндом

у меня 32 из которых 25 отдано в кеш

А бекапов на сколько терабайт?

ну прям сейчас Backups-Storage1 44T 544G 43T 2% /mnt/storage/Backups-Storage1 но мне не надо кешить данные бекапов . и они по факту и не кешатся (по статистике arc_summary ) , и чтение большими блоками меня по скорости устраивает

У вас хранилище на 44 тера, тут никаких шансов это с 32 гб оперативы закешироааит

zfs set primarycache=metadata ?

Поставьте min size тогда

вот прям в этом чтате мне сказали так не делать когда боролись с проблемой чтения . и я прочувствовал правдивость этих слов как говорится на себе. В результате такого параметра отключается многопоточное чтение с дисков и префеч и я ощущал большую проблему с чтением файлов со стора , возможно тогда была какая то версия с багом , но как только включил кешить всё моментально всё потелело.

в следующий мажорный релиз приедет патч, с которым префетч будет нормально работать и с primarycache=metadata

Недавно писали в чате, что это вроде бы поправили в последнем релизе. Но это не точно

в будущем релизе, который ещё не вышел)

Парни подскажите как делать волумы с 4к блоками, в стоке слишком дорого по месту получаются

Если создать пулл, а потом волум с 4к блоксайз, то 1 тб превращается в 8)

Это измерено лично или предположение?

Если создать пулл, а потом волум с 4к блоксайз, то 1 тб превращается в 8)

У Вас везде ФС 4кб блоками оперируют

Парни подскажите как делать волумы с 4к блоками, в стоке слишком дорого по месту получаются

возвращаясь к . example a 5-wide RAIDZ-1 ... A 11-sector block will use 1 parity + 4 data + 1 parity + 4 data + 1 parity + 3 data , что вполне ожидаемо. Подробнее на https://www.delphix.com/blog/zfs-raidz-stripe-width-or-how-i-learned-stop-worrying-and-love-raidz RAID-Z also requires that each allocation be a multiple of (p+1) - оттуда же Примеры на https://openzfs.github.io/openzfs-docs/Basic%20Concepts/RAIDZ.html плохо понятны. А ситуация, когда "if recordsize is less or equal to sector size" если и может быть вообще, то только на чистом zfs без raidz. Да и то сложно придумать зачем делать рекордсайз маленьким. Его уменьшать в принципе нужно лишь в очень узких случаях - базы данных и редкие оптимизации write amplification. Ещё одно хорошее объяснение про padding block внезапно нашлось на https://www.reddit.com/r/zfs/comments/ujba3i/does_allocation_overhead_still_exist_with/ The larger your record size, the less impact this has. ... Sometimes it even works out to 0%, with RAID-Z2, a 16KB record is 4 sectors + 2 parity, is already a multiple of 3, so no padding is required.

он уже 16k в 2.11

запусти zdb скажи сколько ashift у тебя для rpool?

[root@003 ~]# zfs create -V 1T pool0/vvol1 [root@003 ~]# zfs create -b 4k -V 1T pool0/vvol2 [root@003 ~]# zfs list NAME USED AVAIL REFER MOUNTPOINT pool0 9.07T 54.7T 767K /pool0 pool0/vvol1 1.01T 55.8T 447K - pool0/vvol2 8.06T 62.8T 447K - [root@SPSAN-60H-23-003 ~]#

а что за тип пула зеркало?

и сделай пул без ключа s и пришли сколько пул занимет места zfs get used rpool/test

и сделай пул без ключа s и пришли сколько пул занимет места zfs get used rpool/test