место есть root@es:/# zfs list NAME USED AVAIL REFER MOUNTPOINT stor1 2.91T 30.2T 238K /stor1 stor1/bacteria 1.28T 8.72T 1.28T /stor1/bacteria stor1/plants 1.63T 1.37T 1.63T /stor1/plants

А где у вас квота в 10 тб задана?

zfs get quota NAME PROPERTY VALUE SOURCE stor1 quota none default stor1/bacteria quota 10T local stor1/plants quota 3T local

Или df -h или zfs get all

stor1 31T 1.0M 31T 1% /stor1 stor1/plants 3.0T 1.7T 1.4T 55% /stor1/plants stor1/bacteria 10T 1.3T 8.8T 13% /stor1/bacteria

Ага, вижу

zfs get all очень много выдает, если над, скину

меня заставляют сделать такое)

тебя хотят подставить

А ремаунт на клиенте делали после задания квоты?

А ремаунт на клиенте делали после задания квоты?

да, раз 5, параметры NFS пробовал менять. Но на клиенте проблем не было, он сразу видел 10ТБ и продолжает видеть.

Есть еще такой момент, при экспорте NFS на сервере параметр async ставил, но похоже дело не в нем. Так же менял параметр zfs set sync с disabled на always

да, раз 5, параметры NFS пробовал менять. Но на клиенте проблем не было, он сразу видел 10ТБ и продолжает видеть.

Снапшоты на пуле?

Есть еще такой момент, при экспорте NFS на сервере параметр async ставил, но похоже дело не в нем. Так же менял параметр zfs set sync с disabled на always

Это тут не при чем

снпашотов нет, пул создавался на этой же версии ZFS, апдейтов не было никаких

тип файлов на ZFS имеет значение ? Там очень много мелких файлов

при создании пула компрессия включена lz4, дедуп выключен

Ashift у пула какой? И zpool status

12

тип файлов на ZFS имеет значение ? Там очень много мелких файлов

Много это сколько?

pool: stor1 state: ONLINE scan: scrub repaired 0B in 00:00:00 with 0 errors on Tue Dec 21 13:58:54 2021 config: NAME STATE READ WRITE CKSUM stor1 ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 sdbj ONLINE 0 0 0 sdbi ONLINE 0 0 0 sdbh ONLINE 0 0 0 sdbg ONLINE 0 0 0 sdbf ONLINE 0 0 0 sdbe ONLINE 0 0 0 sdbd ONLINE 0 0 0 sdbc ONLINE 0 0 0 sdbb ONLINE 0 0 0 sdba ONLINE 0 0 0 sdaz ONLINE 0 0 0 sday ONLINE 0 0 0 spares sdaw AVAIL errors: No known data errors

Много это сколько?

очень много, около 18 миллионов

Ага, raidz - поищите в сети таблицу зависимости оверхеда по объёму от кол-ва дисков в raidz .

Ну и через zdb смотреть сколько реально занято на пуле и под какие структуры

поищу, спасибо

Можете даже в чате поискать - вы не первый с вопросами по объёму

очень много, около 18 миллионов

А средний объём файла?

я искал, проверил популярные варианты, не подошло

А средний объём файла?

0.5 - 20 мб в основном тексты

я искал, проверил популярные варианты, не подошло

Что именно не подошло? Кстати у вас пул собран по именам девайсов, это не очень гут

Реимпортните его по disk/by-id

На место это не влияет, но лучше по ид собирать или по wwn

0.5 - 20 мб в основном тексты

На сервере вывод df -i совпадает с тем, что показывает nfs-клиент?

И может после реимпорта место волшебным образом появится)

Что именно не подошло? Кстати у вас пул собран по именам девайсов, это не очень гут

примерно то, что вы спрашивали, снапшоты, inode, параметры zfs и zpool не знаю что искать в общем

На сервере вывод df -i совпадает с тем, что показывает nfs-клиент?

совпадает

0.5 - 20 мб в основном тексты

Гм.. если 18 млн умножить на 20 мб- это сколько тб в сумме будет?

там где то 6 ТБ данных

но так как это тексты, финальный объем на zfs неслабо так сократился

И может после реимпорта место волшебным образом появится)

я попробую, напишу что получится

А не пробовал заливать кусками? По маске, например. Понятно, что это вряд ли причина, но просто ради прогресса хоть какого-то. Нехватка свободных айнод должна возникать только когда уже из совсем в ноль. Но до этого должно было записаться почти всё

А не пробовал заливать кусками? По маске, например. Понятно, что это вряд ли причина, но просто ради прогресса хоть какого-то. Нехватка свободных айнод должна возникать только когда уже из совсем в ноль. Но до этого должно было записаться почти всё

Пробовал, отдельно папки класть на файлуху, тоже самое.

у меня были подозрения на кеш zfs, сбрасывал его принудительно, но эффекта не было

Кэш работает только на чтение

еще были подозрения на параметры при создании пула, мб вы в них что то подозрительно усмотрите: recordsize=1M xattr=sa dnodesize=auto

Кэш работает только на чтение

получается дело не в нем

zfs get all zpool get all На pastebin

еще были подозрения на параметры при создании пула, мб вы в них что то подозрительно усмотрите: recordsize=1M xattr=sa dnodesize=auto

Рекордсайз может влиять, но опять же не в вашем случае

В общем zdb должно вам помочь в поисках потерянного обьема

Пробовал, отдельно папки класть на файлуху, тоже самое.

А локально через dd записать схожий объем не пробовал?

zfs get all zpool get all На pastebin

https://pastebin.com/NHyD936N

похоже дело в экспорте через NFS, с хоста на датасет пишет данные

убрал параметр async с NFS сервера и монтировал на клиенте без async так же zfs set sync=always, пока что копируется...посмотрим что будет.

убрал параметр async с NFS сервера и монтировал на клиенте без async так же zfs set sync=always, пока что копируется...посмотрим что будет.

Ещё раз, параметр sync на уровне пула никак не влияет на использование места

Доброй всем ночи туплю, не понимаю что не так # zpool detach HDD mirror-2 cannot detach mirror-2: only applicable to mirror and replacing vdevs Хочу удалить из пула один mirror, вроде раньше уже так делал, может чего путаю, почему сейчас не выходит

Доброй всем ночи туплю, не понимаю что не так # zpool detach HDD mirror-2 cannot detach mirror-2: only applicable to mirror and replacing vdevs Хочу удалить из пула один mirror, вроде раньше уже так делал, может чего путаю, почему сейчас не выходит

написано, что detach подходит только для зеркал или замены.

скорее всего тебе нужен remove

написано, что detach подходит только для зеркал или замены.

дада, remove

я тупанул)

Всем доброго дня. Хочу удалить файловую систему, она отмонтирована. # zfs destroy -f rpool/data/subvol-210-disk-0 cannot destroy 'rpool/data/subvol-210-disk-0': dataset is busy Как это победить без ребута?, не понимаю чем она там может быть занята если она отмонтирована

lsof?

Всем доброго дня. Хочу удалить файловую систему, она отмонтирована. # zfs destroy -f rpool/data/subvol-210-disk-0 cannot destroy 'rpool/data/subvol-210-disk-0': dataset is busy Как это победить без ребута?, не понимаю чем она там может быть занята если она отмонтирована

Было один раз такое что не смог удалить без ребута, ничего не помогало

Версия zfs какая?

Версия zfs какая?

# zfs version zfs-2.1.1-pve3 zfs-kmod-2.0.6-pve1

ребутнул, удалилось, место не добавилось))

Всем доброго дня. Хочу удалить файловую систему, она отмонтирована. # zfs destroy -f rpool/data/subvol-210-disk-0 cannot destroy 'rpool/data/subvol-210-disk-0': dataset is busy Как это победить без ребута?, не понимаю чем она там может быть занята если она отмонтирована

fuser -cuk /mountpoint_path

fuser -cuk /mountpoint_path

оно не примонтировано)

возможно в датасет летел снимок

либо он не был успешно отмонтирован

возможно в датасет летел снимок

в этом случае я кстати не знаю как выйти из ситуации

Ну,например, удалили занятый файл lsof | grep deleted Но это так,на уровне предположения

Ну,например, удалили занятый файл lsof | grep deleted Но это так,на уровне предположения

там приходит поток который сразу сохраняется на блочном устройстве средствами zfs

ребутнул, удалилось, место не добавилось))

Спустя какое то время тоже не добавилось, версия у вас вроде свежая

Спустя какое то время тоже не добавилось, версия у вас вроде свежая

добавляется потихоньку

интересное поведение)

добавляется потихоньку

Угу, бэкграунде делете, типа чтобы диски раком не встали

Угу, бэкграунде делете, типа чтобы диски раком не встали

причём тут диски?

я удалил файловую систему же

не нулями же её забивает

у меня тут в одном месте выявилось другое интересное поведение

я удалил файловую систему же

Какая разница, на ней могла лежать кучка терабайт, для cow быстрое удаление больших обьемов может приводить к печальным последствиям

синкоидом реплицирую данные в другой дц, и в других местах норм, а в одном вместо того чтобы создавать закладки, создаёт снапшоты, которые в итоге забивают место