nikolay
zfs list
NAME USED AVAIL REFER MOUNTPOINT
swift 12.6T 368T 792G /swift
swift/obj 11.8T 380T 56K -
nikolay
и на томе (и на пуле) уже занято почти 12 Тб, так выводит команда..
inqfen
куда больше чем метаданные будет играть роль block size например
inqfen
metadata зависит от количества и размера файлов
inqfen
Во, нашел
If it's helpful for anyone, here are the estimates I used for sizing some metadata vdevs. Metadata is roughly the sum of:
a) 1 GB per 100k multi-record files.
b) 1 GB per 1M single-record files.
c) 1 GB per 1 TB (recordsize=128k) or 10 TB (recordsize=1M) of data.
d) 5 GB of DDT tables per 60 GB (recordsize=8k), 1 TB (recordsize=128k) or 10 TB (recordsize=1M) of data, if dedup is enabled.
e) plus any blocks from special_small_blocks.
nikolay
про файлы не знает, а про recordsize знает
наверное все же про volblocksize, вы с dataset не путаете?
nikolay
с dataset кстати такого эффекта не наблюдаю..
nikolay
экспериментируем дальше.. с размером блока
nikolay
если volblocksize 8k (default), то показывает что занято немного побольше
nikolay
zfs list
NAME USED AVAIL REFER MOUNTPOINT
swift 25.1T 356T 792G /swift
swift/obj 11.8T 368T 56K -
swift/obj1 12.5T 368T 56K -
nikolay
zfs create -b 512k -V 95T swift/obj2
nikolay
zfs list
NAME USED AVAIL REFER MOUNTPOINT
swift 115T 266T 792G /swift
swift/obj 11.8T 278T 56K -
swift/obj1 12.5T 278T 56K -
swift/obj2 90.0T 356T 56K -
nikolay
при 512k volblocksize - занято 90 Тб)) o_O
inqfen
наверное все же про volblocksize, вы с dataset не путаете?
и то и то, metadata от recordset зависит тоже, на эту тему читал где-то в tuning zfs, но подробно уже не помню зависимость так что врать не стану
nikolay
такое ощущение что zvol по умолчанию не тонкие.. ок, проверяем с флагом -s ))
nikolay
zfs create -s -b 512k -V 95T swift/obj2
nikolay
NAME USED AVAIL REFER MOUNTPOINT
swift 792G 380T 792G /swift
swift/obj2 56K 380T 56K -
nikolay
вот. флаг -s делает как надо
nikolay
zfs list
NAME USED AVAIL REFER MOUNTPOINT
swift 792G 380T 792G /swift
swift/obj 56K 380T 56K -
swift/obj1 56K 380T 56K -
swift/obj2 56K 380T 56K -
nikolay
но почему я считал что zol по умолчанию делает тонкие тома.. и второй вопрос - почему при создании толстого zvol с volblocksize например 32к мне zfs list показывает что занято не 95Т (размер zvol), а 11-12Т...
Δαρθ
ну шо, 5.19 EOL, значит опять полгода сидеть на EOLьнлм ядре ожидая нового релиза zfs...
Ivan
ну шо, 5.19 EOL, значит опять полгода сидеть на EOLьнлм ядре ожидая нового релиза zfs...
поставь lts ядро. делов то )
Ivan
или можно выбрать один из двух стульев. eol vs 6.0.
c 6.0 работает zfs, но не факт что всё прям хорошо с ним, т.к. официальной поддержки нет.
Δαρθ
nikolay
central
бекап сервер это что?
Александр
Несовместимы? Вот вообще несовместимы? Не разные версии (и разные наборы свойств), а несовместимы?
Александр
Он не может "просто" не принимать. Какая диагностика?
Александр
... ну так в чем сложность поапгрейдить модуль?
Александр
zfs -V на обеих машинах?
Александр
Кто слева?
Александр
Хммм.. Очстранно. Я б привел прод к 2.1.6 и посмотрел
Александр
Тогда откатить версию на резерве
Александр
Просто погуглить. Вообще странно шопесец
Александр
Хммм... Попробовать грохнуть незавершенное восстановление и начать с начала?
Александр
просто грохнуть недотянутую копию
Ivan
какая ошибка то ?
Ivan
а, всё )
Александр
Ни разу с такой сетью не работал с большими объемами ((
Александр
Я б вообще тогда подумал о том, чтобы исходную копию налить прямо на месте, а дальше только инкременты
Александр
Инкремент за сколько времени 50 гигов?
Александр
Делайте раз в час
Ivan
а что хочешь получить, чтоб в одном мелком снапшоте лежали данные жирного пула ? 😃
Roman
Передавай в сжатом)
LordMerlin
По чату поищи mbuffer. Недавно обсуждали, там с примерами и со сжатием.
George
передать последний нужный полностью просто, от него дальше плясать, если нужду правильно понял
George
можно передавать как есть сжатое и большие блоки, флагами zfs recv задаётся
George
стоит юзать самую свежую версию для этого только
George
были баги в старых версиях в передаче сжатых данных и больших блоков
George
bookmarks гляньте, емнип то что нужно
ウァシーリイ
Народ, никому не нужна материнка Supermicro X11DPI-NT и проц Xeon Silver 4214R? Также продаю материнку X11SCM-LN8F
Ivan
Arseniy
Господа, всем доброго времени суток! Есть тут пользователи TrueNas SCALE?)
Ivan
/report
Vladislav
Господа, всем доброго времени суток! Есть тут пользователи TrueNas SCALE?)
В проде или в лабе?
Arseniy
В проде или в лабе?
Не принципиально, есть ряд вопросов, не могу найти решение. Если вы пользуетесь - позвольте попробовать допытать вас в личке по этой теме 😂
Vladislav
Активно - не особо
Где-то в лабе на ВМ оно крутится
Arseniy
Вопрос, в общем-то, следующий: допустим, мы создали пул mirror из двух дисков как бы по 2Тб. По факту, в силу несовершенства производства и ряда других параметров, один диск имеет ёмкость 2000 Гб (макретинговых), а второй - 1998Гб. Пул будет создан исходя из меньшей ёмкости, минус 2Гб на swap (по дефолту). Т.о, ёмкость mirror`a будет 1996Гб.
Теперь представим, что диск деграднул и мы его заменяем. Новый диск фактически 1997Гб. И тут ловим ошибку монтирования, так как новый диск меньше, чем ранее созданный пул. Шо делать? Есть вариант отключить swap на заменяемом диске, но в таком случае swap будет уже не зеркалирован...
Александр
Первый снапшот и есть весь пул
Vladislav
Сейчас момент, лабу запущу
Vladislav
Дефолтный ZFS делает 4МБ пустыми в конце
Vladislav
Вопрос, в общем-то, следующий: допустим, мы создали пул mirror из двух дисков как бы по 2Тб. По факту, в силу несовершенства производства и ряда других параметров, один диск имеет ёмкость 2000 Гб (макретинговых), а второй - 1998Гб. Пул будет создан исходя из меньшей ёмкости, минус 2Гб на swap (по дефолту). Т.о, ёмкость mirror`a будет 1996Гб.
Теперь представим, что диск деграднул и мы его заменяем. Новый диск фактически 1997Гб. И тут ловим ошибку монтирования, так как новый диск меньше, чем ранее созданный пул. Шо делать? Есть вариант отключить swap на заменяемом диске, но в таком случае swap будет уже не зеркалирован...
- создаем аналогичную структуру пулов на меньшем диске.
- клонируем загрузчик
- заводим раздел в системный пул если есть
- копируем данные из большого пул в пул с диском меньшей емкости.
- перестраиваем раздел на большем диске
- добавляем в зеркало новый раздел большего диска.
Vladislav
Дефолтный ZFS делает 4МБ пустыми в конце
в разных ОС по-разному.
Я в своем инсталляторе Фряхи оставляю 1 МБ в конце
Arseniy
4Мб может и не хватить, как показывает практика...
Arseniy
- создаем аналогичную структуру пулов на меньшем диске.
- клонируем загрузчик
- заводим раздел в системный пул если есть
- копируем данные из большого пул в пул с диском меньшей емкости.
- перестраиваем раздел на большем диске
- добавляем в зеркало новый раздел большего диска.
Слишком муторно, неужто проще вариантов нет? На уровне системы открутить фиксированную часть, скажем, в 10Гб на всякий пожарный
Vladislav
Эрм, там обычно не больше 5-6к секторов
Vladislav
А это 3-4 КБ
Vladislav
4Мб может и не хватить, как показывает практика...
https://wiki.debian.org/ZFS
In case of using whole disks ZFS will automatically reserve 8 MiB at the end of the device, to allow for replacement and/or additional physical devices that don't have the exact same size as the other devices in the pool.
Vladislav
Vladislav
Слишком муторно, неужто проще вариантов нет? На уровне системы открутить фиксированную часть, скажем, в 10Гб на всякий пожарный
ZFS не умеет уменьшать размер раздела.
Arseniy
Спасибо за информацию, но тут вопрос как практический, так и теоретический! Вот умерло у меня на диска 20к секторов, можно ли решить проблему
Vladislav