Алексей
George
пажжи, какой 2.0? сейчас же 0.8.3 кажется, т.е. 1.0 релиза нет
0.8.4 последний, в связи с изменением апстрима openzfs на zfsonlinux и включением freebsd в кодовую базу ту же следующей версией будет сразу 2.0.0
George
ого, какие фичи завезут?
всё, что сейчас в мастере, persistent l2arc, metaslabs прокачанные, куча другого, мб ещё zstd успеют добить, ну и наверняка что забыл
Алексей
это действительно круто
Олег
))
George
draid не завезут пока?(
оно не влито ещё в мастер, надо смотреть все ли вопросы уже по нему закрыли, можно попробовать в PR поспрашивать
George
в freenas включат zfsonlinux?
который теперь openzfs)
Владимир
Доброго дня. Хочу собрать RAID50, изначально планировал железный, потом решил ZFS ну и тестируюсь. Естественно пока диски ещё не пришли, тестируюсь в виртуалке. Создал 9 дисков по 2Гб и собрал их командой zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Поигрался с ними, взял записал данные на 10Гб, записл хеш сумму, попробовал поотключать по одному дису с кажного рейд5 всё норм, отключилвсе резервные так сказать диски оставил 6 всё норм. Теперь что не норм. 1. Если я отключаю последний диск vdj , то после рестарта ZFS поднимается всё норм, если какой-то иной, то после рестарта буквы сдвигаются и тот что был скажем vdi стал vdh и там все после того диска который я отключил. В следствии чего ZFS не стартует. Я понимаю что косяк может быть только из-затого что диски виртуальные, но хотелось бы понять с реальными не случится так же? Можно как-то собирать указывая не буквы дисков, а как в fstab UUID или как-то иначе. Просто данных много, у меня стоит задача чтобы я этим мог нормально управлять и не посеять данные). 2. Брать я буду изначально 9 дисков по 2Тб и соберу 3 рейда 5 которые объединятся в рейд0 что даст рейд50, хотя в ZFS это наверное как-то иначе называется. Это если командой) zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Так вот, в корзхине ещё будет место под 3 накопителя и в дальнейшем когда место надо будет увеличить, как мне долкинуть в этот пул ещё 3 диска, но только бы не отдельной состоавляющей видеале, отдельной я понимаю как, а как бы в этот же набор, чтобы был общий 0 так сказать если понимаете о чём я. Чтобы не только увеличить место, но и общую производительность. Возможно ли такое? PS Надеюсь куча текста никого не напугает)), заранее спасибо.
Qwerty
Доброго дня. Хочу собрать RAID50, изначально планировал железный, потом решил ZFS ну и тестируюсь. Естественно пока диски ещё не пришли, тестируюсь в виртуалке. Создал 9 дисков по 2Гб и собрал их командой zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Поигрался с ними, взял записал данные на 10Гб, записл хеш сумму, попробовал поотключать по одному дису с кажного рейд5 всё норм, отключилвсе резервные так сказать диски оставил 6 всё норм. Теперь что не норм. 1. Если я отключаю последний диск vdj , то после рестарта ZFS поднимается всё норм, если какой-то иной, то после рестарта буквы сдвигаются и тот что был скажем vdi стал vdh и там все после того диска который я отключил. В следствии чего ZFS не стартует. Я понимаю что косяк может быть только из-затого что диски виртуальные, но хотелось бы понять с реальными не случится так же? Можно как-то собирать указывая не буквы дисков, а как в fstab UUID или как-то иначе. Просто данных много, у меня стоит задача чтобы я этим мог нормально управлять и не посеять данные). 2. Брать я буду изначально 9 дисков по 2Тб и соберу 3 рейда 5 которые объединятся в рейд0 что даст рейд50, хотя в ZFS это наверное как-то иначе называется. Это если командой) zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Так вот, в корзхине ещё будет место под 3 накопителя и в дальнейшем когда место надо будет увеличить, как мне долкинуть в этот пул ещё 3 диска, но только бы не отдельной состоавляющей видеале, отдельной я понимаю как, а как бы в этот же набор, чтобы был общий 0 так сказать если понимаете о чём я. Чтобы не только увеличить место, но и общую производительность. Возможно ли такое? PS Надеюсь куча текста никого не напугает)), заранее спасибо.
По UUID и нужно добавлять
George
Доброго дня. Хочу собрать RAID50, изначально планировал железный, потом решил ZFS ну и тестируюсь. Естественно пока диски ещё не пришли, тестируюсь в виртуалке. Создал 9 дисков по 2Гб и собрал их командой zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Поигрался с ними, взял записал данные на 10Гб, записл хеш сумму, попробовал поотключать по одному дису с кажного рейд5 всё норм, отключилвсе резервные так сказать диски оставил 6 всё норм. Теперь что не норм. 1. Если я отключаю последний диск vdj , то после рестарта ZFS поднимается всё норм, если какой-то иной, то после рестарта буквы сдвигаются и тот что был скажем vdi стал vdh и там все после того диска который я отключил. В следствии чего ZFS не стартует. Я понимаю что косяк может быть только из-затого что диски виртуальные, но хотелось бы понять с реальными не случится так же? Можно как-то собирать указывая не буквы дисков, а как в fstab UUID или как-то иначе. Просто данных много, у меня стоит задача чтобы я этим мог нормально управлять и не посеять данные). 2. Брать я буду изначально 9 дисков по 2Тб и соберу 3 рейда 5 которые объединятся в рейд0 что даст рейд50, хотя в ZFS это наверное как-то иначе называется. Это если командой) zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj Так вот, в корзхине ещё будет место под 3 накопителя и в дальнейшем когда место надо будет увеличить, как мне долкинуть в этот пул ещё 3 диска, но только бы не отдельной состоавляющей видеале, отдельной я понимаю как, а как бы в этот же набор, чтобы был общий 0 так сказать если понимаете о чём я. Чтобы не только увеличить место, но и общую производительность. Возможно ли такое? PS Надеюсь куча текста никого не напугает)), заранее спасибо.
1- что значит не стартует? самому zfs пофиг на пути 2 - рейд5 зло, соберите хотя бы рейд6. На 5м высокий риск вылета 2го диска при ресильвере 1го. zfs расширяется добавлением новых vdevs, т.е. raidz только ещё одним raidz1/2/3 на нужное количество дисков вам увеличить удастся на ходу. Либо заменой всех дисков на бОльшие
Владимир
По UUID и нужно добавлять
Какой-то доп аргумент или тупо UUID указывать?
Владимир
))
Владимир
cannot open 'tank/dat': dataset does not exist
Qwerty
У меня на 0.8.3 просто UUID
Алексей
А не дешевле взять 6 по 4 и сделать например зеркало?
Владимир
У меня на 0.8.3 просто UUID
Я сейчас пересоберу и ещё поэкспериментирую)
George
при чём тут датасет то, вы не zpool import делаете видимо)
Владимир
Владимир
George
нет, я пытался примонтировать
ну до монтирования импортировать надо же.
Владимир
больше дисков, выше общая скорость
Владимир
ну до монтирования импортировать надо же.
да оно само монтируется прекрасно)))
George
больше дисков, выше общая скорость
у raidz иопсы самого медленного диска во vdev если что
Владимир
если нет сдвига по букввам)
Алексей
может и дешевле, но не быстрее
Однозначно одинаковаая скорость и объем
George
так что миррор по иопсам быстрее
Владимир
у raidz иопсы самого медленного диска во vdev если что
а той командой я разве не делаю 0 из 3х рейдов5
Владимир
?
Алексей
А вот даже говорят быстрее
George
да оно само монтируется прекрасно)))
ну это другой вопрос, что автоматика импорта у вас не отработала. Тут верно подметили, что просто 1 раз надо создать или импортнуть по /dev/disk/by-id к примеру
Владимир
это разве не повышает скорость?
Владимир
да, соответственно x3
мне это и надо
Алексей
Скорость повыгают количество vdevs
George
а у миррора на каждую пару будет умножение
Владимир
Владимир
а у миррора на каждую пару будет умножение
у мирора потеря рабочего пространства выше
Владимир
1 к одному
Владимир
а у меня тут 1 к трём
Владимир
резервирования больше
Алексей
а у меня тут 1 к трём
Так там и дисков меньше
Алексей
резервирования больше
Твой сетап менее отказоустойчивый
George
резервирования больше
в худшем случае - не больше а также
Владимир
я незнаю пока как это в ZFS, но на физ рейде если атк собирать, сам рейд пять дас двойной прирост, плюс елси их собрать в 0 то будет тройной прирост и итого 6тикратный прирост скорости
George
миррор по дефолту быстрее raidz, у raidz банально расчётов больше, если что. По иопсам рейдз будет лучше только если vdevs в пуле больше хотя бы на 1
Владимир
в худшем случае - не больше а также
ну как же так же если при рейд1 я теряю половину пространста, а в моём случае только треть
George
я думал про отказоустойчивость
Алексей
Владимир
Ты потеряешь всё
ну вероятность потери есть и в первом рейде))
Владимир
и всё равно данные будут храниться не в одном месте
Владимир
если я соберу с теми же дисками рейд1 тог получу 9Тб, а на рейд5 12Тб
Алексей
Вообще диски больше чем на 1тб,надо закладывать минимум потерю двух дисков
Владимир
Так), по первому вопросу по UUID мне вроде подсказали. Буду теститься, второй вопрос мне не до конца понятен
Владимир
Сейчас попробую сформулировать так чтобы моя мысль была ясна.
Алексей
ну на 9 дисков заложена потеря трёх)
Я имел в виду двух любых а не трех конкретных
Владимир
Я имел в виду двух любых а не трех конкретных
ну двух можно), лишь бы они были не с одного рейд5))
Алексей
ну двух можно), лишь бы они были не с одного рейд5))
О чём и речь, у тебя любой только один, остальное уже не любые
Владимир
любой один из каждого рейда)
Алексей
Я думаю ты все таки догадываешься что я говорю 😉
Владимир
Меня интересует как работает этот самый нолик в этом рейде 50 zpool create tank raidz vdb vdc vdd raidz vde vdf vdg raidz vdh vdi vdj ТО есть, обычный нулевой рейд md или физ они пишут полоски инфы на каждый накопитель, в моём случае составляющие рейда 0 будут рейды 5. ТО есть в моей логике оно будет писаться полоски на каждый рейд5 тем самым увеличивая скорость и записи и чтения. Тут в ZFS это работает аналогично?
Владимир
так как читаться инфа будет кусками сразу со всех рейдов 5. Я верно понимаю логику?
Владимир
Или это просто как в LVM я добавляю устройства в пул и оно сначала заполняет одно устройство, потом другое, тем самым не увеличивая производительность, нуля там нет
Fedor
Рейд5 на больших дисках имеет риск провалить ребилд
Fedor
Использование в зфс не моделировал
Ярослав
Привет. Никто не встречался с такой проблемой? ZFS Mirror для виртуалок на proxmox(не boot) из двух NVMe от тошибы по 4Тб, уже второй раз отваливается один из дисков, массив переходит в состояние degraded, zpool status говорит, что на этом диске 19 chksum error, при этом smart сообщает, что с диском все ок. zpool clear возвращает все в online. В системных логах есть вот такое: " zed: eid=40 class=checksum pool_guid=0xF58FF099E57775C8 vdev_path=/dev/disk/by-id/nvme-KXD51RUE3T84_TOSHIBA_10JS1019T7UM-part1"