Да, это правда. Но когда 5-10% свободно это не нормальная ситуация.

AFAIK, она не очень любит сценарии когда свободного места 5-10% от всего хранилища и весь массив переписывается за месяц

Расширчть можно пулы, top-vdev которых mirror. Расширять при этом можно добавляя по одному vdev разом. И даже уменьшать можно, выводя vdev из пула. Совершено точно все будет работать с пулом из mirror-vdev состоящий целиком.

Расширение RAID-Z видимо популярная идея судя по: https://github.com/openzfs/zfs/pull/12225 и https://freebsdfoundation.org/blog/raid-z-expansion-feature-for-zfs/ но походу так до конца и не запилили

Я видимо чего-то недопонимаю. Я знаю что с расширением raidz какие-то трудности у разработчиков. Но для меня всегда это было контринтуитивно. Какая принципиальная разница между mirror vdev и raidz vdev? Кто-нибудь может объяснить на пальцах суть сложности?

Ребята, в общем с температурой в серваке разобрался, поставил более мощные вентиляторы, температура стала норм. В обычном простое температура дисков 24-25 градусов. Также проверил память через memtest, тесты пройдены без ошибок. Но проблема не ушла. Стоит начать писать на массив (4 vdev, все на raidz2 6+2, всего 24 диска), система виснет намертво, даже ipmi перестает отзываться. При этом это случается именно при записи большого потока, т.е. скажем если я ставлю заливаться папку на 5-10 гигов хотя бы. 2-5 секунд и система виснет. При этом в обычной работе, когда нагрузки на массив нет все ок, я могу создавать папки, мелкие файлы и т.п. Все диски 24 шт. подключены черед салазки к бэкплейну или далее от бэкплейна (или экспандеру, не знаю в чем разница и есть ли она), которая подключена к SmartHBA. В чем может быть проблема? Куда копать, и как диагностировать, подскажите?

Что происходит с load перед зависанием ?

Ипми работает отдельно от системы. С сетью точно все в порядке?

Если имеется ввиду IPMI на BMC

Бмц хранит логи, там пусто? Логи включены?

что имеется ввиду? Как мне это посмотреть?

В смысле мне нужно запустить top, далее пустить закачку и смотреть что в топ?

Ребята, в общем с температурой в серваке разобрался, поставил более мощные вентиляторы, температура стала норм. В обычном простое температура дисков 24-25 градусов. Также проверил память через memtest, тесты пройдены без ошибок. Но проблема не ушла. Стоит начать писать на массив (4 vdev, все на raidz2 6+2, всего 24 диска), система виснет намертво, даже ipmi перестает отзываться. При этом это случается именно при записи большого потока, т.е. скажем если я ставлю заливаться папку на 5-10 гигов хотя бы. 2-5 секунд и система виснет. При этом в обычной работе, когда нагрузки на массив нет все ок, я могу создавать папки, мелкие файлы и т.п. Все диски 24 шт. подключены черед салазки к бэкплейну или далее от бэкплейна (или экспандеру, не знаю в чем разница и есть ли она), которая подключена к SmartHBA. В чем может быть проблема? Куда копать, и как диагностировать, подскажите?

Arch Linux, ZFS самая свежая стабильная

Стабильная LTS текущая

это 5.10 ?

Приходится выдерживать провод из системника и подключать снова, чтобы система опять включилась, иначе никак

В норме бмц из любого состояния системы доступен и нормально может работать с циклами питания системы

Eth порт отведенный под IPMI работает только на него. Для рабочей сетки стоит даже отдельная карта сетевая.

Я видимо чего-то недопонимаю. Я знаю что с расширением raidz какие-то трудности у разработчиков. Но для меня всегда это было контринтуитивно. Какая принципиальная разница между mirror vdev и raidz vdev? Кто-нибудь может объяснить на пальцах суть сложности?

Zfs чисто физически не может быть быстрее, потому что он CoW с чексуммами. Если это не так - дайте мне вариант теста который на Ваш взгляд покажет обратное

Bcachefs обещает быть быстрой. С COW и чек суммами.

Насколько распространена ?

Так обещания только, а что будет одному богу известно

Отдельно на nvme ssd

Отдельно на nvme ssd

Пока нет. Буду пробовать

я тут ещё подумал, что пожалуй в качестве п.0 неплохо бы чекнуть конфигурации пула и датасета, если к ним применялись какие-то доп настройки

Что показывает монитор перед зависанием?

Есть ли сообщения от mcelog?

Да спрашивали его с самого начале это, пока молчит

я сам не владею предметом, но ведь даже на логическом уровне зеркала просты: диск и его копия а рейдZ это диски с данными плюс диски с парити. Если допустим добавим ещё один диск под данные, то как быть с парити? Вообще решение насколько я понимаю готово, просто разрабы не готовы его релизить, ведь для зфс главное это надёжность, надо всё перепроверить несколько раз

Не не. Понятнр что внутрь vdev просто так диск не добавить. Я и не просто так не могу прилумать как это сделать. Но vdev целиком то это просто блочное устройство, каждый логический блок которого размазан, например по 6 блокам raidz2: 4 данных и 2 паритет. Кстати, по этому такой логический блок будет 16кб для 4кб секторов дисков (ashifr=12). Вопрос в другом. Почему мы не модем добавить ещё один vdev сразу из 6 дисков? Это происходит если top-vdev имеет тип отличный от mirror (отдельный вопрос про draid, там я не в курсе как)

Не не. Понятнр что внутрь vdev просто так диск не добавить. Я и не просто так не могу прилумать как это сделать. Но vdev целиком то это просто блочное устройство, каждый логический блок которого размазан, например по 6 блокам raidz2: 4 данных и 2 паритет. Кстати, по этому такой логический блок будет 16кб для 4кб секторов дисков (ashifr=12). Вопрос в другом. Почему мы не модем добавить ещё один vdev сразу из 6 дисков? Это происходит если top-vdev имеет тип отличный от mirror (отдельный вопрос про draid, там я не в курсе как)

в том то и дело что не просто, ато для нас они названы просто vdev. но под капотом они не имеют ничего общего кроме контракта в cli

не совсем понятен источник трудностей. По идее, трудности должны быть связаны с какими то принуипиалтными отличаями zfs от связки условно mdadm + lvm + fs. А известные отличаи в том, что все уровни zfs более осведомлены о файлах и снимках. Но причем тут структура самого vdev?

трудности в том что это разные типы рейда которые работают принципиально по разному и мы ну никак не можешь. использовать код из одного типа рейдов в другом ну ну можем

Не не. Понятнр что внутрь vdev просто так диск не добавить. Я и не просто так не могу прилумать как это сделать. Но vdev целиком то это просто блочное устройство, каждый логический блок которого размазан, например по 6 блокам raidz2: 4 данных и 2 паритет. Кстати, по этому такой логический блок будет 16кб для 4кб секторов дисков (ashifr=12). Вопрос в другом. Почему мы не модем добавить ещё один vdev сразу из 6 дисков? Это происходит если top-vdev имеет тип отличный от mirror (отдельный вопрос про draid, там я не в курсе как)

Не не. Понятнр что внутрь vdev просто так диск не добавить. Я и не просто так не могу прилумать как это сделать. Но vdev целиком то это просто блочное устройство, каждый логический блок которого размазан, например по 6 блокам raidz2: 4 данных и 2 паритет. Кстати, по этому такой логический блок будет 16кб для 4кб секторов дисков (ashifr=12). Вопрос в другом. Почему мы не модем добавить ещё один vdev сразу из 6 дисков? Это происходит если top-vdev имеет тип отличный от mirror (отдельный вопрос про draid, там я не в курсе как)

Две команды: root@exp2:/home/art# zpool create pool1 raidz1 sde sdf sdg root@exp2:/home/art# zpool add pool1 raidz1 sdh sdi sdj и их результат: root@exp2:/home/art# zpool status pool: pool1 state: ONLINE scan: none requested config: NAME STATE READ WRITE CKSUM pool1 ONLINE 0 0 0 raidz1-0 ONLINE 0 0 0 sde ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 raidz1-1 ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 sdj ONLINE 0 0 0

А удалить, пожалуйста, попробуйте vdev

А удалить, пожалуйста, попробуйте vdev

А удалить, пожалуйста, попробуйте vdev

root@exp2:/home/art# zpool remove pool1 raidz1-1 cannot remove raidz1-1: invalid config; all top-level vdevs must have the same sector size and not be raidz. Ругается таки, но правда как-то непонятно

and not be raidz тут главное наверно

всё равно непонятно) но по идее это защита пула от разрушения, просто пишет порожняк какой-то)

если бы там не было raid-z, он бы удалил vdev, эвакуировал бы данные и удалил. Удаление добавили в каком-то обновлении. Даже special нельзя удалить из raid-z, а это прям бывает больно.

эвакуировал данные?🤔

да, в zpool status будет состояние - авакуация и % выполнения. Потом диск исчезнет из пула. Так можно страйпы разбирать понемногу, правда если обратно удлинять, то ребаланса не будет.

да, в zpool status будет состояние - авакуация и % выполнения. Потом диск исчезнет из пула. Так можно страйпы разбирать понемногу, правда если обратно удлинять, то ребаланса не будет.