Перенес Солярку из своего списка игнора в список для изучения, таки похоже стоящая вещь особенно в плане надежного хранилища. Так-то я уж сколько их перепробовал на тестовых серверах: Nexenta, OpenIndiana, SmartOS. Даже вручную настраивал в них iSCSI target, т.е. в качестве нуб по шелу уже вероятно могу называться Соляро стажером :) Осталось попробовать трушную от Оракакла.

не совсем понял профита. чуть быстрее z2 и совсем чуть надежнее z1, по дискам как z2

На больших дисках рекавери значительно быстрее

На больших дисках рекавери значительно быстрее

дисков\места одинаково raidD: смотри. имеем надежность Z. Умер диск. Надежность стрип, но быстро вернулась в Z

raid Z: имеет надежность выше Z, умер диск. Имеем надежность Z

фишка спара: диск не использует и не изнашивается тут не работает, в смысл тогда такого колхоза?

для ссд хотя чуть прикольно, но опять же - нужны тесты

дисков\места одинаково raidD: смотри. имеем надежность Z. Умер диск. Надежность стрип, но быстро вернулась в Z

Почему надежность stripe при вылете диска? Разве dRAID не может несколько избыточных дисков?

дисков\места одинаково raidD: смотри. имеем надежность Z. Умер диск. Надежность стрип, но быстро вернулась в Z

Ну там же виртуальные спэры. Как и RAIDZ RAIDZ2, DRAID может иметь разные уровни отказоустойчивости. Мы используем DRAID2 с двумя виртуальными спэр-драйвами: https://habr.com/ru/post/504152/

https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html

parity - The parity level (1-3). Defaults to one.

Можно даже тройную избыточность, т.е. для перехода в страйп, надо чтобы одновременно сдохли 3 диска!?

Ну там же виртуальные спэры. Как и RAIDZ RAIDZ2, DRAID может иметь разные уровни отказоустойчивости. Мы используем DRAID2 с двумя виртуальными спэр-драйвами: https://habr.com/ru/post/504152/

А в чем смысл использования 2 spare + draid2 вместо 1 spare + draid3? Меньший износ?

Почему надежность stripe при вылете диска? Разве dRAID не может несколько избыточных дисков?

мы же про равное с raidz2 количество дисков и объем. смысл по другому сравнивать

Ну там же виртуальные спэры. Как и RAIDZ RAIDZ2, DRAID может иметь разные уровни отказоустойчивости. Мы используем DRAID2 с двумя виртуальными спэр-драйвами: https://habr.com/ru/post/504152/

мааам. у тебя m дисков. тебе надо объем n дисков (n<m) для raidD это надежность доп m-n-1 дисков для raidZ(цифра) - это надежность m-n.

итого на 1 диск надежность всегда хуже

что вы блин как маленькие

А в чем смысл использования 2 spare + draid2 вместо 1 spare + draid3? Меньший износ?

о) ты начинаешь думать)

А в чем смысл использования 2 spare + draid2 вместо 1 spare + draid3? Меньший износ?

или raidz4 вместо всего этого дрейда

parity - The parity level (1-3). Defaults to one.

да пофиг сколько там про запас. всегда на один диск меньше надежность чем в не рейдД при той же емкости

А в чем смысл использования 2 spare + draid2 вместо 1 spare + draid3? Меньший износ?

Не знаю, я от балды выставил, а потом пошло-поехало :)

мааам. у тебя m дисков. тебе надо объем n дисков (n<m) для raidD это надежность доп m-n-1 дисков для raidZ(цифра) - это надежность m-n.

А теперь сравни скорость рекавери RAIDZ и DRAID

да пофиг сколько там про запас. всегда на один диск меньше надежность чем в не рейдД при той же емкости

Я не спорю, впрочем еще и не читал доку подробно по этому поводу. Главное, что есть возможность использовать до 3 уровней избыточности и таки меньшими жертвами, чем в zmirror.

А теперь сравни скорость рекавери RAIDZ и DRAID

Ещё раз. На одинаковом количестве дисков и объёме. Какой профит у Д?

Я не спорю, впрочем еще и не читал доку подробно по этому поводу. Главное, что есть возможность использовать до 3 уровней избыточности и таки меньшими жертвами, чем в zmirror.

Radz3 все равно надёжнее будет

У спаре ест три фишки Ну в 10 по другому никак Нет износа Можно добавить в несколько массовов

Тут ж ничего из этого.

Я вижу только потенциально один профит: скорость работы, но опять же raidz(д) это не про скорость

Radz3 все равно надёжнее будет

Чем dRAID3 ?

Я вижу только потенциально один профит: скорость работы, но опять же raidz(д) это не про скорость

Все же скорость тоже неплохо, уж очень много стонов про тормознутость raidz я читал в инете.

У спаре ест три фишки Ну в 10 по другому никак Нет износа Можно добавить в несколько массовов

IMHO износ у HDD наступает относительно медленно при хорошем SSD кэшировании пула. И поэтому лучше максимум spare держать в качестве уже подключенных к пулу избыточных устройств, только целее будут, протестируются хотя бы, бывает ведь и новый диск, а по надежности хуже старого.

У спаре ест три фишки Ну в 10 по другому никак Нет износа Можно добавить в несколько массовов

Один и тот же spare в несколько пулов? - это классно. Или только в несколько vdev одного пула? Тоже хорошо.

Один и тот же spare в несколько пулов? - это классно. Или только в несколько vdev одного пула? Тоже хорошо.

На разные рейды. Где умер туда и использован

На разные рейды. Где умер туда и использован

Речь про Solaris ZFS? Можно один spare подключить одновременно к zpool1/vdev1 и zpool2/vdev2 ?

IMHO износ у HDD наступает относительно медленно при хорошем SSD кэшировании пула. И поэтому лучше максимум spare держать в качестве уже подключенных к пулу избыточных устройств, только целее будут, протестируются хотя бы, бывает ведь и новый диск, а по надежности хуже старого.

Износ есть

Речь про Solaris ZFS? Можно один spare подключить одновременно к zpool1/vdev1 и zpool2/vdev2 ?

Нет, в данном случае общий подход к рейд. Я спере не использую. Для меня он актуален только на 10ке

Износ есть

Ну для конторы с баблом какой там износ? Им потеря данных в млн. раз дороже обойдется.

Все же скорость тоже неплохо, уж очень много стонов про тормознутость raidz я читал в инете.

Там не прямо супер скорость. Чуть быстрее может

Нет, в данном случае общий подход к рейд. Я спере не использую. Для меня он актуален только на 10ке

Десятка - это autoТАЗ, Шиндоуз или Solaris?

Ну для конторы с баблом какой там износ? Им потеря данных в млн. раз дороже обойдется.

Ты не о том. Износ тут не в деньгах. А в том что нужен спар, а он умерет во время ребилдп

Десятка - это autoТАЗ, Шиндоуз или Solaris?

Raid 10

Ты не о том. Износ тут не в деньгах. А в том что нужен спар, а он умерет во время ребилдп

Так кто мешает добавить еще spare, не хватает слотов под диски?

Raid 10

Используешь zmirror с двумя дисками?

Так кто мешает добавить еще spare, не хватает слотов под диски?

Спар к рейдд???)))

Используешь zmirror с двумя дисками?

Гугли

Гугли

Я в курсе, что такое RAID10 - к примеру 2x2, у меня так почти все пулы построены, причем для каждой части зеркала одного vdev используютс отдельные контроллеры. Получается, что один и тот же spare можно назначить в каждый vdev только в пределах одного пула в конфиге RAID10?

Спар к рейдд???)))

Я запутался, разве hot spare (авто замену) нельзя назначить для любого вида массива с избыточностью? И кроме zmirror лично у меня опыта нет.

кстати можно както создать раидz без 1 диска? мне пришлось последним диском (точнее 2 в z2) пихать sparse образы и отсоединять сразу после создания пула

но это колхоз?

Я запутался, разве hot spare (авто замену) нельзя назначить для любого вида массива с избыточностью? И кроме zmirror лично у меня опыта нет.

Почитай что такое рейд д

Почитай что такое рейд д

Это потом, мне он пока ненужен.

Я вижу только потенциально один профит: скорость работы, но опять же raidz(д) это не про скорость

DRAID не быстрее RAIDZ

DRAID не быстрее RAIDZ

без тестов не факт. шпинделей больше

У спаре ест три фишки Ну в 10 по другому никак Нет износа Можно добавить в несколько массовов

- он не используется = потеря производительности spare дисков - то, что он не используется, никак не уменьшает вероятность того, что при попытке его задействовать выяснится, что он дохлый

Тут плюсы draid на лицо, читайте описание что выше кидали

Пример - на 10 дисках при вылете одного raidz будет ограничен скоростью одного диска в процессе ресильвера (и восстановления избыточности), а draid может использовать все оставшиеся 9, грубо говоря восстановив избыточность в 9 раз быстрее чем raidz. И потом уже в спокойном режиме с восстановленной избыточностью налить новый 10й диск

Пример - на 10 дисках при вылете одного raidz будет ограничен скоростью одного диска в процессе ресильвера (и восстановления избыточности), а draid может использовать все оставшиеся 9, грубо говоря восстановив избыточность в 9 раз быстрее чем raidz. И потом уже в спокойном режиме с восстановленной избыточностью налить новый 10й диск

Новый диск в dRAID наполняется только после восстановления уровня избыточности на оставшихся? Место на них под это зарезервинованно? А если накроется еще один диск в процессе? И новый диск все это время курит в сторонке?

Ну и для draid завезли новый последовательный режим восстановления - rebuild, в отличии от resilver он не разбирает все структуры (что даёт случайное чтение), а последовательно вычитывает (но по пути не проверяет данные, что требует запуска scrub после, зато избыточность восстановлена сильно быстрее)

Мне в zmirror еще нравится такая фишка, что часть зеркала например бэкап сервера можно держать вообще offline большую часть времени и только изредка синхронизировать с пулом, например с выдернутым Ethernet кабелем или хотя бы отключенным сетевым интерфейсом. Что дает доп. защиту сохранности данных от хацкеров и по питанию. Есть корзинки с кнопочкой возле каждого диска, можно офлайновые полностью отключать на время неактивности, что они пропадают даже из lsblk.

Новый диск в dRAID наполняется только после восстановления уровня избыточности на оставшихся? Место на них под это зарезервинованно? А если накроется еще один диск в процессе? И новый диск все это время курит в сторонке?

избыточность восстановлена сильно быстрее, шансов просрать пул меньше (ну и parity 1 на больших пулах противопоказан)

Вообще draid позволяет по новому взглянуть на parity 1, теперь восстановление избыточности сильно быстрее. Хотя лучше не рисковать)

Вообще draid позволяет по новому взглянуть на parity 1, теперь восстановление избыточности сильно быстрее. Хотя лучше не рисковать)

По сути zmirror с двумя дисками по опасности утери данных сопоставим с raidz1, но хотя бы не тормозит, хорошо подходит для рабочих пулов. А рейды с максимальной избыточностью вероятно лучше бы для бэкапов.

кто там говорил что при синк дисейбл базы не могут рухнуть и теряются только последние 5сек? могут аж на раз

Так если у вас на zfs такого не было, то при чём тут zfs? Txg пишутся строго последовательно, у любой уважающей себя бд есть wal

Пример - на 10 дисках при вылете одного raidz будет ограничен скоростью одного диска в процессе ресильвера (и восстановления избыточности), а draid может использовать все оставшиеся 9, грубо говоря восстановив избыточность в 9 раз быстрее чем raidz. И потом уже в спокойном режиме с восстановленной избыточностью налить новый 10й диск

А рейдz +1 на том же количестве избыточность не потеряет

А рейдz +1 на том же количестве избыточность не потеряет

Потеряет, -1 диск же

Потеряет, -1 диск же

Так она при минус - 1 ровно такая же как у рейд д после восиановления из спаре

У него не будет окна "опасности"

Наш шести колесный вездеход, может безопасно ехать, если пробить одно колесо Это фигня, наш новый д вездеход умеет поояередно поднимать колесо и если одно колесо выйдет из строя, то он в четыре раза быстрее перейдёт в безопасный режим чем такой же но с запаснкой в багажнике

Пока вижу только как фишку для ссд. Свободное место для сбора мусора и соответственно большая скорость и долговечность. В случае, если они в рейде это учли

Так она при минус - 1 ровно такая же как у рейд д после восиановления из спаре

Не, draid после восстановления избыточности без замены умершего диска может опять потерять ещё один (если на примере parity 1 рассматривать для простоты)

В общем в доке всё описано https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html

Не, draid после восстановления избыточности без замены умершего диска может опять потерять ещё один (если на примере parity 1 рассматривать для простоты)

Так и вездеход, после того как колесо опустит может ещё одно потерять. Проблема в том, если он второе проколет пока опускает. Речь об этом. Эти риски должны же быть ради чего то

- он не используется = потеря производительности spare дисков - то, что он не используется, никак не уменьшает вероятность того, что при попытке его задействовать выяснится, что он дохлый

2 уменьшает. Посмотри статистику выхода из строя дисков в зависимости от возраста. Она есть

2 уменьшает. Посмотри статистику выхода из строя дисков в зависимости от возраста. Она есть

Spare диск моложе не становится же

Spare диск моложе не становится же

Он же выключен во многих системах полностью. Не знаю, умеет ли рейдз так

В общем, надо ждать тесты скорости

Он же выключен во многих системах полностью. Не знаю, умеет ли рейдз так

В слаке openzfs недавно люди как раз искали готовое решение spare диски тестить на живость:) на их масштабе в 6000 raidz пулов чтоли это уже проблема

Но это к слову

2 уменьшает. Посмотри статистику выхода из строя дисков в зависимости от возраста. Она есть

Причем если диск не вылетел в первый год, то вероятность вылета в ближайшие 5-10 лет резко падает, - это одна из причин, почему не стоит держать в spare непроверенные новые диски.

Причем если диск не вылетел в первый год, то вероятность вылета в ближайшие 5-10 лет резко падает, - это одна из причин, почему не стоит держать в spare непроверенные новые диски.

+1

В слаке openzfs недавно люди как раз искали готовое решение spare диски тестить на живость:) на их масштабе в 6000 raidz пулов чтоли это уже проблема

Вот. Поэтому raidz+1 и никаких спар