классические контроллеры не ведут чексумм на зеркалах и 10 рейде. не могут знать какие данные испорчены, а какие нет.

То, что zfs на raidz2 показывает результаты вдвое хуже даже опенсорсного mdadm, уже доказанный тестами факт. Не говоря уже про рейд с батарейкой, который, допустим, может онлайн сделать из raid10 луна raid6 и назад, при определённых обстоятельствах.

Не показывает raidz2 результаты в 2 раза хуже чем мдадм, я лично проверял на массе ынтырпрайз дисков, а с ссд лог-ом уделывает мдадм, главное опции подобрать, сжатие врубить. Аппаратному рейду на батарейке проигрывает любой не зеркальный или не 10-й софт рейд, причем в чистую, тут никакие кэши на ссд не спасут. Зеркало или 10-ка +- будут аналогичный аппаратному. Где-то хуже, где-то лучше, но не смертельная разница.

Кхэм, там ссылка выше.

Ну ок, но я реально не в состоянии раскапывать результаты 2-х летнего fio на больших массивах, скажу что тестировал на HGST/WD 530-х sas + ssd hgst sas. Мдадм дал те же результаты что и зфс +-, выбор пал на зфс ввиду удобства и плюшек, не более. Но никакой катастрофической двукратной разницы я не увидел.

Зависит от утилизации и профиля нагрузки, конечно же. Я о том и веду разговор, что zfs берут ради фич (ну и при жёстком кроилове, когда бизнес даже на raid ctrl жмёт денег)

Зато вот что скажу, я имитировал сбои и восстановление массивов, так вот два дохлых дисках на мдадм при большом массиве = восстановление массива вечность. Зфс справлялась за несколько часов. Большой массив в моем понимании это 12-24 х 8-14ТБ ынтырпрайз сас дисков.

Похоже, что md_raid лопатит всю ёмкость, а zfs только выделенную. При забитом массиве разницы не будет, т.к. нельзя обмануть математику :)

Похоже, что md_raid лопатит всю ёмкость, а zfs только выделенную. При забитом массиве разницы не будет, т.к. нельзя обмануть математику :)

Мы брали зфс исходя из реалий, когда HP нам заявило что срод замены по гарантии рейд карты до 1 мес. Ждать до одного месяца замены железной карточки, потому что "просто так" хранить у себя ее ХП-шный интегратор отказался, было такое себе удовольствие. Ну и цена карточки далеко превышала +64ГБ памяти для зфс.

Есть разные SLA, платите деньги, хоть в вашем городе будут хранить. Ну и 64GB памяти дают только arc cache. Если нагрузка 95% read, то ОК.

Я никогда не забиваю массивы более чем на 80% от доступной емкости, но вот тесты показали, что замена в 6-м рейде мдадм диска на 8 и более ТБ это боль, на зфс - приемлемо.

Ну это понятно, когда цена вопроса не имеет значения. Но увы, у меня таких случаев не было, чаще всего спрашивают - сколько будет стоить =)

Честно, не верю. Есть строгие формулы, разница лишь в том, что mdraid абсолютно пофиг на данные "внизу".

@autumn_river под лог обычное зеркало из двух дисков?

да, две ссд в зеркале

Ну так и отвечайте: "На zfs это будет стоить 2*N SSD, на хардваре N SSD + raid ctrl". С блинами ситуация не такая плачевная, поэтому ZFS под backup repo подходит лучше.

Нагрузка смешанная, где-то 30 врайт, 70 рид +-, затыки на шпинделях решал через лог на ссд, л2арк давно перестал использовать. Просто на ссд вопросов вообще не было. Ну и я на магнитные даже аппаратные рейди уже не тащу субд и все что хочет быстро - всегда предлагаю nvme.

сильно ссд расходуется на это?

да в серваке нет места под nvme и думаю может через pcie карты всякие - есть на 4 штуки

Меня в зфс смутили тесты @kvaps для кубера под linstor. Какая-то дикая разница по сравнению с lvm. Хз, сейчас нет железа гонять тесты на zfs. Все выше из личного опыта.

Вполне сгодится, и такое решение делал - заказывал в бомж сборку из китая плату на 4хnvme ssd в pcie. Все работало.

С NVMe решений, не гробящих перфоманс, ещё меньше. VROC и парочка карт-контроллеров под R10 с ретаймерами.

лог без зеркала на одной не хотелось бы держать

Да, согласен, тут с nvme, особенно новыми выдающими овер 4ГБ/с вообще тяжело что-то не гробящее их найти. Либо надеятся на "отборные" чипы в супер дорогой ынтырпрайз ссдхе. У меня так товарищ и делает. У них в серваках под субд стоят именно такие.

Если бизнес стоит того, то это кейс для покупки AFA СХД. Если нет, дешевле выйдет децимация отдела разработки.

если взять хорошую ссдшку, и сделать оверпровизионинг ну так на 50% от ее объема, шансы что она сдохнет резко уменьшаются, я так однажды делал, брал под лог intel 3610 вроде, делал один раздел на половину ссдшки и его гонял под лог зфс, она отстояла что-то лет 5 наверное, мы успели в пуле из 8 дисков заменить за это время 4 по гарантии, а ссдшка работала. По моему до сих пор там же трудится. Но это все же риск. Хотя любое железо - риск.

Если бизнес стоит того, то это кейс для покупки AFA СХД. Если нет, дешевле выйдет децимация отдела разработки.

И который протащит множество перезаписей своего обьема в день

Любой серверный ssd, SLC вы сейчас не найдёте на рынке физически

да собственно я так собирался, на оракле чуть пространственно написано люди пишут, что и 32 с избытком

да собственно я так собирался, на оракле чуть пространственно написано люди пишут, что и 32 с избытком

Если у Вас есть 32гб с объёмом перезаписи 60+ТБ, то подойдёт. Но я бы всё ещё рекомендовал бы чтобы объем перезаписи был не меньше, чем "количество данных, что сейчас пишутся в день * 365 * 5"

спасибо за замечания да, по перезаписи подходит

Типа ата эрейз

fstrim?

Блок дискард

secure erase обычно делает похожее

не подскажете, 4 диска (чётное число) в vdev для raidz1 очень сильная потеря производительности в сравнении с 3/5?

не очень понял вопрос и откуда такое предположение, но касательно raidz1 я бы думал о гарантиях сохранности данных, потери скорости быть не должно.

в целом на это всегда ориентировался 128KiB / (nr_of_drives – parity_drives) = maximum (default) variable stripe size (все это подтверждено и теорией и практикой), получаем таблицу: 3-disk RAID-Z = 128KiB / 2 = 64KiB = удачное выравнивание 4-disk RAID-Z = 128KiB / 3 = ~43KiB = ПЛОХОЕ 5-disk RAID-Z = 128KiB / 4 = 32KiB = удачное выравнивание 9-disk RAID-Z = 128KiB / 8 = 16KiB = удачное выравнивание -- 4-disk RAID-Z2 = 128KiB / 2 = 64KiB = удачное выравнивание 5-disk RAID-Z2 = 128KiB / 3 = ~43KiB = ПЛОХОЕ 6-disk RAID-Z2 = 128KiB / 4 = 32KiB = удачное выравнивание 10-disk RAID-Z2 = 128KiB / 8 = 16KiB = удачное выравнивание

не подскажете, 4 диска (чётное число) в vdev для raidz1 очень сильная потеря производительности в сравнении с 3/5?

вот полезная статья "от первоисточника" https://www.delphix.com/blog/delphix-engineering/zfs-raidz-stripe-width-or-how-i-learned-stop-worrying-and-love-raidz

Я при современных емкостях уже не собираю raidz, там где надо много и медленно везде собираю raidz2 или страйп из raidz2 - т.е. 60-й. Например у меня есть 6х8ТБ - значит будет raidz2, а если допустим 12х4ТБ, то скорее всего будет страйп из двух raidz2 6x4ТБ + 6x4ТБ

вот полезная статья "от первоисточника" https://www.delphix.com/blog/delphix-engineering/zfs-raidz-stripe-width-or-how-i-learned-stop-worrying-and-love-raidz

Ага, согласно статье, получается нужно искать компромисс, ибо есть зависимость скорости и эффективности использования дискового пространства от общего кол-ва дисков в группе. Т.е. что бы увеличить эффективность использования дискового пространства надо наращивать кол-во дисков в группе. При этом будет падать производительность группы. Для увеличения кол-ва операций произвольного чтения/записи, надо уменьшать кол-во дисков. Причем для записи общее кол-во в группе, а для чтения кол-во дисков под данные.

raidz2 похуже в производительности и с местом

примерно так, да. Если хочется перформанс - только мирроры

raidz2 похуже в производительности и с местом

выше тест на фре с группами дисков, я выборку результата кидал, кастельно того что radiz на четном кол-ве дисков должен иметь просадку по производительности - судя по тестам ерунда это, и приведенной Вами формулой я бы не стал руководствоваться

Так есть же draid теперь, разве он не убил ещё raid-z* ?

Ну когда диск вывалится, в этот самый момент на ресильвере и появится смысл )