У меня нет ледупликации

И после ребута оно удалится за мгновение

У меня нет ледупликации

Я понял, это так лирика.

И после ребута оно удалится за мгновение

А версия ZFS ? Если это не прод и есть возможность поменять версию (пул совместим), то было бы интересно узнать, как оно поведет себя на версии 0.8.6

Кстати интересно, можно ли установить на Debian Stretch ZFS 0.8.6 из Debian Buster backports или Debian Bullseye ?

Чето мне совсеми не хочется апгрейдить свой Stretch. Из сорцов то ведь точно можно?

Интересно, кто-нибудь использует ZFS из современной Oracle Солярки? У них ведь вроде есть какая-то бесплатная версия под X86? Что там с зависаниями, такое вообще возможно на Solaris ZFS? А совместимости send | receive между Oracle и OpenZFS никогда не будет? Это невозможно даже в теории? Хотя бы с минимальным количеством поддерживаемых features в пуле, просто бэкапа ради, и чтобы не городить Соляру на бэкап серверах, ее достаточно только на прод хранилищах.

Кстати интересно, можно ли установить на Debian Stretch ZFS 0.8.6 из Debian Buster backports или Debian Bullseye ?

В бекпортах 2.0.4

А версия ZFS ? Если это не прод и есть возможность поменять версию (пул совместим), то было бы интересно узнать, как оно поведет себя на версии 0.8.6

2.0.4

2.0.4

Можно попробовать на 0.8.6? Про 2.0.4 можно много "интересного" нагуглить и прочитать в github issues.

Лично я 2.x пока использую только на копеечных виртуалках just for fun, чтобы ознакомиться.

Можно попробовать на 0.8.6? Про 2.0.4 можно много "интересного" нагуглить и прочитать в github issues.

Откатиться не так просто)

Откатиться не так просто)

Пул уже в версии 2.x?

Да и в остальных дедиках проблемы нет

Пул уже в версии 2.x?

Да

Да

Я пулы держу пока в версии 0.7.x :) целее будут ...

Да

Тогда только через send | recieve, у меня норм работало с 2.x на 0.8.6 Если еще и прод, то вообще мрак со SLA и т.п.

Я не буду откатываться))

Я не буду откатываться))

Тогда только новые приключения в новых версиях :) Кстати как раз что-то вышло вроде типа 2.0.5 ... У меня на рабочей станции до сих пор 0.7.12, rock solid, солярка зовидует :)

Интересно с Кубером такая же история, не считая то, что вероятно там откатиться проще, если новые фичи еще пока не задействованы в своих ямлах?

Тогда только через send | recieve, у меня норм работало с 2.x на 0.8.6 Если еще и прод, то вообще мрак со SLA и т.п.

твой любимый опенсорс :)

твой любимый опенсорс :)

Так надо выбирать стабильные версии ZOL, никто же не заставляет использовать беты. Проприетарный якобы стабильный предназначенный для прода (ога щаз) ESXi, глючащий с и так тормозющими снэпшотами VMFS по сравнению с OpenZFS - это вообще стыдобушка вселенского масштаба. Вот бы проприетарная Solaris такая выдала сообщение, мол "не могу удалить снэпшот, обращайтесь в спортлото", - это же оскандалиться на весь мир. А для VMWare ESXi - это норм ... в порядке вещей, объективная реальность, деньги есть ума не надо.

Так надо выбирать стабильные версии ZOL, никто же не заставляет использовать беты. Проприетарный якобы стабильный предназначенный для прода (ога щаз) ESXi, глючащий с и так тормозющими снэпшотами VMFS по сравнению с OpenZFS - это вообще стыдобушка вселенского масштаба. Вот бы проприетарная Solaris такая выдала сообщение, мол "не могу удалить снэпшот, обращайтесь в спортлото", - это же оскандалиться на весь мир. А для VMWare ESXi - это норм ... в порядке вещей, объективная реальность, деньги есть ума не надо.

Владимир на бэте?

Я просто не очень за этой веткой зфс слежу

Владимир на бэте?

Если почитать хистори чатика выше, то далеко не все рискуют апгрейдиться в проде с 0.8.6 до 2.x. В FreeNAS кажется недавно был вообще эпичный фэйл с просером данных на версии 2.x

Если почитать хистори чатика выше, то далеко не все рискуют апгрейдиться в проде с 0.8.6 до 2.x. В FreeNAS кажется недавно был вообще эпичный фэйл с просером данных на версии 2.x

2ка бета или релиз?

2ка бета или релиз?

С точки зрения прод админов бета, с точки зрения разрабов ZOL - х.з., кого это интересует собственно. С моей точки зрения стабильной версией ZOL X.Y.Z можно считать только последний minor X.Y-1.Z, которому уже хотя бы уже полгода после увеличения major Y и про который не гуглится ничего ужасно плохого. Т.е. сейчас это 0.8.6 и 0.7.12 Тем более, что ZFS 2x - это переход на унифицированный вариант для всех осей, т.е. небольшая революция, а не эволюция, IMHO раньше, чем в версии типа 2.1.12 с ней вообще лучше не связываться в проде, где важен SLA и то только через год после ее релиза. Хотя если нужен persistent L2ARC и есть постоянные реплики на второе хранилище с ZFS 0.8.6, то можно и рискнуть ради производительности из-за всегда горячего кэша, но всегда имея ввиду план B по возврату на 0.8.6 даже на мастере. И то наверно только при условии, что приложение само дополнительно сверяет целостность данных на dataset, например Db2 делал это уже 15 лет назад: http://www.dbatodba.com/db2/problem-resolution/database-crashes/how-to-investigate-a-bad-page-in-table-space/

IMHO ядро и версию ZFS в проде нужно менять максимально редко, только после теста на других менее важных серверах, и держать их на отдельном хранилище, а не на сервере приложений, чтобы изолировать от воздействий другого софта, его доп. нагрузки на ядро и т.п. Доступ по iSCSI, NBD и т.п. Интересно, имеет ли смысл сжимать траф, аналогично ZFS ? Вырастет ли в целом производительность такой системы по сравнению с аналогичной, но без сжатия, подразумевается, что ядер на хранилище достаточно, чтобы LA не улетал за верхнюю грань реально доступного железа? При декомпрессии на сервере приложений вероятно нагрузка на CPU вообще никакая? И чем сжимать траф? Это еще какой-то туннель? Проще наверно найти сжимающий DM для сервера приложений, чтобы сжатие происходило на клиенте, а не на zvol ZFS хранилища. Ext3 -> LVM VDO LZ4 compression -> iSCSI -> ZFS ZVol без сжатия Масло маслянное, но надо попробовать :)

чисто теоретически, потеря одного из многих vdev -- это полная потеря пула или только того, что на том vdev сидело?

чисто теоретически, потеря одного из многих vdev -- это полная потеря пула или только того, что на том vdev сидело?

Зависит от топологии избыточности пула?

Зависит от топологии избыточности пула?

без никакой избыточности вообще. например 3 вдева=3 винта. не миррор, не раид.

Ну это простой страйп = потеря всего пула

без никакой избыточности вообще. например 3 вдева=3 винта. не миррор, не раид.

Тогда пипец пулу. Такие конфиги можно использовать только на хостах, где неважен SLA и с постоянными репликами данных, если сохранность данных вообще важна.

не как в btrfs, когда мету можно raid1 а данные в 1 экз?

не как в btrfs, когда мету можно raid1 а данные в 1 экз?

Метаданные можно на отдельное устройство, вероятно зеркалированное тоже. Только сомневаюсь, что целые метаданные позволят что-то вытащить из пула, который тупо не импортируется без отсутствующих vdevs, или что-то уже поменялось в этом плане с учетом separated meta?

Метаданные можно на отдельное устройство, вероятно зеркалированное тоже. Только сомневаюсь, что целые метаданные позволят что-то вытащить из пула, который тупо не импортируется без отсутствующих vdevs, или что-то уже поменялось в этом плане с учетом separated meta?

в btrfs можно монтироваться в degraded режиме без каких-то дисков. если мета была raid1 то по идее прокатит

в btrfs можно монтироваться в degraded режиме без каких-то дисков. если мета была raid1 то по идее прокатит

Может быть, и в ZFS прокатит, не пробовал, по крайне мере без кэширующих или дублирующих устройств аналогично пишет degraged, но все же импортирует, если форснуть опцией. Кстати интересно было бы узнать, если такое действительно станет возможным. Вообще IMHO идеально было бы держать данные файлопомойки и бэкапов на dRAID, а мету на тройном или четверном быстром SSD zmirror. Быстрые данные для СУБД можно на отдельном массиве zmirror.

кстати а в чем фишка draid? стоит на него переходить с z2?

кстати а в чем фишка draid? стоит на него переходить с z2?

Размазанность избыточности по всем дискам пула. Стоит ли использовать, вероятно зависит как минимум от стабильности этой фичи, она вроде бы новая, я бы не стал, подождал годик - другой.

Размазанность избыточности по всем дискам пула. Стоит ли использовать, вероятно зависит как минимум от стабильности этой фичи, она вроде бы новая, я бы не стал, подождал годик - другой.

??? разве в z2 какие-то диски резервные среди тех n+2 ?

Зависит от топологии избыточности пула?

Вдев между собой всегда страйп. Какая избыточность

??? разве в z2 какие-то диски резервные среди тех n+2 ?

В смысле они содержат избыточность, или я неправильно понимаю суть? Я сам кроме zmirror вообще ничего не использовал пока.

??? разве в z2 какие-то диски резервные среди тех n+2 ?

Нет. Там цикличечкие меняется диск для контрольный суммы

В смысле они содержат избыточность, или я неправильно понимаю суть? Я сам кроме zmirror вообще ничего не использовал пока.

Нет дублей z2, разве что контрольные суммы по одному алгоритму

В это группа дисков с какой-то организацией внутри

Нет дублей z2, разве что контрольные суммы по одному алгоритму

В чем тогда отличие dRAID от RAIDz2?

В чем тогда отличие dRAID от RAIDz2?

На солярке нет Д

Это что-то хитро мутное

Это что-то хитро мутное

Declustered RAID, насколько я понял, - это когда избыточность равномерно размазана по всем дискам.

Нет дублей z2, разве что контрольные суммы по одному алгоритму

Я конечно имел ввиду не полные дубли как в zmirror, а хотя бы избыточность.

Declustered RAID, насколько я понял, - это когда избыточность равномерно размазана по всем дискам.

Raidz это аналог raid5, там она тоже на каждом страйпе на новом диске

А вот когда на одном это Raid 3

Его никто давно не использует

Я конечно имел ввиду не полные дубли как в zmirror, а хотя бы избыточность.

В простейшем случае, там обычный ксор

@IvanVolosyuk IvanVolosyuk Feb 20, 2021 IMHO draid main selling point is very fast rebuild times, when all disks are busy rebuilding instead of conventional raid when rebuild speed is limited by the write performance of the spare. Also all disks including spares are in use during normal operation, when in the conventional raid - spares are completely idle. https://github.com/openzfs/zfs/discussions/11620

Т.е. получается, что по другому процессится включение в пул замены из hot spare после факапа устройства. В dRAID намного эффективнее.

В простейшем случае, там обычный ксор

для raid5/z1 -- ксор для 6/z2 одна сумма ксор, другая чуть сложнее для z3 -- хз что для 3ей

Можно ли заставить работать ZFS в режиме ядра lockdown=confidentiality ? Т.е. как-то самостоятельно подписать модули или скомпилить ядро монолитом вместе с ZFS и т.п.?

поменять лицуху на гпл и пересобрать модуль )

для raid5/z1 -- ксор для 6/z2 одна сумма ксор, другая чуть сложнее для z3 -- хз что для 3ей

ну кроме циклического сложения и вычитания ничего не придумал. но зачем?

в чем профит

поменять лицуху на гпл и пересобрать модуль )

Зачем менять лицуху, если я не буду никому распространять такое ядро?

Зачем менять лицуху, если я не буду никому распространять такое ядро?

Сань, как в опенсорсе посмотреть кто на зфс файл мучает?

Сань, как в опенсорсе посмотреть кто на зфс файл мучает?

Мы же уже пытались? Поискать в опен сорсах ? :) Я подобного не делал, кроме как через iotop.

Зачем менять лицуху, если я не буду никому распространять такое ядро?

ну это уже к линусу и ко вопрос, они такое придумали

ну кроме циклического сложения и вычитания ничего не придумал. но зачем?

в том что раид5 исправляет одно выпадение (если известно где) и репортит порчу (неизвестно где) раид6 исправляет 2 известных выпадения, одно неизвестное и репортит 2 неизвестных

конечно в зфс как я понимаю каждый кусок отдельно чексуммится и поэтому все выпадения известные (в чем он лучше mdraid 5/6 кот ВООБЩЕ не защищают от порчи, только от выпадений дисков)

конечно в зфс как я понимаю каждый кусок отдельно чексуммится и поэтому все выпадения известные (в чем он лучше mdraid 5/6 кот ВООБЩЕ не защищают от порчи, только от выпадений дисков)

В смысле аппаратный RAID5/6 даже не защищает от просера чек сумм в кабеле/чипах/прошивке?

я про mdraid в линухе

я про mdraid в линухе

А аппаратный защищает?

бес понятия, у меня такого нету и не игрался

еще в mdraid есть write hole :(

еще в mdraid есть write hole :(

Шикарно, но для хранения readonly бутлоадера с ядром и initrd наверно сойдет :) Bootloader вероятно загрузится даже без mdraid с одной из частей зеркала?

правда там недавно придумали ставить еще 1 драйв для журналов чтоб побороть дыру, но это такое...

Кстати, интересно, кто-нибудь использует до сих пор древний grub4dos от 2009 года или более новые сборки? Как-то отключить бы в нем на старте опрос всех контроллеров кроме usb_storage, а то он виснет на новом оборудовании :( Подхватил бы только ядро с флэхи или CDROM на интегрированном старинном SATA/IDE матплаты, а дальше уже дрова ядра разрулят откуда и чего. Говорят, что обычный современный GRUB2 малость затроянен буткитами от NSA?

EL8.4 Package: zfs-release.el8_4.noarch.rpm (zfs-2.0.5)

2.0.5 стал совсем stable?

о, в дебьян тоже завезли сегодня 2.0.5

а не, вру. 2.0.3-9 завезли

а не, вру. 2.0.3-9 завезли

та то в сид, в стабильном вообще 2.0.3-8

хотя эта приписка 8 это походу чисто дебиановская приписка