Что хорошо, для тестов можно использовать обычные файлы, не притаскивая в систему новые харды

Потом, вооружившись этими знаниями можно будет прикинуть, подходит ли она для имеющихся задач и сделает ли лучше

вот я что-то не совсем понимаю чем он так крут искренне хочу разобраться

Надёжность хранения, автоматизация, снапшоты Всё остальное читай в ZFS 101

https://jro.io/nas/#overhead В том числе

Да, наверное, это и есть

хм, почему все так любят zfs?

вот например. Before starting critical procedures that include destructive actions (like zfs destroy), an administrator can checkpoint the pool's state and, in the case of a mistake or failure, rewind the entire pool back to the checkpoint. Otherwise, the checkpoint can be discarded when the procedure has completed successfully.

хм, почему все так любят zfs?

за разное :) - можно любить за функционал - сжатие, нативное шифрование и тд - можно любить за self-healing и выживаемость (надёжность, одним словом) - а можно любить и за удобство - я обожаю CLI у ZFS и его логику управления хранилищем, после него lvm, mdadm и тд очень неудобны есть и за что не любить, конечно же :)

за разное :) - можно любить за функционал - сжатие, нативное шифрование и тд - можно любить за self-healing и выживаемость (надёжность, одним словом) - а можно любить и за удобство - я обожаю CLI у ZFS и его логику управления хранилищем, после него lvm, mdadm и тд очень неудобны есть и за что не любить, конечно же :)

жесть, не ожидал увидеть ответ от автора статьи на хабре

спасибо)

за разное :) - можно любить за функционал - сжатие, нативное шифрование и тд - можно любить за self-healing и выживаемость (надёжность, одним словом) - а можно любить и за удобство - я обожаю CLI у ZFS и его логику управления хранилищем, после него lvm, mdadm и тд очень неудобны есть и за что не любить, конечно же :)

можете чуть накидать плз?) исходя из практики использования

неофиты познают базис

хм, почему все так любят zfs?

Я не люблю. ;) Точнее у меня нет задач под zfs. Ну вот разве что сжатие намечается. В остальном я фанат mdadm и lvm. Как по мне стабильнее, логичнее и понятнее ничего нет.

м, вот как. получается мы мы можем объединять различные типы дисков (HDD + SSD) и при этом получаем хороший перфоманс?

если кратко - скорее нет

можете чуть накидать плз?) исходя из практики использования

функционал и гибкость имеют цену - это доп. логика = производительность, если ожидать что это голый блочный сторадж и не строить нормально хранилище - легко получить плохие цифры если ничего кроме голого блочного стораджа и не нужно - значит zfs избыточен

удобство в мелочах, например после zfs очень непривычно что свежесозданный mirror/raid массив на mdadm и другом должен проинициализироваться (что может быть долго). Да, обходные пути есть

а вишенка на торте - жизненный цикл хранилища, на моменте когда начинают продумывать бекапы очень быстро выясняется, что нужны снапшоты. Ой, lvm и снапшоты = больно. А как бекапиться инкрементально? и тд

а вишенка на торте - жизненный цикл хранилища, на моменте когда начинают продумывать бекапы очень быстро выясняется, что нужны снапшоты. Ой, lvm и снапшоты = больно. А как бекапиться инкрементально? и тд

да, снапшоты прям супер фича zfs

а вишенка на торте - жизненный цикл хранилища, на моменте когда начинают продумывать бекапы очень быстро выясняется, что нужны снапшоты. Ой, lvm и снапшоты = больно. А как бекапиться инкрементально? и тд

ХЗ в чем боль. У каждого своя. Меня бесит что в zfs я не могу аллоцтровать всё пространство. Инкремент - да, это с lvm не сделаешь. :(

например как за 19 секунд снять весь дифф c 200ГБ home dir и забекапить его, вот так бекаплю на фоне постоянно ноут свой по сети снапшотами зашифрованными через zrepl FILTER ╔════════════════╗┌───────────────────────────────────────────────────────────────────────────────────────────┐ ║jobs ║│Job: prod_to_backups_enc │ ║├──prod_to_backu║│Type: push │ ║└──prod_to_backu║│ │ ║ ║│Replication: │ ║ ║│ Attempt #1 │ ║ ║│ Status: done │ ║ ║│ Last Run: 2024-09-22 21:36:15 +0300 MSK (lasted 19s) │ ║ ║│ rpool/home/gmelikov DONE (step 1/1, 97.3 MiB/104.0 MiB) │ ║ ║│ │ ║ ║│Pruning Sender: │ ║ ║│ Status: Done │ ║ ║│ rpool/home/gmelikov Completed (destroy 1 of 4 snapshots) │ ║ ║│ │ ║ ║│Pruning Receiver: │ ║ ║│ Status: Done │ ║ ║│ rpool skipped: filesystem is placeholder │ ║ ║│ rpool/ROOT skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/ROOT/debian skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/home skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/home/gmelikov Completed (destroy 3 of 40 snapshots) │ ║ ║│ rpool/home/root skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/var skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/var/games skipped: filesystem is placeholder │ ║ ║│ rpool/var/lib skipped: filesystem has no correspondence on sender │ ║ ║│ │ ║ ║│Snapshotting: │ ║ ║│ Type: periodic │ ║ ║│ Status: Waiting │ ║ ║│ Sleep until: 2024-09-22 22:35:55.925413289 +0300 MSK │ ║ ║│ rpool/home/gmelikov SnapDone 0s snap name: "zrepl_20240922_183556_000" │ ║ ║│

ХЗ в чем боль. У каждого своя. Меня бесит что в zfs я не могу аллоцтровать всё пространство. Инкремент - да, это с lvm не сделаешь. :(

аллоцировать = занять? любую фс не стоит забивать на 100%. Но если хочется - легко делается, можно уменьшить резервирование через spa_slop_shift параметр если понимаете на что идёте Да, последний байт не займёшь. Правда когда начинаешь считать как помогает сжатие миниму метаданных самой ФС, то быстро выясняется что часто можно залить больше чем в обычную фс

аллоцировать = занять? любую фс не стоит забивать на 100%. Но если хочется - легко делается, можно уменьшить резервирование через spa_slop_shift параметр если понимаете на что идёте Да, последний байт не займёшь. Правда когда начинаешь считать как помогает сжатие миниму метаданных самой ФС, то быстро выясняется что часто можно залить больше чем в обычную фс

Ну не в любой фс. Я про обычные а не про монстры. Да, сжатие помогает. Но я не люблю понимать что нужно 10-20% держать свободными. :( да, вопрос привычки. Но это еще один параметр контроля.

У меня были 40-к HDD seagate с родовой травмой и за месяц все умерли, были под Adaptec RAID 5, Windows SS и ZFS - только на ZFS ,без потери данных были плавно поменяны на другие, все остальные варианты или совсем потеряли данные (adaptec) или я их смог прочитать в RO после восстановления на спец оборудовании (Windows SS)

Год крутиться 60 рейд (адаптек) так же есть 50 рейд на MegaRaid проблем не выявлено, были локальные такие как 48 дисков собираться не хотели но там проблема была в полка отключили и собрали по 24 диска щас в работе

удобство в мелочах, например после zfs очень непривычно что свежесозданный mirror/raid массив на mdadm и другом должен проинициализироваться (что может быть долго). Да, обходные пути есть

Ммммм, blkdiscard + --assume-clean

Ну не в любой фс. Я про обычные а не про монстры. Да, сжатие помогает. Но я не люблю понимать что нужно 10-20% держать свободными. :( да, вопрос привычки. Но это еще один параметр контроля.

Откуда такие цифры - 20%? Более чем достаточно 10%, это уже с запасом. Но на любой ФС если остается меньше 10% свободного пространства, то можно не доглядеть и случится боль.

Откуда такие цифры - 20%? Более чем достаточно 10%, это уже с запасом. Но на любой ФС если остается меньше 10% свободного пространства, то можно не доглядеть и случится боль.

Хехехехехехехехехехехехехехехехехе

Ммммм, blkdiscard + --assume-clean

Yep, см. конец сообщения)

Хехехехехехехехехехехехехехехехехе

Лучше пример, когда это не так

и то для ssd, на hdd не

и то для ssd, на hdd не

Нууу, использовать mdadm на hdd я бы не стал......

Нууу, использовать mdadm на hdd я бы не стал......

начинаааается)

начинаааается)

ZFS создан для HDD, но не для NVMe - IMO

ZFS создан для HDD, но не для NVMe - IMO

Так это не то, чтобы не навсегда, а может перестать быть недостатком в ближайшем будущем)

ZFS создан для HDD, но не для NVMe - IMO

И куда пропали SATA SSD? Все в мире утилизировали?

И куда пропали SATA SSD? Все в мире утилизировали?

Он просто в серой зоне в этом утверждении. IMO Он изначально не сильно быстрый (в сравнении с NVMe), поэтому ZFS не то, чтобы сильно уронит его производительность. Но ~x3 быстрее от текущих HDD, поэтому приличную часть производительности ты всё же теряешь

Он просто в серой зоне в этом утверждении. IMO Он изначально не сильно быстрый (в сравнении с NVMe), поэтому ZFS не то, чтобы сильно уронит его производительность. Но ~x3 быстрее от текущих HDD, поэтому приличную часть производительности ты всё же теряешь

Это в линейных операциях ~x3. Твои аргументы какие-то подрезанные

Это в линейных операциях ~x3. Твои аргументы какие-то подрезанные

Нуу, медиакэш достаточно сильно помогает на мелкоблочке для энтерпрайзных hdd

Хехехехехехехехехехехехехехехехехе

Так что всё-таки с кейсами, где нужно больше 20%?

Мне реально интересно.

Мне реально интересно.

Ща, я ищу что-то более существенное рекомендаций на форуме от пользователей

https://www.oracle.com/technetwork/server-storage/solaris10/documentation/wp-oraclezfsconfig-0510-ds-ac2-163550.pdf

https://www.oracle.com/technetwork/server-storage/solaris10/documentation/wp-oraclezfsconfig-0510-ds-ac2-163550.pdf

это кстати устарело, в openzfs уже много направили и с spacemap и с аллокациями, емнип сейчас аллокатор переходит на более медленный алгоритм при 5% чтоли свободного пространства

это кстати устарело, в openzfs уже много направили и с spacemap и с аллокациями, емнип сейчас аллокатор переходит на более медленный алгоритм при 5% чтоли свободного пространства

Хм, хорошая новость

10% считается ок, если не критично выжать все иопсы - и меньше можно

это кстати устарело, в openzfs уже много направили и с spacemap и с аллокациями, емнип сейчас аллокатор переходит на более медленный алгоритм при 5% чтоли свободного пространства

Да, от 2022 года я вижу про *начиная с 96%*, но он (алгоритм) будет таким, пока не высвободится хотя бы 20%(?)

Год крутиться 60 рейд (адаптек) так же есть 50 рейд на MegaRaid проблем не выявлено, были локальные такие как 48 дисков собираться не хотели но там проблема была в полка отключили и собрали по 24 диска щас в работе

У меня диски умирали физически

У меня были 40-к HDD seagate с родовой травмой и за месяц все умерли, были под Adaptec RAID 5, Windows SS и ZFS - только на ZFS ,без потери данных были плавно поменяны на другие, все остальные варианты или совсем потеряли данные (adaptec) или я их смог прочитать в RO после восстановления на спец оборудовании (Windows SS)

Что это за травма такая и какая модель дисков?

Я не люблю. ;) Точнее у меня нет задач под zfs. Ну вот разве что сжатие намечается. В остальном я фанат mdadm и lvm. Как по мне стабильнее, логичнее и понятнее ничего нет.

а вы на lvm контроль целостности включаете?

а вы на lvm контроль целостности включаете?

TIL

а вы на lvm контроль целостности включаете?

Нет

Что это за травма такая и какая модель дисков?

Seagate на 3тб

Что это за травма такая и какая модель дисков?

Купили диски из одной партии....

еее, в следующем релизе xattr=sa будет по дефолту https://github.com/openzfs/zfs/pull/15147 минус один дефолтный параметр который стоило менять

активно начали мержить патчи, видно к 2.3 релизу готовятся уже

еее, в следующем релизе xattr=sa будет по дефолту https://github.com/openzfs/zfs/pull/15147 минус один дефолтный параметр который стоило менять

вот еще бы и ноатайм дефолтом...

вот еще бы и ноатайм дефолтом...

а это я ещё в 2.2 релизе косвенно через relatime=on по дефолту фиксанул https://github.com/openzfs/zfs/commit/fbc210fab21e1ec9d744d7589c386fc148f7682e

так что atime=off это если хочется прям полирнуть, но дефолт теперь ок по перфу

а это я ещё в 2.2 релизе косвенно через relatime=on по дефолту фиксанул https://github.com/openzfs/zfs/commit/fbc210fab21e1ec9d744d7589c386fc148f7682e

релатайм это практиески тот же атайм токо кешируется в памяти подольше

релатайм это практиески тот же атайм токо кешируется в памяти подольше

Не просто подольше, а до суток чтоли:)

Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.

Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.

Я вот тоже машину хочу купить. Какую лучше - красную или зеленную?

Я вот тоже машину хочу купить. Какую лучше - красную или зеленную?

Красную конечно

Тогда нужно человеку сказать SAS брать) Вообще SAS уже не SAS, у них с SATA никакой разницы, кроме способа подключения.

Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.

Главное, чтобы диски были CMR - это сейчас сложно бывает определить до покупки

Относительно того, как это раньше было.

Тогда нужно человеку сказать SAS брать) Вообще SAS уже не SAS, у них с SATA никакой разницы, кроме способа подключения.

sas с 15к оборотов брать надо. но за такие деньги ентерпрайз ссд выгодней купить.

sas с 15к оборотов брать надо. но за такие деньги ентерпрайз ссд выгодней купить.

То-то же. Но Никита не уточнял этот момент. Потому я про машину и написал)

Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.

Во-первых, SAS или NL-SAS?

SAS если что это 300\600\900\1200\1800гб

3.5 дюйма это уже nl-sas

Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.

Дешманских дисков nlsas не бывает (в том числе SMR не бывает nl-sas насколько я помню) - поэтому когда их берёшь в целом можно быть чуть более спокойным за их надёжность Когда берёшь SATA - нужно смотреть чтобы это были энтерпрайз диски, а не дешман в духе синих и фиолетовых Про 512 можешь забить примерно совсем, сейчас HDD не тот сегмент где тебя должна ебать производительность. Если она волнует - то тебе надо считать, что у тебя узкое горлышко. И точно ли тебе нужна ZFS. И похер как у тебя диски расположены, главное, чтобы HBA экспандер не задыхался от такой нагрузки. Он тоже может быть узким горлышком при большом количестве дисков

Главное, чтобы диски были CMR - это сейчас сложно бывает определить до покупки

Это, разумеется, уже проверил.

Во-первых, SAS или NL-SAS?

NL-SAS, enterprise линейки, конечно, hdd.

Дешманских дисков nlsas не бывает (в том числе SMR не бывает nl-sas насколько я помню) - поэтому когда их берёшь в целом можно быть чуть более спокойным за их надёжность Когда берёшь SATA - нужно смотреть чтобы это были энтерпрайз диски, а не дешман в духе синих и фиолетовых Про 512 можешь забить примерно совсем, сейчас HDD не тот сегмент где тебя должна ебать производительность. Если она волнует - то тебе надо считать, что у тебя узкое горлышко. И точно ли тебе нужна ZFS. И похер как у тебя диски расположены, главное, чтобы HBA экспандер не задыхался от такой нагрузки. Он тоже может быть узким горлышком при большом количестве дисков

Про sata спрашиваю, поскольку не уверен, что sata диски будут корректно через sas экспандер работать. Или этот фактор включается, когда экспандеры или hba в параллель воткнуты?

Про sata спрашиваю, поскольку не уверен, что sata диски будут корректно через sas экспандер работать. Или этот фактор включается, когда экспандеры или hba в параллель воткнуты?

Ты бы модель лучше дал

Но я ещё не видел экспандеров, которые не работали бы с SATA

Ты бы модель лучше дал

Контроллер - Intel Integrated RAID Module RMS3VC160 (Avago 3216 ) Экспандер - LSI Expander 12gb/s sas3x36-28i8e Я уже пробовал подключать sata диск в данной сборке, но для тестирования видит/не видит, нагрузку не давал.

Контроллер - Intel Integrated RAID Module RMS3VC160 (Avago 3216 ) Экспандер - LSI Expander 12gb/s sas3x36-28i8e Я уже пробовал подключать sata диск в данной сборке, но для тестирования видит/не видит, нагрузку не давал.

Лучше не стало, да?)

Люди такие смешные Хотят на Авито покупать прекрасные винты за ценник 20-30% и приходят с Викторией типа смарт проверять и думают, что там ничего не сброшено. Были у меня нормальные винты sata полгода проработавшие и из за смены на ссд их списали. Приходит воротило и крутит нос, говорит там вон винты новые стоят также. Подумал подумал и сбросил им смарт, пришлось цену поднимать с ума сошли звонками.

Ну а кто на Авито винты для прода покупает я вообще в ахере. Почему в сфере видеонаблюдения одни говнари?

Воруют по ходу винты новые и покупают хлам.