Fedor
Что хорошо, для тестов можно использовать обычные файлы, не притаскивая в систему новые харды
Fedor
Потом, вооружившись этими знаниями можно будет прикинуть, подходит ли она для имеющихся задач и сделает ли лучше
Vladislav
вот я что-то не совсем понимаю чем он так крут искренне хочу разобраться
Надёжность хранения, автоматизация, снапшоты Всё остальное читай в ZFS 101
Vladislav
https://jro.io/nas/#overhead В том числе
Да, наверное, это и есть
Fedor
хм, почему все так любят zfs?
вот например. Before starting critical procedures that include destructive actions (like zfs destroy), an administrator can checkpoint the pool's state and, in the case of a mistake or failure, rewind the entire pool back to the checkpoint. Otherwise, the checkpoint can be discarded when the procedure has completed successfully.
George
хм, почему все так любят zfs?
за разное :) - можно любить за функционал - сжатие, нативное шифрование и тд - можно любить за self-healing и выживаемость (надёжность, одним словом) - а можно любить и за удобство - я обожаю CLI у ZFS и его логику управления хранилищем, после него lvm, mdadm и тд очень неудобны есть и за что не любить, конечно же :)
Eug
спасибо)
Eug
неофиты познают базис
Andrey
хм, почему все так любят zfs?
Я не люблю. ;) Точнее у меня нет задач под zfs. Ну вот разве что сжатие намечается. В остальном я фанат mdadm и lvm. Как по мне стабильнее, логичнее и понятнее ничего нет.
George
можете чуть накидать плз?) исходя из практики использования
функционал и гибкость имеют цену - это доп. логика = производительность, если ожидать что это голый блочный сторадж и не строить нормально хранилище - легко получить плохие цифры если ничего кроме голого блочного стораджа и не нужно - значит zfs избыточен
George
удобство в мелочах, например после zfs очень непривычно что свежесозданный mirror/raid массив на mdadm и другом должен проинициализироваться (что может быть долго). Да, обходные пути есть
George
а вишенка на торте - жизненный цикл хранилища, на моменте когда начинают продумывать бекапы очень быстро выясняется, что нужны снапшоты. Ой, lvm и снапшоты = больно. А как бекапиться инкрементально? и тд
George
например как за 19 секунд снять весь дифф c 200ГБ home dir и забекапить его, вот так бекаплю на фоне постоянно ноут свой по сети снапшотами зашифрованными через zrepl FILTER ╔════════════════╗┌───────────────────────────────────────────────────────────────────────────────────────────┐ ║jobs ║│Job: prod_to_backups_enc │ ║├──prod_to_backu║│Type: push │ ║└──prod_to_backu║│ │ ║ ║│Replication: │ ║ ║│ Attempt #1 │ ║ ║│ Status: done │ ║ ║│ Last Run: 2024-09-22 21:36:15 +0300 MSK (lasted 19s) │ ║ ║│ rpool/home/gmelikov DONE (step 1/1, 97.3 MiB/104.0 MiB) │ ║ ║│ │ ║ ║│Pruning Sender: │ ║ ║│ Status: Done │ ║ ║│ rpool/home/gmelikov Completed (destroy 1 of 4 snapshots) │ ║ ║│ │ ║ ║│Pruning Receiver: │ ║ ║│ Status: Done │ ║ ║│ rpool skipped: filesystem is placeholder │ ║ ║│ rpool/ROOT skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/ROOT/debian skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/home skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/home/gmelikov Completed (destroy 3 of 40 snapshots) │ ║ ║│ rpool/home/root skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/var skipped: filesystem has no correspondence on sender │ ║ ║│ rpool/var/games skipped: filesystem is placeholder │ ║ ║│ rpool/var/lib skipped: filesystem has no correspondence on sender │ ║ ║│ │ ║ ║│Snapshotting: │ ║ ║│ Type: periodic │ ║ ║│ Status: Waiting │ ║ ║│ Sleep until: 2024-09-22 22:35:55.925413289 +0300 MSK │ ║ ║│ rpool/home/gmelikov SnapDone 0s snap name: "zrepl_20240922_183556_000" │ ║ ║│
George
ХЗ в чем боль. У каждого своя. Меня бесит что в zfs я не могу аллоцтровать всё пространство. Инкремент - да, это с lvm не сделаешь. :(
аллоцировать = занять? любую фс не стоит забивать на 100%. Но если хочется - легко делается, можно уменьшить резервирование через spa_slop_shift параметр если понимаете на что идёте Да, последний байт не займёшь. Правда когда начинаешь считать как помогает сжатие миниму метаданных самой ФС, то быстро выясняется что часто можно залить больше чем в обычную фс
Андрей🧛
У меня были 40-к HDD seagate с родовой травмой и за месяц все умерли, были под Adaptec RAID 5, Windows SS и ZFS - только на ZFS ,без потери данных были плавно поменяны на другие, все остальные варианты или совсем потеряли данные (adaptec) или я их смог прочитать в RO после восстановления на спец оборудовании (Windows SS)
Год крутиться 60 рейд (адаптек) так же есть 50 рейд на MegaRaid проблем не выявлено, были локальные такие как 48 дисков собираться не хотели но там проблема была в полка отключили и собрали по 24 диска щас в работе
Станислав
Ну не в любой фс. Я про обычные а не про монстры. Да, сжатие помогает. Но я не люблю понимать что нужно 10-20% держать свободными. :( да, вопрос привычки. Но это еще один параметр контроля.
Откуда такие цифры - 20%? Более чем достаточно 10%, это уже с запасом. Но на любой ФС если остается меньше 10% свободного пространства, то можно не доглядеть и случится боль.
George
Ммммм, blkdiscard + --assume-clean
Yep, см. конец сообщения)
Станислав
Хехехехехехехехехехехехехехехехехе
Лучше пример, когда это не так
George
и то для ssd, на hdd не
Vladislav
и то для ssd, на hdd не
Нууу, использовать mdadm на hdd я бы не стал......
Vladislav
начинаааается)
ZFS создан для HDD, но не для NVMe - IMO
Станислав
ZFS создан для HDD, но не для NVMe - IMO
Так это не то, чтобы не навсегда, а может перестать быть недостатком в ближайшем будущем)
Станислав
ZFS создан для HDD, но не для NVMe - IMO
И куда пропали SATA SSD? Все в мире утилизировали?
Vladislav
И куда пропали SATA SSD? Все в мире утилизировали?
Он просто в серой зоне в этом утверждении. IMO Он изначально не сильно быстрый (в сравнении с NVMe), поэтому ZFS не то, чтобы сильно уронит его производительность. Но ~x3 быстрее от текущих HDD, поэтому приличную часть производительности ты всё же теряешь
Vladislav
Это в линейных операциях ~x3. Твои аргументы какие-то подрезанные
Нуу, медиакэш достаточно сильно помогает на мелкоблочке для энтерпрайзных hdd
Станислав
Хехехехехехехехехехехехехехехехехе
Так что всё-таки с кейсами, где нужно больше 20%?
Станислав
Мне реально интересно.
Vladislav
Мне реально интересно.
Ща, я ищу что-то более существенное рекомендаций на форуме от пользователей
Vladislav
https://www.oracle.com/technetwork/server-storage/solaris10/documentation/wp-oraclezfsconfig-0510-ds-ac2-163550.pdf
George
https://www.oracle.com/technetwork/server-storage/solaris10/documentation/wp-oraclezfsconfig-0510-ds-ac2-163550.pdf
это кстати устарело, в openzfs уже много направили и с spacemap и с аллокациями, емнип сейчас аллокатор переходит на более медленный алгоритм при 5% чтоли свободного пространства
George
10% считается ок, если не критично выжать все иопсы - и меньше можно
Vladislav
Что это за травма такая и какая модель дисков?
Купили диски из одной партии....
George
еее, в следующем релизе xattr=sa будет по дефолту https://github.com/openzfs/zfs/pull/15147 минус один дефолтный параметр который стоило менять
George
активно начали мержить патчи, видно к 2.3 релизу готовятся уже
George
вот еще бы и ноатайм дефолтом...
а это я ещё в 2.2 релизе косвенно через relatime=on по дефолту фиксанул https://github.com/openzfs/zfs/commit/fbc210fab21e1ec9d744d7589c386fc148f7682e
George
так что atime=off это если хочется прям полирнуть, но дефолт теперь ок по перфу
Δαρθ
Nikita
Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.
Станислав
Тогда нужно человеку сказать SAS брать) Вообще SAS уже не SAS, у них с SATA никакой разницы, кроме способа подключения.
Станислав
Относительно того, как это раньше было.
Ivan
Тогда нужно человеку сказать SAS брать) Вообще SAS уже не SAS, у них с SATA никакой разницы, кроме способа подключения.
sas с 15к оборотов брать надо. но за такие деньги ентерпрайз ссд выгодней купить.
Станислав
sas с 15к оборотов брать надо. но за такие деньги ентерпрайз ссд выгодней купить.
То-то же. Но Никита не уточнял этот момент. Потому я про машину и написал)
Artem
Vladislav
SAS если что это 300\600\900\1200\1800гб
Vladislav
3.5 дюйма это уже nl-sas
Vladislav
Добрый день! Выбираю диски для хранилки на zfs, есть такие варианты: SAS 512n, SATA 512e и SAS 512e. Последний в 1.5 раза дороже. Половина будет в корпусе сервера, половина в полке, всё через SAS-экспандеры в один HBA-контроллер. Вопроса 2: насколько для такой схемы принципиален SAS/SATA? На что может повлиять 512n/512e кроме скорости? Понятно, что лучше 4Kn, но их либо сложно достать, либо стоят как то совсем уж неприлично.
Дешманских дисков nlsas не бывает (в том числе SMR не бывает nl-sas насколько я помню) - поэтому когда их берёшь в целом можно быть чуть более спокойным за их надёжность Когда берёшь SATA - нужно смотреть чтобы это были энтерпрайз диски, а не дешман в духе синих и фиолетовых Про 512 можешь забить примерно совсем, сейчас HDD не тот сегмент где тебя должна ебать производительность. Если она волнует - то тебе надо считать, что у тебя узкое горлышко. И точно ли тебе нужна ZFS. И похер как у тебя диски расположены, главное, чтобы HBA экспандер не задыхался от такой нагрузки. Он тоже может быть узким горлышком при большом количестве дисков
Nikita
Во-первых, SAS или NL-SAS?
NL-SAS, enterprise линейки, конечно, hdd.
Vladislav
Но я ещё не видел экспандеров, которые не работали бы с SATA
Nikita
Ты бы модель лучше дал
Контроллер - Intel Integrated RAID Module RMS3VC160 (Avago 3216 ) Экспандер - LSI Expander 12gb/s sas3x36-28i8e Я уже пробовал подключать sata диск в данной сборке, но для тестирования видит/не видит, нагрузку не давал.
Dexex
Люди такие смешные Хотят на Авито покупать прекрасные винты за ценник 20-30% и приходят с Викторией типа смарт проверять и думают, что там ничего не сброшено. Были у меня нормальные винты sata полгода проработавшие и из за смены на ссд их списали. Приходит воротило и крутит нос, говорит там вон винты новые стоят также. Подумал подумал и сбросил им смарт, пришлось цену поднимать с ума сошли звонками.
Dexex
Ну а кто на Авито винты для прода покупает я вообще в ахере. Почему в сфере видеонаблюдения одни говнари?
Dexex
Воруют по ходу винты новые и покупают хлам.