« Rev
@ru_zfs   426
Fwd »


Vladislav
где написано, что 100 снимков в секунду?
LordMerlin
Опять же, на заборе тоже хер написан, а там дрова..
Evgenii
где написано, что 100 снимков в секунду?
Real-time, no data loss - я же подчеркнул!
LordMerlin
Брошюра
LordMerlin
Маркетинг
Vladislav
там primary и secondary
Vladislav
неспроста написано
LordMerlin
Надо техническое описание читать
LordMerlin
там primary и secondary
Вот вот
Vladislav
технически ничто не мешает послать много снимков в секунду
Evgenii
нет, у них ниже есть описание асинхронных реплик, которые не так чувствительны к каналу. То что я прислал именно то, что написано. Данные сохраняются СИНХРОННО в обе полки
Vladislav
главно, чтоб принимающая сторона могла принимать эти снимки и применять
LordMerlin
Вотъ
Evgenii
Вот и нет. Не синхронно. Данные пишутся в первую, и зеркалятся с неё на вторую.
тогда у них будет либо latency = 1 секунда в полке за миллион, либо асинхронные реплики с потерей данных, а не реалтайм Написано же NO DATA LOSS во время фэйл овера
LordMerlin
У них был когда-то онлайн эмулятор, можно потыкать
George
https://docs.qnap.com/esnas-outdated/2.1.0/en/GUID-CCD02B33-0927-4C18-9D97-1C41415A0370.html Тут оно не как синхронный процесс без потерь описано) в опенсорсных zfs синхронной реплики с share-nothing подходом штатной нет
Art
Офигеть.. то есть на сайте реклама нагло врет.. выходит
Ну фишку крутую ты нашёл, пусть даже это не настоящий прям реал-тайм, а с с каким-то лагом. Для файлохранилки отлично. Было б интересно поиграться. Опенсорсный Саноид такое не умеет, по моему.
Vladislav
https://www.qnap.com/solution/qnap-zfs/en-us/ Есть идеи как они это делают? (они используют ZFS.)
Судя по ограничениям и наименованию это действительно больше похоже на десятки снапшотов секунду и sync=always
Vladislav
Офигеть.. то есть на сайте реклама нагло врет.. выходит
Никогда такого не было и вот опять
Evgenii
Ivan
сделал ceph поверх zfs и вот у тебя снапы атомарные на все реплики 😂
Art
Линус похерил почти петабайт своих данных в ZFS, шок-контент: https://youtu.be/Npu7jkJk5nM
LordMerlin
Небось винтов с одной партии набрал. ССЗБ.
Ivan
пока про гластер рассказывает 😃
Art
че там tldr ?
Там в общем самосборный сервер, Центось и зфс. Скрубы были полностью выключены, и последний был в 2017 )) И никакого мониторинга от слова совсем, даже уведомлений от смарта
Art
че там tldr ?
И когда они начали траблшутить, то выполняли не replace, а просто проблемные диски вытаскивали
Ivan
https://www.45drives.com/products/storinator-xl60-configurations.php интересные полки. не знал про них.
Ivan
мне кажется что нельзя столько данных хранить без распределения с репликой 3. и ещё бы это всё бэкапить куда-то на случай админской ошибки.
Evgenii
это всё ещё надёжней raid10 )
только время ребилда на порядок выше чем у рэйд 10
Ivan
только время ребилда на порядок выше чем у рэйд 10
я думал что в любом случае скорость не будет выше, чем скорость записи на один диск.
Evgenii
я думал что в любом случае скорость не будет выше, чем скорость записи на один диск.
не, у raid-z как раз скорость зависит от количества дисков по моему
Evgenii
Поэтому в 2.1 добавили d-raid
Ivan
не, у raid-z как раз скорость зависит от количества дисков по моему
у меня еще до d-raid скорость ребилда raidz2 упиралась в скорость записи одного диска.
Ivan
быстрее кагбе невозможно
Evgenii
быстрее - нет, а медленнее? точно скорость в raid-z не ниже?
Ivan
если что-то нагружает дисики, то чтение с остальных дисков может быть ниже.
George
но ребята уже возбудились некоторые, хотят куда-то в доку написать ещё разок как не надо делать)
Ivan
да, он явно говорит что они ССЗБ по своей же вине
в любом случае юзать 18 теровые диски очень страшно
Egor
10 и скраб раз в месяц (правда он небось больше суток будет идти)
Василий
10 и скраб раз в месяц (правда он небось больше суток будет идти)
В дефолтной настройке, скраб и пару дней идти может. Особенно если нагрузка есть
George
основная проблема - вылетевшие диски надо своевременно менять)
George
у них в одном пуле было 5 дисков вылетевших одномоментно
Василий
Поэтому в 2.1 добавили d-raid
Так и не понял чем он лучше чем рецдз +1
George
Так и не понял чем он лучше чем рецдз +1
в draid внутри можно заранее размазать по дискам spare, в случае вылета диска избыточность можно быстро восстановить на этот виртуальный spare (со скоростью количества дисков, на которые он размазан, например 10), и уже потом в спокойном режиме не важно сколько 1 диск ресильверить новый
George
это основное отличие, т.е. грубо говоря в 10 (например) раз быстрее восстановление избыточности
Vladislav
Хм, чем-то напоминает все "новомодные" фичи Huawei c Raid 2.0 и SmartMatrix
George
ну общий подход в draid не нов, цель одна преследовалась
Василий
в draid внутри можно заранее размазать по дискам spare, в случае вылета диска избыточность можно быстро восстановить на этот виртуальный spare (со скоростью количества дисков, на которые он размазан, например 10), и уже потом в спокойном режиме не важно сколько 1 диск ресильверить новый
Так я потому и написал +1 Грубо говоря допустим у тебя 5ка с размазыванием и 6 без. Дисков одинаковое количество, ёмкость одинаковая. В случае, диск умер, 6 уже на уровне надёжности 5, а рейд д ещё надо быстро восстановить
Василий
у меня еще до d-raid скорость ребилда raidz2 упиралась в скорость записи одного диска.
Там немного не так. Максимальная скорость восстановления таки да, равна диску. Но нагрузка на массив сильно больше у рейдЗ Если других операций нет, то получаешь макс скорость. Если есть - тормоза и не макс скорость
Art
в любом случае юзать 18 теровые диски очень страшно
А куды деваться, когда нужны объёмы. Хоть ССД вон есть и по 30ТБ, но цены...
Art
Цеф?)
я что-то пропустил, и пацанам с цефом ССД дешевле отпускают?)
Василий
я что-то пропустил, и пацанам с цефом ССД дешевле отпускают?)
Они после майнеров скупают) Зы. Я думал это в продолжение беседы, что делать если надо много. Кстати, если надо быстро это очень редко зфс
Art
Они после майнеров скупают) Зы. Я думал это в продолжение беседы, что делать если надо много. Кстати, если надо быстро это очень редко зфс
Как тебе цеф сделает много?) Расклад нынче один для всех: хочешь много и быстро - флэш, а если надо много и дешёво - хдд
George
кстати, в следующем мажорном релизе openzfs дефолтный volblocksize поменяется на 16K, к вопросу об оптимальных дефолтах https://github.com/openzfs/zfs/commit/72f0521abadd77ef06fb1d10c4f4f80af50ec279
Vladislav
Ох. Один из авторов коммита из Lawrence Livermore National Laboratory
George
Ох. Один из авторов коммита из Lawrence Livermore National Laboratory
ревьюверов, Brian Behlendorf это автор порта ZoL оригинального и основной мейнтейнер сейчас. Они в LLNL zfs притащили на linux для Lustre взамен патченного ext4
George
(исторически)
Vladislav
а сама Lustre стабильна поверх ZFS ? или нужно патчи накладывать? :)
George
а сама Lustre стабильна поверх ZFS ? или нужно патчи накладывать? :)
да, более того на поверх zfs для люстры не нужно патчить ядро)
Vladislav
а Proxmox умеют Lustre использовать?
George
а поверх ldiskfs (прокачанный ext3, из которого потом появился ext4) патчить ядро нужно (2 года назад по крайней мере)
George
а Proxmox умеют Lustre использовать?
у Lustre немного другой профиль всё же, её любят для числодробилок
George
так что её не часто под виртуалки кладут
Vladislav
мне нужно общее хранилище для proxmox с более-менее работоспособностью и без потери данных на всем кластере
George
> и без потери данных на всем кластере что это значит в общем lustre пока что лучше ложится на архитектуру с железом где есть общая файловая полка на 2 сервера, 2 года назад автоматическое дублирование данных в кластере они только пилили
George
и где выход 1 узла это норма и можно подождать когда он вернётся чтобы за его данными сходить (привет, научные вычисления)
Vladislav
ага, понял. теоретически можно использовать, но нужно проверять работающий функционал
George
но это я очень грубо, конечно
« Rev
@ru_zfs   426
Fwd »