Хм... А зачем тогда столько статей типо для увеличения производительности.... Хотя вопрос то так и звучит как можно максимально убыстрить и сохранить надежность

Mls

MLC

Вы в этих статьях для начала почитайте начальные условия

у вас SSD и ускорять нечего

вам только играться с размерами блоков на ZFS разделах

Не 2 диска простые sata 2t

Не указал в вопросе что работают 2 sata диска

тогда нормально формулируйте начальные данные

Думал что логика будет и так понятна.

тогда нормально формулируйте начальные данные

Поправил первоначальный вопрос. Так теперь понятно?

Нужен совет. Имеется proxmox с 2 дисками sata работающих в зеркале на zfs. Есть два диска ssd. Как посоветуйте максимально убыстрить работу дисков и притом сделать хорошую отказоустойчивось?

Зеркало из 2 hdd с двумя кэшами из ssd

Это если исходить из того, что hdd большие, а ssd маленькие

Если ssd большие, то сделать из них зеркало, hdd продать)

Это если исходить из того, что hdd большие, а ssd маленькие

Такой вариант. А вынести и кеш и логи на ssd?

Ну мы же про максимально надежно говорим?

верно, но при условии что 2 диска больших sata и два ssd размером 120G

верно, но при условии что 2 диска больших sata и два ssd размером 120G

Ну вот это и будет зеркало из 2 hdd с кешем из 2 ssd

Диски 120g. Можно на них вывести и лиги и кэш и хватит ли места.... Пока знаю что в зеркало надо... Хотя некоторые говорят что плохо кэш выводить на зеркало да и смысла нет...

выводите log На Optane на 16 или 32 гб, это колоссально все ускорит. По моим тестам практически немного лучший результат был только при переключении sync в режим disabled

с ssd все неоднозначно было.. не помогало.. но я тестировал, когда ZoL не поддерживал trim, а это снижало производительность любого SSD диска на порядок как минимум

сейчас нужно будет повторить все тесты по хорошему

Сейчас Prod на Optane дисках (те, что в слот видеокарты вставляются), поэтому давно уже не копал в этом направлении. Смысла не было, Optane работает на порядок быстрее любого SSD

Еще по моим тестам ускорение записи (log на optane, или sync=disabled) - так же ускоряло и чтение, зависимость была очень серьезная

даже при том, что данные лежали на SSD вроде Samsung 960

То есть я делая в зеркало раздел 16g под логи а все оставшееся тоже в зеркало под кэш?

То есть я делая в зеркало раздел 16g под логи а все оставшееся тоже в зеркало под кэш?

кэш вообще имеет смысл только когда ты уже сделал максимум усилий по расширению ОЗУ, если памяти хватает на эффективную работу ARC, то он и не нужен вовсе.

дело в том, что под сам кэш тоже требуется дополнительная память, если ее очень мало, а кэш большой может быть и не лучше (вроде бы)

нужна память под карту блоков (мапинг) это расходует ОЗУ как и дедупликация на больших обьемах данных, к примеру

где то читал в "белых бумагах", что кэш лучше добавлять в последнюю очередь, сначала заботиться об увеличении ОЗУ

а вот LOG на быстрое устройство записи всегда полезно вынести. Даже если это будет не OPtane, а обысный SSD, будет выигрышь, т.к. ты снимешь нагрузку с основного диска. Потому, что иначе (без лога) данные пишутся на основные диски 2 раза (те, что в снихронном режиме должны записываться), что увеличивать нагрузку по IOPS вдвое

чтобы ощутить скорость близку к той, что будет с Optane в качестве log, можно перевести sync в режим disabled

так же многие сервера вроде Freenas, которые работают как файловые шары, у меня работаеют в режиме sync=disabled, без всяких лог устройств. Никаких проблем это пока не вызывало, но если что я не несу ответственность, многие убеждены, что этого делать нельзя, хотя мне кажется что можно (я действительно пытался вникнуть в работу этого механизма и понял, что целотность данных не будт нарушена, в случае аварии питания ZFS просто запустит пул с последней удачной сброшенной на диск консистентной "группы транзакций", то есть на несколько секунд раньше)

Памяти у меня 32g и почти половина свободна. Думаю для двух 2т дисков в зеркале этого достаточно и кеш можно не выносить. Тогда выходит что мне надо отдать на логи 16g а остальное отдать виртуальные машины. Верно понимаю? Или лучше 32 g?

выводите log На Optane на 16 или 32 гб, это колоссально все ускорит. По моим тестам практически немного лучший результат был только при переключении sync в режим disabled

Чот сдаётся мне, что сдохнет

Конечно сдохнет...

Но не сразу а даст поработать нормально какое-то время

После замены аппаратного рейда опять пул стал привязан к номеру диска # zpool status pool: rpool state: ONLINE scan: scrub repaired 0B in 0h0m with 0 errors on Mon Aug 26 01:52:03 2019 config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 sdh3 ONLINE 0 0 0 sda3 ONLINE 0 0 0 mirror-1 ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 errors: No known data errorsКак Линукс отучить от подобного?

Модель одна партии может и разные.

Партии одинаковы?

Партии одинаковы?

Нет

Ребят, вопрос о переносимости zfs между разными ОС. Есть ZFS на illumos, есть идея перенести на линукс с 0.8 ради тримов. Бывал опыт?

не сенд ресив, а именно экспорт импорт.

Ребят, вопрос о переносимости zfs между разными ОС. Есть ZFS на illumos, есть идея перенести на линукс с 0.8 ради тримов. Бывал опыт?

я ипортировал ZFS, тот, что на FreeBSD, без проблем импортировался, предложил повысить версию (включив новые возможности)

я понимаю, что можно натолкнуться на проблемы с типами ACL, но это ршаемо. Но всё таки?

по идее - если экспорт работает, то все - ок

в свое время экспорт не срабатывал, в случае неизвестных возможностей

когда новый пул в старую систему пихаешь

спасибо!

на линуксах не сломался тот механизм, наподобие sharenfs/sharesmb?

только если ты включишь новые фичи, обратно уже не перенесешь скорее всего

я стараюсь не включать фичи, пока они не понадобятся :)

а ещё не появилось рабочего способа добавить диск в raidz?

а ещё не появилось рабочего способа добавить диск в raidz?

Вроде же зарелизили в 0.8

ну я вот тоже так думал

но поискав не нашёл

вроде бы технически это не очень хорошо, потому что потребует перестроения всего массива, чтобы избыточность была при отказе любого диска

да, я пдфку как оно работает видел

что можно придумать? - у меня 1 винт сейчас забит информацией, есть ещё 3 точно таких же чистых, я хочу это всё собрать в raidz

профидь записи-чтения какой будет?

это файлопомойка

записи не будет

ну, почти

добавление винтов не решит проблему равномерного распределения данных

лучше пересоздать

а данные куда девать? )

вылить, потом залить

некуда

или делать в миррорах

но дисбаланс так же останется

кароче идеальная ситуация - найти где-то ещё винт

А raidz нельзя собрать по типу mdadm указав что диск будет добавлен позже?

А raidz нельзя собрать по типу mdadm указав что диск будет добавлен позже?

почитал, можно создать пул с фиктивным диском, диск сразу удались, пул будет degraded, но рабочим, на него можно слить данные, а потом добавить диск

я вот только не понял - данные приэтом размажутся по новому диску автоматически или нет

я вот только не понял - данные приэтом размажутся по новому диску автоматически или нет

Да

ок, спасибо, сейчас попробую этот вариант, как раз есть на чём потренироваться

ок, спасибо, сейчас попробую этот вариант, как раз есть на чём потренироваться

Replace диска нужно будет сделать и дождаться resilvering

https://github.com/zfsonlinux/zfs/issues/8737

может кто-нибудь прокомментировать второй комментарий?

я не понимаю чем грозит нешифрованный датасет при шифрованном родительском

я не понимаю чем грозит нешифрованный датасет при шифрованном родительском

дочерние и родительские датасеты связаны только свойствами, и то если для свойства включено наследование

по факту это разные сущности