Добрый день! Подскажите пожалуйста. Как лучше организовать массив. HDD+SSD. RAID10 на HDD+ ZIL/L2ARC на отдельных SSD. Планируется сборка под высоконагруженные виртуалки. Или какие-то ещё есть варианты архитектуры?

Nvme под требовательные по io

под nvme еще zfs не оптимизировали, зачем вы это советуете?

Всем доброго дня. Я что-то не верно понял или в новой версии ZFS можно удалять vdev?

Всем доброго дня. Я что-то не верно понял или в новой версии ZFS можно удалять vdev?

Работает, просто утилизировать много nvme в пуле пока не особо получится, есть куда оптимизировать код

с 0.8 можно

так я и не советую сверху зфс) лвм

Добрый день. Много это сколько? 8 много?

vdev можно? или устройство которое внутри вдев?

Добрый день. Много это сколько? 8 много?

у мирроров можно устройства, с 0.8 и сам vdev можно с оговорками выше

ну без избыточности выходит можно, но блин), кто использует это без избыточности))

зависит от нагрузки и железа, но эмпирически 8 nvme в пуле это уже много, да

в плане? мирроры из 3х дисков могут быть) и vdev отмапится на другие vdevs

В ближайшем будущем ждать изменений?

непонял

В ближайшем будущем ждать изменений?

я тебя тогда тоже не понял про избыточность

я про то что удалить vdev можно получается только если vdev это устройство, а не рейд

избыточность - это когда данные не потеряются от потери одного из накопителей

не, миррор можно удалить

такк, а что будет с данными которые на нём хранятся?

такого нельзя только в RAIDZ получается?

следить за этим pr https://github.com/openzfs/zfs/pull/10018

Коллеги, посоветуйте, как правильнее распределить железо. На текущий момент мощности серверные избыточные, но самое грустное - поделены на 2 кластера - prox и ESXI. Целевое будет конечно ESXI, и как раз в процессе миграции хочется оптимально раскидать железо. Сейчас в каждом Prox собраны рейды на HDD на ZFS. На одном есть аналогичный рейд на SSD. Везде добавлены диски для LOG's И вот есть 2 шасси (8 серверов), в которых понапихано черт знает что, в сумме: 2 диска 1 ТБ 2 диска 6 ТБ (разных вендоров бл**) 1 диск 4 ТБ 1 диск 500 Гб 1 диск 250 Гб 2 диска 500 Гб SSD 2 диска 250 Гб SSD 1 диск 275 Гб SSD Само собой, докупать никто ничего не будет. И как лучше поступить? Собрать рейды там, где можно, и поверх создать Ceph? Он эффективно будет работать при разных дисках / объемах? Плюнуть на все, собрать 4 рейда на 4 сервера, а остальное по офисным компам растащить? Третий вариант?

Я вижу четыре пары дисков. В принципе, можно из всего этого зоопарка делать кластер, но только если вопрос производительности вообще не интересует никого. Два шасси, 8 серверов - блейды?

Да, блейды. 4 по 2xE5-2670 | 8x8 DDR3 1333 - 64 4 по 2xX5675 | 6x4 DDR3 1333 - 24 Так то выглядит вкусно, 300 гигов оперативки) Под микросервисы самое оно) Или например на SSD мелкую базу забикса закинуть... Кластер - в смысле Ceph?

Да любая попытка склеить эту массу во что-то однородное, как мне кажется, малоосмыслена.

Хорошо, задам тогда вопрос по другому - если у меня зоопарк из жесктих дисков - реально поверх этого поднять Ceph? например на 2х серверах поставить HDD по 6тб, на одном на 1 Тб, и в сумме получить хранилку для контейнеров, которые можно быстро между ними перемещать

с ceph нужны диски не более 2тб желательно.

одинаковые?

Господа есть вопрос. Собираюсь ставить трунас на Dell 740xd. 2 ssd зеркале под Ос и 16-18 дисков по 14 тб. Стоит ли передавать фринасу диски или просто отдать хардверный рейд 6? Как стоит поступать с ссд ? Если есть какие рекомендации\гайды по зфс для долгосрочных холодных хранилок с радостью выслушаю.

пофиг, гланое раскидать так, чтоб при потере одной из нод целиком, была задублированная инфа на других нодах.

я правильно понимаю, что в arc record (размер которой определяется параметром recordsize) может храниться/не храниться только целиком?

и (если памяти достаточно) большой recordsize позволить избежать случайного чтения

т.е. на каждой ноде может быть разное количество дисков, но суммарный объём должен быть одинаковым. иначе фигня получится

а суммарный объем в смысле на ноде? Или можно на двух нодах сделать по 6 тер, а на трех например по 1 теру? И под SSD отдельный "кластер" (или как там это называется) собирать? Я ща уйду читай хаутушки по Ceph, просто быстро понять хочется)

Приветствую! Как оценить потребный DWPD для SSD под SLOG? Есть сервак с Trunas 12 (RAM 128 gb) , который будет крутить 5-6 виртуалок ну и на нем же в отдельном dataset будет и файловый сервер. 12 дисков по 6тб, объединены в пул из 6 зеркальных vdev. Планирую включить SYNC=Always. В данный момент на пуле из HDD (sas3) получаю в однопотоке 1GB/s по записи и 650-700mb/s по чтению (sync = standard) на простых файловых операциях. В принципе нет преград попробовать Optan в качестве LOG (и возможно отдельного зеркального vdev для метаданных) . Но перед тем как потратиться - хочется убедиться какой DWPD потребен, как его оценить.... Если бы речь шла о периодических файловых операциях... а то ведь виртуалки висеть будут, а там обмен круглые сутки.... Приводы, которые в первом приближении собираюсь использовать - это Intel 900P 280гб c DWPD=10.... Достаточен ли он на ближайшие 3-5 лет )) Что скажете уважаемые?

arc_summary, внизу ZIL committed transactions. Сравниваете два значения в начале и конце наблюдения. Но, имхо - ваш оптан скорее от старости умрёт, чем от исчерпания ресурса

Приветствую! Как оценить потребный DWPD для SSD под SLOG? Есть сервак с Trunas 12 (RAM 128 gb) , который будет крутить 5-6 виртуалок ну и на нем же в отдельном dataset будет и файловый сервер. 12 дисков по 6тб, объединены в пул из 6 зеркальных vdev. Планирую включить SYNC=Always. В данный момент на пуле из HDD (sas3) получаю в однопотоке 1GB/s по записи и 650-700mb/s по чтению (sync = standard) на простых файловых операциях. В принципе нет преград попробовать Optan в качестве LOG (и возможно отдельного зеркального vdev для метаданных) . Но перед тем как потратиться - хочется убедиться какой DWPD потребен, как его оценить.... Если бы речь шла о периодических файловых операциях... а то ведь виртуалки висеть будут, а там обмен круглые сутки.... Приводы, которые в первом приближении собираюсь использовать - это Intel 900P 280гб c DWPD=10.... Достаточен ли он на ближайшие 3-5 лет )) Что скажете уважаемые?

А чем отличается openzfs в портах от openzfs в 13.0?

в портах свежее

Господа есть вопрос. Собираюсь ставить трунас на Dell 740xd. 2 ssd зеркале под Ос и 16-18 дисков по 14 тб. Стоит ли передавать фринасу диски или просто отдать хардверный рейд 6? Как стоит поступать с ссд ? Если есть какие рекомендации\гайды по зфс для долгосрочных холодных хранилок с радостью выслушаю.

Отдать диски чере hba.

а где посмотреть количество dirty данных?

? в arc_summary не вижу

Доброго времени суток, кто-нибудь думал над тем, что например опция zfs_vdev_sync_write_max_active и множество ей подобных, включая на чтение и т.д. по сути не позволяют эффективно использовать разные типы носителей на одном хосте организованные в самостоятельные пулы, Т.е. если для nvme можно хоть 100 поставить и более, то в случае наличия HDD это уже может снижать производительность, а указывать отдельно для пула их нельзя. Правильный ли вывод напрашивается, что nvme, ssd, 3d-xpoin можно использовать, только как l2arc или slog в случаях когда в системе имеется хотя бы один пул состоящий из механических дисков? Т.е. можно ли однозначно утверждать, что система хранения на zfs организована неправильно (неэффективно) если одновременно присутствуют отдельные пулы, как на HDD так и на флэш памяти на одном хосте для которых выше указанные опции применяются одинаково?

пока я вижу один только выход, это к пулам на механических дисках добавить ZIL и L2ARC на SSD после чего выкрутить параметры модуля ZFS под флеш носители. В официальной документации на oracle везде где речь заходит про flash носители, везде они значатся в контексте ZIL или L2ARC.

> zfs_vdev_sync_write_max_active Да, параметр сейчас глобальный, > Т.е. можно ли однозначно утверждать, что система хранения на zfs организована неправильно нет, однозначно нельзя, т.к. для некоторых нагрузок такие параметры могут быть адекватными по дефолту но да, 2 пула с абсолютно разными требованиями для таким параметров на одном ядре могут портить жизнь друг другу в граничных кейсах

> нет, однозначно нельзя, т.к. для некоторых нагрузок такие параметры могут быть адекватными по дефолту при таком подходе SSD используется неэффективно (с дефолтными параметрами), а если выкрутить их значения, то HDD однозначно работают медленнее, поэтому я и считаю, что если есть два пула на разных типах носителях, значит будет либо одно, либо другое, либо середина - ни туда ни сюда. Напрашивается вывод, не использовать разные типы носителей на одном хосте либо добавить к пулам с HDD ZIL и L2ARC. Да, я понимаю, что при дефолтных значения SSD тоже всегда быстрее HDD, но КПД далеко не максимальный.

нужно тестировать, и если будет видна явная разница - хорошая идея в апстриме поменять логику