вы хотите zfs внутри вм на одном диске ?

Если у KVM включён writeback, то не надо туда ZFS

Верно + связка его с block volume, если возможно/оправдано.

Как это можно проверить?

(ИМХО - Если упор производительность - не надо туда ZFS)

..... Рекомендую сперва изучить KVM, за сим я пожалуй удаляюсь

Добрый день! Планирую поднимать ZFS (ZoL) на сервере в качестве Root'а. Гипервизор KVM, Oracle Cloud. Ядро всегда свежее, возможна компиляция под себя. Конфигурация: 24 GB RAM, 4 vCPU (AARCH64, Ampere Altra), 50GB (boot volume) + 200GB на Block Volume c динамической/фиксированной регулировкой IOPS. Нагрузка: nginx/h2o, крупная база rocksdb как часть хоумсервера Matrix. В дальнейшем планируется подъем крупной базы postgre для нового сайта. Подскажите пожалуйста, какие опции выбрать при создании пула с учетом данного конфига и перспективы: датасеты, ashift, arc и прочее? Насколько оправдано объединение Boot Volume + Block Volume и какие Best Practice стоит использовать в таком кейсе? Упор идет на performance. Буду благодарен за любой совет. Опыта работы с ZFS практически нет - был в планах, но т.к. сейчас разворачиваю новую инфраструктуру, хочется перейти сразу, чтобы позднее не переносить все снова. Все накопители в KVM на Oracle Cloud, HDD RAID нет. Предоставлю все необходимые данные, если этого недостаточно. Спасибо!

Для чего зфс?

Баланс перф/сохранность с хешированием, сжатие + инкрементальные бекапы (есть куда) и бесплатные снапшоты, с учетом плюсов для СУБД (no-WAL). Хочется задействовать вторую блочку в один пул с балансировкой, если это имеет смысл. Да и в целом попробовать/оценить применение, пока в состоянии хобби-проекта. За опытом и пришел, может были подобные юзкейсы.😅 На данный момент, дефолтная ext4. Самое тяжелое что будет - это БД: rocksdb+postgre.

Добрый день! Планирую поднимать ZFS (ZoL) на сервере в качестве Root'а. Гипервизор KVM, Oracle Cloud. Ядро всегда свежее, возможна компиляция под себя. Конфигурация: 24 GB RAM, 4 vCPU (AARCH64, Ampere Altra), 50GB (boot volume) + 200GB на Block Volume c динамической/фиксированной регулировкой IOPS. Нагрузка: nginx/h2o, крупная база rocksdb как часть хоумсервера Matrix. В дальнейшем планируется подъем крупной базы postgre для нового сайта. Подскажите пожалуйста, какие опции выбрать при создании пула с учетом данного конфига и перспективы: датасеты, ashift, arc и прочее? Насколько оправдано объединение Boot Volume + Block Volume и какие Best Practice стоит использовать в таком кейсе? Упор идет на performance. Буду благодарен за любой совет. Опыта работы с ZFS практически нет - был в планах, но т.к. сейчас разворачиваю новую инфраструктуру, хочется перейти сразу, чтобы позднее не переносить все снова. Все накопители в KVM на Oracle Cloud, HDD RAID нет. Предоставлю все необходимые данные, если этого недостаточно. Спасибо!

к слову, использование zfs не напрямую на железе противоречит бестпрактисам.

Я знал что ZFS живучая ❤️ , но не знал что на столько !!! После ресильвера и скраба 0 ошибок !

проблема только имадж получить сразу с zfs, начать чтоли собирать их, или кто видел уже готовые?

1 диск совсем исчез, на двух других ошибки не в одних и тех же местах, раид6 -- неудивительно что всё ок. Но -- повезло в любом случае, N+2 же

Я не видел готовые. Тоже хотел делать, для инсталла Проксмокса

осилить чтоли, как раз в облаке своём поднимать удобнее тестовое)

мб даже получится это под openzfs организацию протащить

Я не видел готовые. Тоже хотел делать, для инсталла Проксмокса

Зачем собирать образ для установки прокса, если есть образ от прокса?

в котором нужно через KVM тыкать опции

https://pve.proxmox.com/wiki/Automated_Installation

Я на гитхабе нашел три репы, делающих сборку дебиан с зфс, но все они разной степени работоспособности

по сути нужен имадж с вшитым cloud-init который будет поддерживать нужные облака

Мне этого мало. Мне надо образ Дебиана , установленного на zfs

На штатный имидж Дебиана легко устанавливается Клауд инит

А кто-нибудь делал дашборд графаны для ZFS?

Я делал, но это был иллюмос и самописный экспортер с kstat и чуть dtrace.

А кто-нибудь делал дашборд графаны для ZFS?

если что https://openzfs.github.io/openzfs-docs/man/master/8/zpool_influxdb.8.html

А, это я видел. Красивая штука, но у нас прометеус, не инфлюкс... Хотя, хм, можно глянуть, как оно организовано и хоть что-то позаимствовать

На одном из серверов заметил значительную нагрузку на CPU от arc_prune и arc_evict. Порой до 100% доходит. В интернетах один из советов (помимо глобального - разобраться, кто может чрезмерные запросы на память запрашивать) - установить zfs_arc_max равным zfs_arc_mix - вроде тогда ARC prune вообще отключается: if needed, set zfs_arc_min the same as zfs_arc_max (basically disabling ARC prune). Но у меня они установлены равными (8GB при общем объеме 64GB). От чего еще может ARC prune возбуждаться? PS И вообще чрезмерной нагрузки на память нет, раз есть запас не используемой: root@S04:~# free -m total used free shared buff/cache available Mem: 64230 60560 2663 4 1715 3669 Swap: 976 973 3

Упс - еще на одном сервере стал (подозреваю, что) arc_prune гадить 😡. И вот на нем с выделением памяти ВООБЩЕ никаких подозрений: available 101GB из 128!!! На zfs_arc_min выделено 8GB, на zfs_arc_max тоже. Сервер Supermicro X9, 2 × XEON E5-2609v2 память ECC (Samsung M386B4G70DM0-CMA4Q) Backplane SAS 6Gbs 24×SAS2/SATA3 SuperMicro BPN-SAS2-846EL1 HDD WD140EDGZ-11B1PA0 Debian 12 bookworm zfs version zfs-2.2.3-1~bpo12+1 zfs-kmod-2.2.3-1~bpo12+1 Работают (несколько месяцев без проблем) только в докере несколько контейнеров нод Storj (ну сейчас еще zfs receive принимает очередную ноду). За контейнерами слежу - вроде никакой лишней нагрузки на CPU или память не замечено, а порой всё останавливается вплоть до того, что с клавиатуры ничего не вводится, при этом в консоли никаких системных сообщений об ошибках не возникает. Куда копать 🤔?

А, это я видел. Красивая штука, но у нас прометеус, не инфлюкс... Хотя, хм, можно глянуть, как оно организовано и хоть что-то позаимствовать

Использую zfs_exporter с github-а для оценки занятого места пулами/датасетами и свой скрипт, который экспортирует инфу по ошибкам на дисках в prom-файлы для node-exporter. В дашборде ничего интересного, просто графики и инфа о состоянии пула. Могу поделиться...

На одном из серверов заметил значительную нагрузку на CPU от arc_prune и arc_evict. Порой до 100% доходит. В интернетах один из советов (помимо глобального - разобраться, кто может чрезмерные запросы на память запрашивать) - установить zfs_arc_max равным zfs_arc_mix - вроде тогда ARC prune вообще отключается: if needed, set zfs_arc_min the same as zfs_arc_max (basically disabling ARC prune). Но у меня они установлены равными (8GB при общем объеме 64GB). От чего еще может ARC prune возбуждаться? PS И вообще чрезмерной нагрузки на память нет, раз есть запас не используемой: root@S04:~# free -m total used free shared buff/cache available Mem: 64230 60560 2663 4 1715 3669 Swap: 976 973 3

Немного оффтопа, но Storj приносит такую прибыль, что бы хостить его на сервере?

Упс - еще на одном сервере стал (подозреваю, что) arc_prune гадить 😡. И вот на нем с выделением памяти ВООБЩЕ никаких подозрений: available 101GB из 128!!! На zfs_arc_min выделено 8GB, на zfs_arc_max тоже. Сервер Supermicro X9, 2 × XEON E5-2609v2 память ECC (Samsung M386B4G70DM0-CMA4Q) Backplane SAS 6Gbs 24×SAS2/SATA3 SuperMicro BPN-SAS2-846EL1 HDD WD140EDGZ-11B1PA0 Debian 12 bookworm zfs version zfs-2.2.3-1~bpo12+1 zfs-kmod-2.2.3-1~bpo12+1 Работают (несколько месяцев без проблем) только в докере несколько контейнеров нод Storj (ну сейчас еще zfs receive принимает очередную ноду). За контейнерами слежу - вроде никакой лишней нагрузки на CPU или память не замечено, а порой всё останавливается вплоть до того, что с клавиатуры ничего не вводится, при этом в консоли никаких системных сообщений об ошибках не возникает. Куда копать 🤔?

разбирай свой раидз не тащит он)

Да это я с raidz уже на одиночные диски всё перетащил... Несколько месяцев все нормально было. Но сейчас еще несколько нод добавляю к имеющимся - может, они порог допустимого превысили

/report

Упс - еще на одном сервере стал (подозреваю, что) arc_prune гадить 😡. И вот на нем с выделением памяти ВООБЩЕ никаких подозрений: available 101GB из 128!!! На zfs_arc_min выделено 8GB, на zfs_arc_max тоже. Сервер Supermicro X9, 2 × XEON E5-2609v2 память ECC (Samsung M386B4G70DM0-CMA4Q) Backplane SAS 6Gbs 24×SAS2/SATA3 SuperMicro BPN-SAS2-846EL1 HDD WD140EDGZ-11B1PA0 Debian 12 bookworm zfs version zfs-2.2.3-1~bpo12+1 zfs-kmod-2.2.3-1~bpo12+1 Работают (несколько месяцев без проблем) только в докере несколько контейнеров нод Storj (ну сейчас еще zfs receive принимает очередную ноду). За контейнерами слежу - вроде никакой лишней нагрузки на CPU или память не замечено, а порой всё останавливается вплоть до того, что с клавиатуры ничего не вводится, при этом в консоли никаких системных сообщений об ошибках не возникает. Куда копать 🤔?

😡

интересно, поможет ли замена дистра на debian, например.

Так чуть выше написано, что на втором сервере с Debian 12 проявилось

интересно, поможет ли замена дистра на debian, например.

Мы сейчас до CentOS и rhel доползем

фряху ставьте, к черту эти полумеры! 😁

Там докера нет)))

Упс - еще на одном сервере стал (подозреваю, что) arc_prune гадить 😡. И вот на нем с выделением памяти ВООБЩЕ никаких подозрений: available 101GB из 128!!! На zfs_arc_min выделено 8GB, на zfs_arc_max тоже. Сервер Supermicro X9, 2 × XEON E5-2609v2 память ECC (Samsung M386B4G70DM0-CMA4Q) Backplane SAS 6Gbs 24×SAS2/SATA3 SuperMicro BPN-SAS2-846EL1 HDD WD140EDGZ-11B1PA0 Debian 12 bookworm zfs version zfs-2.2.3-1~bpo12+1 zfs-kmod-2.2.3-1~bpo12+1 Работают (несколько месяцев без проблем) только в докере несколько контейнеров нод Storj (ну сейчас еще zfs receive принимает очередную ноду). За контейнерами слежу - вроде никакой лишней нагрузки на CPU или память не замечено, а порой всё останавливается вплоть до того, что с клавиатуры ничего не вводится, при этом в консоли никаких системных сообщений об ошибках не возникает. Куда копать 🤔?

zfs_arc_max 8гб на 24 диска имхо как-то жадно-мало, iostat что говорит про нагрузку на IO?

Советуют ведь размер arc в зависимости от данных: для файлсерверов побольше, для баз данных по минимуму. У меня storj, он редко одно и то же запрашивает, а тем более никогда не запрашивает то, что только что записал.

Советуют ведь размер arc в зависимости от данных: для файлсерверов побольше, для баз данных по минимуму. У меня storj, он редко одно и то же запрашивает, а тем более никогда не запрашивает то, что только что записал.

пусть кеш работает, если после записи данные не затребовались, то они итак быстро из озу уйдут, ARC устойчив к вымыванию, у него не только LRU но и MFU

Ну попробую сейчас увеличить. Но основной вопрос вот в чем: Если ему сказано иметь максимум равный минимуму, с определенынм значением - то нафига он его размер менять пытается? Допустим, я согласен вообще без него обойтись - как ему сказать, чтобы он не пытался "сделать как лучше" и размер менять?

данные в ОЗУ всё равно окажутся (на записи), если прям уверены что кеш на чтение не нужен, то можно выставить primarycache=metadata (но не рекомендую) не стоит экономить неиспользованную память, бОльший кеш всегда упрощает жизнь, даже если он штатно быстро дропнется. min=max кстати может такой эффект дать, думаю, я бы вернул в дефолты и тестил дальше