видел бенч с qcow2 в zfs и qcow2 быстрее робит чем zvol. типа это достигается за счет дополнительных слоев кэширования.
)))
Владимир
Джифорсович
господа, дайте нормальную документацию на зфс, надо рейд поднять для бекап-сервера посредством openzfs, официальная дока непонятная
Джифорсович
*поднимаю с уже установленной системы, поэтому оф ман не подходит
d
*поднимаю с уже установленной системы, поэтому оф ман не подходит
что значит "поднимаю"?
Джифорсович
и диски для зфс сейчас пустые
d
*поднимаю с уже установленной системы, поэтому оф ман не подходит
я делал то что ты хочешь по официальному ману
d
что-то там про переезд рута на zfs
d
а, вру, не официальному - по дебиановскому из их вики
Джифорсович
я делал то что ты хочешь по официальному ману
https://openzfs.github.io/openzfs-docs/Getting%20Started/Debian/index.html
вот по этому?
d
я то подумал ты именно рут сервера бэкапного туда затащить хочешь
Autumn
господа, дайте нормальную документацию на зфс, надо рейд поднять для бекап-сервера посредством openzfs, официальная дока непонятная
Краткий хауту
# прижимаем swap
sysctl -w vm.swappiness=10
echo "vm.swappiness = 10" >> /etc/sysctl.conf
# ограничениваем zfs ARC в 128ГБ по памяти, поправить для себя в байтах
options zfs zfs_arc_max=137438953472 > /etc/modprobe.d/zfs.conf
update-initramfs -u
# создаем рейлд из 10-и дисков
# можно ashift=13 если ссд, но и 12 сойдет для 4К дисков
# 10-й рейд, из 10 дисков /dev/ssd{xx,yy} заменить на имена своих дисков xx - первый диск в зеркале, yy - второй
zpool create -f -o ashift=12 ssd_r10 mirror /dev/ssd{00,01} mirror /dev/ssd{02,03} mirror /dev/ssd{04,05} mirror /dev/ssd{06,07} mirror /dev/ssd{08,09}
zfs create ssd_r10/bkp
zfs set compression=lz4 xattr=sa atime=off recordsize=1M ssd_r10/bkp
# берете /ssd_r10/bkp и раздаете как хотите - nfs, smb или еще как
Дальше смотрим:
zpool list
zpool status
zfs list
Autumn
Для 6-го рейда делаете так:
zpool create -f -o ashift=12 hdd_bak raidz2 /dev/hdd{01,02,03,04,05,06} raidz2 /dev/hdd{07,08,09,10,11,12} raidz2 /dev/hdd{13,14,15,16,17,18} raidz2 /dev/hdd{19,20,21,22,23,24}
zfs create hdd_bak/bkpdata
zfs set compression=lz4 xattr=sa atime=off recordsize=1M hdd_bak/bkpdata
Что бы ускорить, пул на hdd, делаете зеркало из 2-х ссд, и цепляете как log
zpool add -f hdd_bak log mirror /dev/ssd{00,01}
Nikita
Краткий хауту
# прижимаем swap
sysctl -w vm.swappiness=10
echo "vm.swappiness = 10" >> /etc/sysctl.conf
# ограничениваем zfs ARC в 128ГБ по памяти, поправить для себя в байтах
options zfs zfs_arc_max=137438953472 > /etc/modprobe.d/zfs.conf
update-initramfs -u
# создаем рейлд из 10-и дисков
# можно ashift=13 если ссд, но и 12 сойдет для 4К дисков
# 10-й рейд, из 10 дисков /dev/ssd{xx,yy} заменить на имена своих дисков xx - первый диск в зеркале, yy - второй
zpool create -f -o ashift=12 ssd_r10 mirror /dev/ssd{00,01} mirror /dev/ssd{02,03} mirror /dev/ssd{04,05} mirror /dev/ssd{06,07} mirror /dev/ssd{08,09}
zfs create ssd_r10/bkp
zfs set compression=lz4 xattr=sa atime=off recordsize=1M ssd_r10/bkp
# берете /ssd_r10/bkp и раздаете как хотите - nfs, smb или еще как
Дальше смотрим:
zpool list
zpool status
zfs list
А при таком режиме, если диски поменять местами\переподключить через другие контроллеры - не ляжет весь пул? Ну я к тому, что диски через /dev/sd* , а не через /dev/disk/by-id/ и т.п.. Берем во внимание, что пул не является загрузочным.
Autumn
А при таком режиме, если диски поменять местами\переподключить через другие контроллеры - не ляжет весь пул? Ну я к тому, что диски через /dev/sd* , а не через /dev/disk/by-id/ и т.п.. Берем во внимание, что пул не является загрузочным.
это пример, естесвенно имена дисков подгоняются под свое железо =)
Autumn
Autumn
raidz2 /dev/mapper/hdd{36,37,38,39,40,41}
Nikita
Для лога нужна избыточность? Вроде бы писали, что шансов потерять данные практически ноль, даже если в процессе записи сдохнет носитель с логом.
Autumn
в остальном я то думаю человек знает как диски найти у себя в системе =)
Autumn
Для лога нужна избыточность? Вроде бы писали, что шансов потерять данные практически ноль, даже если в процессе записи сдохнет носитель с логом.
ну я ставил перед собой задачу - не оказаться в ситуации, когда отвалится лог на ссд, и я резко почувствую деградацию пула на магнитных дисках.
Autumn
можно же вообще без лога
Autumn
просто еще и с малым кешем в ОЗУ будет совсем уныло
Autumn
А так это же всего лишь простой ответ на вопрос человека - надо инструкцию как из кучи дисков собрать пул для бэкапов - ну вот она =)
Fedor
Лог можно замиррорить
Autumn
У меня 16гб оперы, зачем там арк в 128 жать
Это пример, я же написал, подгонять под ваше железо. Поставьте 8ГБ :)
Autumn
Просто возьмите инструкцию, впишите имена своих дисков и поправьте объём памяти по кеш и в бой.
Autumn
Это все рабочее, у меня так все развёрнуто и хдд и ссд
Autumn
Ну и в доке справтесь на предмет команды по замене мёртвого диска в пуле и не бейте сервер по башке питанием и резетами. И все по идее. Если железо не сбойное, будет работать.
Eugen
К стати, при пересоздании пула, вся инфа ж затирается, верно?
Autumn
можно попытаться вытащить инфу
Autumn
в man zpool есть опция -D для восстановления случайно убитых пулов
Autumn
у оракла есть дока https://docs.oracle.com/cd/E19253-01/820-0836/gcfhw/index.html
Autumn
но мне пользоваться не приходилось
Autumn
надеюсь и не придется =)
George
К стати, при пересоздании пула, вся инфа ж затирается, верно?
нет, только ключевые вещи из разряда уберблоков и меток пула
George
это фишка zfs - он не требует инициализации, хотя при желании может нулями забить, этот функционал приезжал недавно в стейбл
d
это фишка zfs - он не требует инициализации, хотя при желании может нулями забить, этот функционал приезжал недавно в стейбл
везде так, забивать нулями слишком долго
George
mdadm из коробки должен привести к общему во многих случаях = забить нулями, drbd тоже. Обычно есть ключик аля --assume-clean который предполагает, что за вас это уже сделали каким-либо образом
George
а у zfs не требуется, он просто считает не занятые пулом блоки свободными
George
заполнение нулями в zfs притащили чисто для всяких облаков и тд с целью сразу занять место на хранилищах, которые выдают thin тома
Eugen
А как шлепнуть то что там было?
Eugen
Ух, ок, спасибо.
Eugen
В новых версиях не намечается более элегантного способа?
NikolayS
Привет. Кто-то решал задачу анализа, сколько hits/reads в ARC сделал конкретный процесс? Если да, то как?
Autumn
А как шлепнуть то что там было?
Если данные, то как выше написали dd, а если мету, то я делаю так:
dd if=/dev/zero of=/dev/sdXX bs=512 count=10
dd if=/dev/zero of=/dev/sdXX bs=512 seek=$(( $(blockdev --getsz /dev/sdXX) - 4096 )) count=1M
Eugen
Можно по идеи удалить пул, потом записать ufs на диск, потом шлепнуть его и уже накатывать zfs, так по идеи тоже все шлепнется?
George
Можно по идеи удалить пул, потом записать ufs на диск, потом шлепнуть его и уже накатывать zfs, так по идеи тоже все шлепнется?
зачем) просто ddшкой затрите всё
George
проще и элегантнее некуда
George
гарантия 100 ддшек
Ivan
d
В новых версиях не намечается более элегантного способа?
От накопителя зависит. У некоторых есть команды для быстрого обнуления по сас или сата.
d
Особенно у ссд
George
От накопителя зависит. У некоторых есть команды для быстрого обнуления по сас или сата.
емнип оно не гарантирует обнуления данных, обычно это только очистка ftl
d
емнип оно не гарантирует обнуления данных, обычно это только очистка ftl
А ну тут не для безопасности же, а для обнуления с точки зрения драйвера ФС
George
А ну тут не для безопасности же, а для обнуления с точки зрения драйвера ФС
для самого zfs такое обнуление не требуется вообще
d
ну да да, выше уже было
Y
привет всем, попал в руки серв с 20 дисками по 4ТБ WD Red подключенными через 3 контроллера LSI 9211-8i кабелями SAS-SATA, подскажите какая самая оптимальная кофигурация zfs для него ?
Y
20 дисков это его окончательная конфигурация так как в корпусе больше нет места под диски
Alexandr
Это будет зависеть от ваших потребностей
Alexandr
что вы хотите от него получить?
Y
хранилище бекапов снепшотов итд.
Alexandr
IOPS неважны?
Alexandr
только бекапы? линейная запись?
Y
было бы 24 диска я бы незадумываясь создал raidz2 но меня смущает нечетное количество доисков под этот рейд
Y
IOPS неважны?
приоритет основной это еёмкость харнилища, но и немаловажно многопоточное чтение/запись данных
Y
если например будет бекапится на него 5-10 систем одновременно
Alexandr
ну это не рандомное чтение/запись