Василий
Если я не ошибаюсь, это не mirror, a stripe между ними
это понятно. та операция про которую писали выше, тоже через стрип делается. есть зеркало, добавляется новое в стрип новое зеркало, старое зеркало удаляется
Василий
Василий
гм.. а данные?) я не очень понял что вы делаете в принципе..
то что вы попросили :) "вы покажите как вы удаляете raidz vdev из пула)"
nikolay
давайте так. создайте пул из двух vdev raidz1 (по три файла). добавьте туда миррор в виде отдельного vdev, потом запишите что-нить в dataset. удалите один raidz1 vdev из пула и прочитайте данные. ну и zpool status -v
nikolay
вот тут у вас страйп из одного raidz vdev и одного простого диска, если вы убираете кусок страйпа, то каким волшебным образом данные остаются доступными..
Василий
Василий
как старт подходит?
nikolay
вполне)
Alexander
так)
Василий
сейчас добавляю диск и грохаю рейдз первый, так?
Василий
или просто грохнуть без диска?
Alexander
и добавиться мирор vdev?
nikolay
или просто грохнуть без диска?
давайте просто удалим один raidz
nikolay
и содержимое какого-нить файлика прочитаем в пуле
Василий
ругнулся, потребовал -f
Василий
Alexander
ну форсни)
Василий
и содержимое какого-нить файлика прочитаем в пуле
ты думаешь, солярка выпускат операционку которая грохает соедржимое файлов? :)))
Alexander
удивительно))
Василий
Василий
вон даже корка скопировалась :)
Василий
nikolay
да, все работает. а чего zol отстает???))
Василий
эта фишка не очнеь давно появилась. еще жду если сделаю мултитиринг и возность дев перестроить находу, и будет космос
Василий
слушай, а draid в коммерческом солярисе реализован?
знать бы что это такое ЗЫ: коперческий солрял без проблем качается с рутрекера, и даже ломать его не надо
Василий
я на него свалил, после того как фрибсд не смогла смонтировать 10тб пул с нескольким с дофига файлами
nikolay
https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwjam-yyqtjwAhXu-SoKHS39DKQQFjAAegQIAxAD&url=https%3A%2F%2Fopenzfs.github.io%2Fopenzfs-docs%2FBasic%2520Concepts%2FdRAID%2520Howto.html&usg=AOvVaw06qAMOwe-mEL_7JWvHVtj_
nikolay
вот такая тема есть в openzfs
nikolay
https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html
Василий
какую версию сейчас используешь?
11.4. ее ж через тот же рутрекер обновлять можно
Василий
дрейд нету. есть какой то дедуп2, но тоже онлайн, так что мне не походит. описания чем они первого дедупа я не нашел :(
nikolay
оракл эту фичу с удалением любого vdev из пула как-то скрывает что-ли??
nikolay
https://docs.oracle.com/cd/E37838_01/html/E61017/remove-devices.html - дока вроде свежая, обновлялась в феврале тек. года.
nikolay
простым английским языком написано что This command supports removing hot spares, cache, log, and top level virtual data devices
nikolay
или они под top level virtual data devices подразумевают любой vdev?))
nikolay
в общем надо качнуть солярку и накатить ее на виртуалке.
Василий
или они под top level virtual data devices подразумевают любой vdev?))
топ левел же. я павда не знал что там есть не топлевел :)))
Василий
это что ж такое можно тогда построить
nikolay
топ левел же. я павда не знал что там есть не топлевел :)))
пример в документации только для mirror vdev почему-то)
Василий
пример в документации только для mirror vdev почему-то)
У них как то странно с документацией. Там и зфс версии заканчиваются как то рано
nikolay
у тебя какая сейчас?
Василий
46
Владимир
@gmelikov
Fedor
Мда :)
Владимир
А?)
Евгений
я смотрю свежие опыты подвезли =)
Александр
wipefs? хз правда поддерживает ли она zfs
А где она берется? В портах нет
Δαρθ
хз, в убунте есть, в генте тоже
Δαρθ
sudo apt-get install util-linux -- убунта
Δαρθ
ну и да, чтото такое вспоминается что zfs хранит суперблоки по всему диску, так что зануление первых 100 метров может не спасать
werter
https://github.com/facebook/zstd/releases/tag/v1.5.0
werter
я так понимаю, zfs пользует ядерный модуль zstd для своих нужд?
werter
и надо дождаться kernel 5.14 ?
werter
ну или самому ядро собирать )
George
дождаться когда в zfs завезут, если меняется результат сжатия - это осложняет дело
werter
тогда дождаться когда соберут с 1.5 )
werter
коллеги, кому нужны винты на CMR , вот нашел оф доку от Тошибы https://www.toshiba-storage.com/ru/products/toshiba-internal-hard-drives-p300/?pdf
werter
с SMR zfs (и hw raid) не дружат (
Qwerty
root@storage:/test# fio --filename=test --sync=1 --rw=randwrite --bs=4k --numjobs=20 --iodepth=4 --group_reporting --name=test --filesize=1G --runtime=300 && rm test test: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=psync, iodepth=4 ... fio-3.1 Starting 20 processes Jobs: 20 (f=20): [w(20)][98.3%][r=0KiB/s,w=80KiB/s][r=0,w=20 IOPS][eta 00m:05s] Jobs: 20 (f=20): [w(20)][100.0%][r=0KiB/s,w=160KiB/s][r=0,w=40 IOPS][eta 00m:00s] test: (groupid=0, jobs=20): err= 0: pid=17550: Mon Sep 21 10:38:16 2020 write: IOPS=265, BW=1062KiB/s (1088kB/s)(311MiB/300080msec) clat (msec): min=12, max=1981, avg=75.30, stdev=205.76 lat (msec): min=12, max=1981, avg=75.30, stdev=205.76 clat percentiles (msec): | 1.00th=[ 14], 5.00th=[ 15], 10.00th=[ 15], 20.00th=[ 15], | 30.00th=[ 15], 40.00th=[ 16], 50.00th=[ 23], 60.00th=[ 29], | 70.00th=[ 31], 80.00th=[ 42], 90.00th=[ 65], 95.00th=[ 435], | 99.00th=[ 1083], 99.50th=[ 1250], 99.90th=[ 1687], 99.95th=[ 1737], | 99.99th=[ 1989] bw ( KiB/s): min= 7, max= 281, per=6.83%, avg=72.53, stdev=78.85, samples=8785 iops : min= 1, max= 70, avg=18.11, stdev=19.71, samples=8785 lat (msec) : 20=49.09%, 50=35.15%, 100=9.09%, 250=0.20%, 500=2.36% lat (msec) : 750=0.50%, 1000=2.06%, 2000=1.56% cpu : usr=0.03%, sys=0.28%, ctx=166562, majf=0, minf=187 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued rwt: total=0,79687,0, short=0,0,0, dropped=0,0,0 latency : target=0, window=0, percentile=100.00%, depth=4 Run status group 0 (all jobs): WRITE: bw=1062KiB/s (1088kB/s), 1062KiB/s-1062KiB/s (1088kB/s-1088kB/s), io=311MiB (326MB), run=300080-300080msec
@werter_l
Δαρθ
с SMR zfs (и hw raid) не дружат (
а zfs почему не дружит?
Igor
а zfs почему не дружит?
Рейд-з разваливаются по таймауту
Δαρθ
Рейд-з разваливаются по таймауту
ага, а просто на 1 диске -- дружит?
Igor
с учетом COW и тонн метадаты - оно то дружит. Но деградация по записи будет феноменальная
Igor
Бекапик залить - ок, даже минимимальый iowrite будет больное и медленное, ИМХО
Δαρθ
то есть возможно для смр диска лучше f2fs какоенить?
Fedor
Если ио по 10 мегабайт - то норм
Василий
с SMR zfs (и hw raid) не дружат (
У меня с hw raid на сторадже очень даже дружит)
Василий
Или я не правильно понял что такое смр диск?
Δαρθ
кстати в бтрфс вовсю пилят поддержку host managed zoned devices