George
команда по факту "сделай миррор этому диску"
nikolay
л - логика, в описании команды имхо она нарушена..
George
л - логика, в описании команды имхо она нарушена..
велкам в доке улучшить что-то если есть мысли
nikolay
ну если заменить вот тут pool-attach — attach new device to existing ZFS vdev - на pool-attach — attach new device to existing ZFS disk|device - мне было бы понятнее. но я не претендую
Okhsunrog
проще всего бенч сделать
Samsung 980 NVMe
итоги бенчмарка
ashift 12:
sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
WRITE: bw=82.4MiB/s (86.4MB/s), 82.4MiB/s-82.4MiB/s (86.4MB/s-86.4MB/s), io=2048MiB (2147MB), run=24855-24855msec
sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
READ: bw=335MiB/s (352MB/s), 335MiB/s-335MiB/s (352MB/s-352MB/s), io=2048MiB (2147MB), run=6106-6106msec
sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
READ: bw=41.4MiB/s (43.4MB/s), 41.4MiB/s-41.4MiB/s (43.4MB/s-43.4MB/s), io=3070MiB (3219MB), run=74106-74106msec
WRITE: bw=13.8MiB/s (14.5MB/s), 13.8MiB/s-13.8MiB/s (14.5MB/s-14.5MB/s), io=1026MiB (1076MB), run=74106-74106msec
ashift 13:
sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
WRITE: bw=174MiB/s (182MB/s), 174MiB/s-174MiB/s (182MB/s-182MB/s), io=2048MiB (2147MB), run=11794-11794msec
sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
READ: bw=677MiB/s (710MB/s), 677MiB/s-677MiB/s (710MB/s-710MB/s), io=2048MiB (2147MB), run=3026-3026msec
sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=8k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
READ: bw=98.7MiB/s (103MB/s), 98.7MiB/s-98.7MiB/s (103MB/s-103MB/s), io=3068MiB (3217MB), run=31088-31088msec
WRITE: bw=33.1MiB/s (34.7MB/s), 33.1MiB/s-33.1MiB/s (34.7MB/s-34.7MB/s), io=1028MiB (1078MB), run=31088-31088msec
Okhsunrog
подозрительно огромная разница
может, я зря для fio указал размер блока 8к? тут указал 4к
ashift 13
sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
WRITE: bw=79.4MiB/s (83.2MB/s), 79.4MiB/s-79.4MiB/s (83.2MB/s-83.2MB/s), io=2048MiB (2147MB), run=25802-25802msec
sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting
READ: bw=677MiB/s (710MB/s), 677MiB/s-677MiB/s (710MB/s-710MB/s), io=2048MiB (2147MB), run=3026-3026msec
sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75
READ: bw=43.4MiB/s (45.5MB/s), 43.4MiB/s-43.4MiB/s (45.5MB/s-45.5MB/s), io=3070MiB (3219MB), run=70678-70678msec
WRITE: bw=14.5MiB/s (15.2MB/s), 14.5MiB/s-14.5MiB/s (15.2MB/s-15.2MB/s), io=1026MiB (1076MB), run=70678-70678msec
George
Тесты равные нужны
nikolay
вот еще забавная ситуация) что-то мне везет сегодня.. дано - есть пул со special vdev из 4-дисков в mirror (nvme), к пулу добавлены в качестве spare 4-е диска NL-SAS. вылетает диск nvme, на его место автоматом добавляется NL-SAS в соответствии с настройками пула autoreplace=on
nikolay
понятно что этого можно избежать отключив автореплейс, но с другой стороны это хорошая фича, позволяющая не думать о том что диск надо заменить руками как можно быстрее..
nikolay
как быть в такой ситуации?
nikolay
допустим если я добавляю nvme в качестве spare, где гарантия что именно его zfs подставит на место вылетевшего из special vdev?
nikolay
можно ли делать привязку spare к vdev?
Okhsunrog
только 512 байт
Okhsunrog
захардходили
George
вот еще забавная ситуация) что-то мне везет сегодня.. дано - есть пул со special vdev из 4-дисков в mirror (nvme), к пулу добавлены в качестве spare 4-е диска NL-SAS. вылетает диск nvme, на его место автоматом добавляется NL-SAS в соответствии с настройками пула autoreplace=on
На трекере был тикет и даже фикс емнип этого поведения недавно
Okhsunrog
nvme id-ns /dev/nvme0n1
NVME Identify Namespace 1:
...
nlbaf : 0
...
lbaf 0 : ms:0 lbads:9 rp:0 (in use)
Okhsunrog
там, вроде, DirectIO сейчас добавляют как-раз. видел, недавно что-то на эту тему в мастер замерджили, несколько дней назад. вроде, должно прибавить производительности для nvme
nikolay
https://github.com/openzfs/zfs/pull/14154
спасибо, получается надо дождаться когда в репо для центоса зальют новую версию с этим фиксом, вроде бы там сейчас не 2.1.7
nikolay
опять обновляться, только перешел с 2.0 на 2.1(
Arseniy
После выхода нового обновления имеет смысл немного подождать? Или всегда обновления уже стабильные?)
Владимир
Доброго всем дня. ПОльзуюсь синкоидом для синхронизации данных в субволюме в другой ДЦ, но с недавних пор начинаю получать вот такую ошибку, в следствии чего чинится это удалением и перезаливом, а через какое-то время ошибка повторяется вновь
ноя 17 10:01:47 srv0 db-data-sync106[429780]: Sending incremental rpool/data/subvol-106-disk-1@syncoid_srv0_2022-11-17:10:01:25 ... syncoid_srv0_2022-11-17:10:01:47 (~ 22.8 MB):
ноя 17 10:01:48 srv0 db-data-sync106[430077]: lzop: Inappropriate ioctl for device: <stdin>
ноя 17 10:01:48 srv0 db-data-sync106[430073]: cannot receive incremental stream: checksum mismatch or incomplete stream.
ноя 17 10:01:48 srv0 db-data-sync106[430073]: Partially received snapshot is saved.
ноя 17 10:01:48 srv0 db-data-sync106[430073]: A resuming stream can be generated on the sending system by running:
ноя 17 10:01:48 srv0 db-data-sync106[430073]: zfs send -t 1-1574c695c0-110-789c636064000310a501c49c50360710a715e5e7a69766a63040419b83c0f7fe9b4c5715806c762475f94959a9c9250c0cb7b920ea30e4d3d28a534b40324e70793624f9a4ca92d462205dd11ccc884d7f493ec415e785750c7825fe164720c97382e5f312735319188a0af2f373f453124b12f58b4b93caf273740d0dcc7453328bb3750d1d8a2bf392f33353e28b8bca0ce28d0c8c8c740d0d750dcdad0c0dac0c0cad4ccca17e0400cad42d4c
ноя 17 10:01:48 srv0 db-data-sync106[429780]: CRITICAL ERROR: ssh -S /tmp/syncoid-root-root@HOST-1668668506 root@HOST ' zfs send -I '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:25'"'"' '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:47'"'"' | lzop | mbuffer -q -s 128k -m 16M 2>/dev/null' | mbuffer -q -s 128k -m 16M 2>/dev/null | lzop -dfc | pv -s 23926080 | zfs receive -s -F 'rpool/data/subvol-106-disk-1' 2>&1 failed: 256 at /usr/sbin/syncoid line 786.
Пока грешу что у меня на оригинале проксмокс 7, а на сервере куда копирую 6, ну и собтственно со всеми вытекающими, не соответствие версий zfs и самого синкоида и прочее. Обновление в планах, подумал может кто-то что-то дельного подскажет без обновления...
central
George
После выхода нового обновления имеет смысл немного подождать? Или всегда обновления уже стабильные?)
Стоит ждать, если у вас на старой версии нет проблем
Δαρθ
Я про то, что производительность все также будет как 1 миррор из этих двух дисков
хуже. зфс же там чтото пытается страйпить между вдевами, диски огуеют бошками между сда1 и сда2 катать
Okhsunrog
какие параметры лучше установить для датасета, на котором лежат виртуалки virtualbox? на ноуте nvme, recordsize 128k, компрессия zstd. стоит что-то подтюнить? компрессию, recordsize?
Fedor
Надо смотреть размер кластера контейнера для жестко диска, потом смотреть тип нагрузки
Fedor
Заработает на любом
Fedor
Но если и на 128 производительность устраивает и записи немного, то беспокоиться не о чем
Δαρθ
на nvme разве не самое быстрое - отсутствие компрессии?
Okhsunrog
на nvme разве не самое быстрое - отсутствие компрессии?
Самым быстрым на nvme оказалось lz4 :)
Быстрее, чем без компрессии
Do Hefa has been banned! Reason: CAS ban.
Δαρθ
Самым быстрым на nvme оказалось lz4 :)
Быстрее, чем без компрессии
а какое из zstd-цыфра при этом оказалось следующим за ним?
George
Самым быстрым на nvme оказалось lz4 :)
Быстрее, чем без компрессии
Если мерили через fio, то он по дефолту повторяемый паттерн пишет, которыей прекрасно жмётся
George
Но вообще lz4 может жать со скоростью около 800мбайт/сек, в несколько потоков это быстрее чем один nvme пишет, так что не будет узким местом. Только для однопотока на запись медленнее может быть, если озу мало и надо много txg закрывать вместо группировки записи
Слава
Lz4 плавает у него скорость в зависимости от данных. Если данные хорошо жмутся там гигабайт в секунду, если не жмутся (образ убунты если взять например) то там чёт сильно больше выходило
Georg🎞️🎥
Самым быстрым на nvme оказалось lz4 :)
Быстрее, чем без компрессии
А какой nvme и какие камни ?👋
Okhsunrog
Если мерили через fio, то он по дефолту повторяемый паттерн пишет, которыей прекрасно жмётся
Как лучше измерять?
Подскажите правильные флаги
George
Ну вы как только что-то меняете на фс, надо переоценивать параметры, дока fio в помощь
George
Тут пример как можно тестить сжатие есть https://github.com/openzfs/zfs/pull/9416
George
buffer_compress_percentage=12
buffer_pattern=0xdeadbeef
Ключевые
Юрий
В чатике есть владельцы дисков WD Red Plus? Обнаружил что стандартными средствам нельзя управлять APM (вообще, APM_level = not supported). Вопрос, собственно, каким проверенным способом можно его выключить? Чтобы остаться без растущего Load_Cycle_Count
Сергей
Добрый день. Подскажите пожалуйста, как быть что делать? был программный zfs mirror raid в котором умер один жесткий диск, но после замены пошли не через replace, a через удалить добавить. В итоге zpool status выглядит сейчас так:
pool: rpool
state: ONLINE
scan: scrub repaired 0B in 2h3m with 0 errors on Sun Nov 20 18:58:01 2022
config:
NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
sdb2 ONLINE 0 0 0
sda ONLINE 0 0 0
errors: No known data errors
Сергей
как два жестких диска собрать обратно в зеркало?
Владимир
Самым быстрым на nvme оказалось lz4 :)
Быстрее, чем без компрессии
С компрессией всегда быстрее чем без компрессии. Исключение только когда ты пишешь уже сжатые данные
Egor
Сергей
худший вариант
Владимир
можно из одного девайса сделать миррор
Сергей
а где написано что он страйп, как мне кажется они рядом лежат просто?
Владимир
можно из одного девайса сделать миррор
в смысле был один девайс, добавляем второй превращая в миррор
Владимир
а где написано что он страйп, как мне кажется они рядом лежат просто?
ну так они по отдельности каждый
Владимир
если бы они были в миррор, то была бы ещё одна логическая сущность
Vladislav
как два жестких диска собрать обратно в зеркало?
В поиске по чату есть команда на эту тему
Сергей
так страйп и по отдельности это разные вещи
Владимир
это такие вещи как лвм последовательно заполняют диски, ZFS раскидывает данные по всем вдев равномерно
Ivan
а где написано что он страйп, как мне кажется они рядом лежат просто?
один пул, два диска в нем и это не миррор.
Сергей
эвакуируй данные, пока не рассыпалось)
Сергей
данные забэкапил еще вчера
Владимир
эвакуируй данные, пока не рассыпалось)
проще перестроить, пока копируешь данные с больше вероятностью рассыпешь))
Vladislav
это такие вещи как лвм последовательно заполняют диски, ZFS раскидывает данные по всем вдев равномерно
Если не стоит галочка на пуле autoextend, то ещё можно командой вытащить из страйпа диск
Юрий
Вычитал про idle3ctl и что отключать не рекомендуется (без объяснения причин)
Egor
у меня FreeBSD - там было достаточно несколько команд ввести и выкл\вкл ПК
но есть ещё 1 способ: вот эту утилитку запустить из freedos:
https://idle3-tools.sourceforge.net/
Владимир
Если не стоит галочка на пуле autoextend, то ещё можно командой вытащить из страйпа диск
я и незнал что есть какая-то галочка которая может запретить его вытащить))
Vladislav
Если не стоит галочка на пуле autoextend, то ещё можно командой вытащить из страйпа диск
https://www.reddit.com/r/zfs/comments/hgw7yl/convert_stripe_to_mirror_or_remove_disk_from/