George
команда по факту "сделай миррор этому диску"
nikolay
л - логика, в описании команды имхо она нарушена..
George
л - логика, в описании команды имхо она нарушена..
велкам в доке улучшить что-то если есть мысли
nikolay
ну если заменить вот тут pool-attach — attach new device to existing ZFS vdev - на pool-attach — attach new device to existing ZFS disk|device - мне было бы понятнее. но я не претендую
nikolay
ну и команда не правильная, кстати
да, в итоге все отработало, еще раз спасибо!
Okhsunrog
проще всего бенч сделать
Samsung 980 NVMe итоги бенчмарка ashift 12: sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting WRITE: bw=82.4MiB/s (86.4MB/s), 82.4MiB/s-82.4MiB/s (86.4MB/s-86.4MB/s), io=2048MiB (2147MB), run=24855-24855msec sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting READ: bw=335MiB/s (352MB/s), 335MiB/s-335MiB/s (352MB/s-352MB/s), io=2048MiB (2147MB), run=6106-6106msec sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 READ: bw=41.4MiB/s (43.4MB/s), 41.4MiB/s-41.4MiB/s (43.4MB/s-43.4MB/s), io=3070MiB (3219MB), run=74106-74106msec WRITE: bw=13.8MiB/s (14.5MB/s), 13.8MiB/s-13.8MiB/s (14.5MB/s-14.5MB/s), io=1026MiB (1076MB), run=74106-74106msec ashift 13: sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting WRITE: bw=174MiB/s (182MB/s), 174MiB/s-174MiB/s (182MB/s-182MB/s), io=2048MiB (2147MB), run=11794-11794msec sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting READ: bw=677MiB/s (710MB/s), 677MiB/s-677MiB/s (710MB/s-710MB/s), io=2048MiB (2147MB), run=3026-3026msec sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=8k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 READ: bw=98.7MiB/s (103MB/s), 98.7MiB/s-98.7MiB/s (103MB/s-103MB/s), io=3068MiB (3217MB), run=31088-31088msec WRITE: bw=33.1MiB/s (34.7MB/s), 33.1MiB/s-33.1MiB/s (34.7MB/s-34.7MB/s), io=1028MiB (1078MB), run=31088-31088msec
Ivan
Samsung 980 NVMe итоги бенчмарка ashift 12: sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting WRITE: bw=82.4MiB/s (86.4MB/s), 82.4MiB/s-82.4MiB/s (86.4MB/s-86.4MB/s), io=2048MiB (2147MB), run=24855-24855msec sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting READ: bw=335MiB/s (352MB/s), 335MiB/s-335MiB/s (352MB/s-352MB/s), io=2048MiB (2147MB), run=6106-6106msec sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 READ: bw=41.4MiB/s (43.4MB/s), 41.4MiB/s-41.4MiB/s (43.4MB/s-43.4MB/s), io=3070MiB (3219MB), run=74106-74106msec WRITE: bw=13.8MiB/s (14.5MB/s), 13.8MiB/s-13.8MiB/s (14.5MB/s-14.5MB/s), io=1026MiB (1076MB), run=74106-74106msec ashift 13: sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting WRITE: bw=174MiB/s (182MB/s), 174MiB/s-174MiB/s (182MB/s-182MB/s), io=2048MiB (2147MB), run=11794-11794msec sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=8k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting READ: bw=677MiB/s (710MB/s), 677MiB/s-677MiB/s (710MB/s-710MB/s), io=2048MiB (2147MB), run=3026-3026msec sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=8k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 READ: bw=98.7MiB/s (103MB/s), 98.7MiB/s-98.7MiB/s (103MB/s-103MB/s), io=3068MiB (3217MB), run=31088-31088msec WRITE: bw=33.1MiB/s (34.7MB/s), 33.1MiB/s-33.1MiB/s (34.7MB/s-34.7MB/s), io=1028MiB (1078MB), run=31088-31088msec
подозрительно огромная разница
Okhsunrog
подозрительно огромная разница
может, я зря для fio указал размер блока 8к? тут указал 4к ashift 13 sudo fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting WRITE: bw=79.4MiB/s (83.2MB/s), 79.4MiB/s-79.4MiB/s (83.2MB/s-83.2MB/s), io=2048MiB (2147MB), run=25802-25802msec sudo fio --name=randread --ioengine=libaio --iodepth=16 --rw=randread --bs=4k --direct=0 --size=512M --numjobs=4 --runtime=240 --group_reporting READ: bw=677MiB/s (710MB/s), 677MiB/s-677MiB/s (710MB/s-710MB/s), io=2048MiB (2147MB), run=3026-3026msec sudo fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read_write.fio --bs=4k --iodepth=64 --size=4G --readwrite=randrw --rwmixread=75 READ: bw=43.4MiB/s (45.5MB/s), 43.4MiB/s-43.4MiB/s (45.5MB/s-45.5MB/s), io=3070MiB (3219MB), run=70678-70678msec WRITE: bw=14.5MiB/s (15.2MB/s), 14.5MiB/s-14.5MiB/s (15.2MB/s-15.2MB/s), io=1026MiB (1076MB), run=70678-70678msec
George
Тесты равные нужны
nikolay
вот еще забавная ситуация) что-то мне везет сегодня.. дано - есть пул со special vdev из 4-дисков в mirror (nvme), к пулу добавлены в качестве spare 4-е диска NL-SAS. вылетает диск nvme, на его место автоматом добавляется NL-SAS в соответствии с настройками пула autoreplace=on
nikolay
понятно что этого можно избежать отключив автореплейс, но с другой стороны это хорошая фича, позволяющая не думать о том что диск надо заменить руками как можно быстрее..
nikolay
как быть в такой ситуации?
nikolay
допустим если я добавляю nvme в качестве spare, где гарантия что именно его zfs подставит на место вылетевшего из special vdev?
nikolay
можно ли делать привязку spare к vdev?
Okhsunrog
только 512 байт
Okhsunrog
захардходили
Okhsunrog
nvme id-ns /dev/nvme0n1 NVME Identify Namespace 1: ... nlbaf : 0 ... lbaf 0 : ms:0 lbads:9 rp:0 (in use)
Okhsunrog
там, вроде, DirectIO сейчас добавляют как-раз. видел, недавно что-то на эту тему в мастер замерджили, несколько дней назад. вроде, должно прибавить производительности для nvme
George
поищу
https://github.com/openzfs/zfs/pull/14154
nikolay
https://github.com/openzfs/zfs/pull/14154
спасибо, получается надо дождаться когда в репо для центоса зальют новую версию с этим фиксом, вроде бы там сейчас не 2.1.7
nikolay
опять обновляться, только перешел с 2.0 на 2.1(
Arseniy
После выхода нового обновления имеет смысл немного подождать? Или всегда обновления уже стабильные?)
Владимир
Доброго всем дня. ПОльзуюсь синкоидом для синхронизации данных в субволюме в другой ДЦ, но с недавних пор начинаю получать вот такую ошибку, в следствии чего чинится это удалением и перезаливом, а через какое-то время ошибка повторяется вновь ноя 17 10:01:47 srv0 db-data-sync106[429780]: Sending incremental rpool/data/subvol-106-disk-1@syncoid_srv0_2022-11-17:10:01:25 ... syncoid_srv0_2022-11-17:10:01:47 (~ 22.8 MB): ноя 17 10:01:48 srv0 db-data-sync106[430077]: lzop: Inappropriate ioctl for device: <stdin> ноя 17 10:01:48 srv0 db-data-sync106[430073]: cannot receive incremental stream: checksum mismatch or incomplete stream. ноя 17 10:01:48 srv0 db-data-sync106[430073]: Partially received snapshot is saved. ноя 17 10:01:48 srv0 db-data-sync106[430073]: A resuming stream can be generated on the sending system by running: ноя 17 10:01:48 srv0 db-data-sync106[430073]: zfs send -t 1-1574c695c0-110-789c636064000310a501c49c50360710a715e5e7a69766a63040419b83c0f7fe9b4c5715806c762475f94959a9c9250c0cb7b920ea30e4d3d28a534b40324e70793624f9a4ca92d462205dd11ccc884d7f493ec415e785750c7825fe164720c97382e5f312735319188a0af2f373f453124b12f58b4b93caf273740d0dcc7453328bb3750d1d8a2bf392f33353e28b8bca0ce28d0c8c8c740d0d750dcdad0c0dac0c0cad4ccca17e0400cad42d4c ноя 17 10:01:48 srv0 db-data-sync106[429780]: CRITICAL ERROR: ssh -S /tmp/syncoid-root-root@HOST-1668668506 root@HOST ' zfs send -I '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:25'"'"' '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:47'"'"' | lzop | mbuffer -q -s 128k -m 16M 2>/dev/null' | mbuffer -q -s 128k -m 16M 2>/dev/null | lzop -dfc | pv -s 23926080 | zfs receive -s -F 'rpool/data/subvol-106-disk-1' 2>&1 failed: 256 at /usr/sbin/syncoid line 786. Пока грешу что у меня на оригинале проксмокс 7, а на сервере куда копирую 6, ну и собтственно со всеми вытекающими, не соответствие версий zfs и самого синкоида и прочее. Обновление в планах, подумал может кто-то что-то дельного подскажет без обновления...
central
Доброго всем дня. ПОльзуюсь синкоидом для синхронизации данных в субволюме в другой ДЦ, но с недавних пор начинаю получать вот такую ошибку, в следствии чего чинится это удалением и перезаливом, а через какое-то время ошибка повторяется вновь ноя 17 10:01:47 srv0 db-data-sync106[429780]: Sending incremental rpool/data/subvol-106-disk-1@syncoid_srv0_2022-11-17:10:01:25 ... syncoid_srv0_2022-11-17:10:01:47 (~ 22.8 MB): ноя 17 10:01:48 srv0 db-data-sync106[430077]: lzop: Inappropriate ioctl for device: <stdin> ноя 17 10:01:48 srv0 db-data-sync106[430073]: cannot receive incremental stream: checksum mismatch or incomplete stream. ноя 17 10:01:48 srv0 db-data-sync106[430073]: Partially received snapshot is saved. ноя 17 10:01:48 srv0 db-data-sync106[430073]: A resuming stream can be generated on the sending system by running: ноя 17 10:01:48 srv0 db-data-sync106[430073]: zfs send -t 1-1574c695c0-110-789c636064000310a501c49c50360710a715e5e7a69766a63040419b83c0f7fe9b4c5715806c762475f94959a9c9250c0cb7b920ea30e4d3d28a534b40324e70793624f9a4ca92d462205dd11ccc884d7f493ec415e785750c7825fe164720c97382e5f312735319188a0af2f373f453124b12f58b4b93caf273740d0dcc7453328bb3750d1d8a2bf392f33353e28b8bca0ce28d0c8c8c740d0d750dcdad0c0dac0c0cad4ccca17e0400cad42d4c ноя 17 10:01:48 srv0 db-data-sync106[429780]: CRITICAL ERROR: ssh -S /tmp/syncoid-root-root@HOST-1668668506 root@HOST ' zfs send -I '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:25'"'"' '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:47'"'"' | lzop | mbuffer -q -s 128k -m 16M 2>/dev/null' | mbuffer -q -s 128k -m 16M 2>/dev/null | lzop -dfc | pv -s 23926080 | zfs receive -s -F 'rpool/data/subvol-106-disk-1' 2>&1 failed: 256 at /usr/sbin/syncoid line 786. Пока грешу что у меня на оригинале проксмокс 7, а на сервере куда копирую 6, ну и собтственно со всеми вытекающими, не соответствие версий zfs и самого синкоида и прочее. Обновление в планах, подумал может кто-то что-то дельного подскажет без обновления...
Это вам к автору синкоида, его баг
Ivan
Доброго всем дня. ПОльзуюсь синкоидом для синхронизации данных в субволюме в другой ДЦ, но с недавних пор начинаю получать вот такую ошибку, в следствии чего чинится это удалением и перезаливом, а через какое-то время ошибка повторяется вновь ноя 17 10:01:47 srv0 db-data-sync106[429780]: Sending incremental rpool/data/subvol-106-disk-1@syncoid_srv0_2022-11-17:10:01:25 ... syncoid_srv0_2022-11-17:10:01:47 (~ 22.8 MB): ноя 17 10:01:48 srv0 db-data-sync106[430077]: lzop: Inappropriate ioctl for device: <stdin> ноя 17 10:01:48 srv0 db-data-sync106[430073]: cannot receive incremental stream: checksum mismatch or incomplete stream. ноя 17 10:01:48 srv0 db-data-sync106[430073]: Partially received snapshot is saved. ноя 17 10:01:48 srv0 db-data-sync106[430073]: A resuming stream can be generated on the sending system by running: ноя 17 10:01:48 srv0 db-data-sync106[430073]: zfs send -t 1-1574c695c0-110-789c636064000310a501c49c50360710a715e5e7a69766a63040419b83c0f7fe9b4c5715806c762475f94959a9c9250c0cb7b920ea30e4d3d28a534b40324e70793624f9a4ca92d462205dd11ccc884d7f493ec415e785750c7825fe164720c97382e5f312735319188a0af2f373f453124b12f58b4b93caf273740d0dcc7453328bb3750d1d8a2bf392f33353e28b8bca0ce28d0c8c8c740d0d750dcdad0c0dac0c0cad4ccca17e0400cad42d4c ноя 17 10:01:48 srv0 db-data-sync106[429780]: CRITICAL ERROR: ssh -S /tmp/syncoid-root-root@HOST-1668668506 root@HOST ' zfs send -I '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:25'"'"' '"'"'rpool/data/subvol-106-disk-1'"'"'@'"'"'syncoid_srv0_2022-11-17:10:01:47'"'"' | lzop | mbuffer -q -s 128k -m 16M 2>/dev/null' | mbuffer -q -s 128k -m 16M 2>/dev/null | lzop -dfc | pv -s 23926080 | zfs receive -s -F 'rpool/data/subvol-106-disk-1' 2>&1 failed: 256 at /usr/sbin/syncoid line 786. Пока грешу что у меня на оригинале проксмокс 7, а на сервере куда копирую 6, ну и собтственно со всеми вытекающими, не соответствие версий zfs и самого синкоида и прочее. Обновление в планах, подумал может кто-то что-то дельного подскажет без обновления...
связь не рвется ?
Владимир
связь не рвется ?
ну скажем так, всё может быть, ДЦ там не то чтобы очень)
Δαρθ
Я про то, что производительность все также будет как 1 миррор из этих двух дисков
хуже. зфс же там чтото пытается страйпить между вдевами, диски огуеют бошками между сда1 и сда2 катать
Okhsunrog
какие параметры лучше установить для датасета, на котором лежат виртуалки virtualbox? на ноуте nvme, recordsize 128k, компрессия zstd. стоит что-то подтюнить? компрессию, recordsize?
Fedor
Надо смотреть размер кластера контейнера для жестко диска, потом смотреть тип нагрузки
Fedor
Заработает на любом
Fedor
Но если и на 128 производительность устраивает и записи немного, то беспокоиться не о чем
Δαρθ
на nvme разве не самое быстрое - отсутствие компрессии?
Okhsunrog
на nvme разве не самое быстрое - отсутствие компрессии?
Самым быстрым на nvme оказалось lz4 :) Быстрее, чем без компрессии
Combot
Do Hefa has been banned! Reason: CAS ban.
Δαρθ
Самым быстрым на nvme оказалось lz4 :) Быстрее, чем без компрессии
а какое из zstd-цыфра при этом оказалось следующим за ним?
George
Самым быстрым на nvme оказалось lz4 :) Быстрее, чем без компрессии
Если мерили через fio, то он по дефолту повторяемый паттерн пишет, которыей прекрасно жмётся
George
Но вообще lz4 может жать со скоростью около 800мбайт/сек, в несколько потоков это быстрее чем один nvme пишет, так что не будет узким местом. Только для однопотока на запись медленнее может быть, если озу мало и надо много txg закрывать вместо группировки записи
Слава
Lz4 плавает у него скорость в зависимости от данных. Если данные хорошо жмутся там гигабайт в секунду, если не жмутся (образ убунты если взять например) то там чёт сильно больше выходило
George
Ну вы как только что-то меняете на фс, надо переоценивать параметры, дока fio в помощь
George
Тут пример как можно тестить сжатие есть https://github.com/openzfs/zfs/pull/9416
George
buffer_compress_percentage=12 buffer_pattern=0xdeadbeef Ключевые
Okhsunrog
Юрий
В чатике есть владельцы дисков WD Red Plus? Обнаружил что стандартными средствам нельзя управлять APM (вообще, APM_level = not supported). Вопрос, собственно, каким проверенным способом можно его выключить? Чтобы остаться без растущего Load_Cycle_Count
Сергей
Добрый день. Подскажите пожалуйста, как быть что делать? был программный zfs mirror raid в котором умер один жесткий диск, но после замены пошли не через replace, a через удалить добавить. В итоге zpool status выглядит сейчас так: pool: rpool state: ONLINE scan: scrub repaired 0B in 2h3m with 0 errors on Sun Nov 20 18:58:01 2022 config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 sdb2 ONLINE 0 0 0 sda ONLINE 0 0 0 errors: No known data errors
Сергей
как два жестких диска собрать обратно в зеркало?
Владимир
Самым быстрым на nvme оказалось lz4 :) Быстрее, чем без компрессии
С компрессией всегда быстрее чем без компрессии. Исключение только когда ты пишешь уже сжатые данные
Сергей
худший вариант
Владимир
можно из одного девайса сделать миррор
Сергей
а где написано что он страйп, как мне кажется они рядом лежат просто?
Владимир
можно из одного девайса сделать миррор
в смысле был один девайс, добавляем второй превращая в миррор
Владимир
если бы они были в миррор, то была бы ещё одна логическая сущность
Vladislav
как два жестких диска собрать обратно в зеркало?
В поиске по чату есть команда на эту тему
Сергей
так страйп и по отдельности это разные вещи
Владимир
Владимир
это такие вещи как лвм последовательно заполняют диски, ZFS раскидывает данные по всем вдев равномерно
Сергей
эвакуируй данные, пока не рассыпалось)
Сергей
данные забэкапил еще вчера
Владимир
эвакуируй данные, пока не рассыпалось)
проще перестроить, пока копируешь данные с больше вероятностью рассыпешь))
Юрий
Vladislav
это такие вещи как лвм последовательно заполняют диски, ZFS раскидывает данные по всем вдев равномерно
Если не стоит галочка на пуле autoextend, то ещё можно командой вытащить из страйпа диск
Юрий
Вычитал про idle3ctl и что отключать не рекомендуется (без объяснения причин)
Egor
у меня FreeBSD - там было достаточно несколько команд ввести и выкл\вкл ПК но есть ещё 1 способ: вот эту утилитку запустить из freedos: https://idle3-tools.sourceforge.net/
Владимир
Если не стоит галочка на пуле autoextend, то ещё можно командой вытащить из страйпа диск
я и незнал что есть какая-то галочка которая может запретить его вытащить))