кмк pgsql+tsdb будет быстрее mysql.

Доброго времени суток Хотим быструю mysql под базу zabbix (около 1.5тб данных) Планируем пул из 3х mirror sas 10k В целях усиления производительности на запись хотим добавить в эту конструкцию ssd Что цеплять на ssd: LOG, SLOG, ZIL ?

базу быстро на zfs не делают вообще никак

у меня тут недавно виртуалка на зволе полетела быстрее чем на том же диске напрямую

базу быстро на zfs не делают вообще никак

кстати смех в том, что некоторые делают) основные контрибьюторы из Delphix как раз продают БД на zfs

у меня тут недавно виртуалка на зволе полетела быстрее чем на том же диске напрямую

можно пример тюнинга

у меня тут недавно виртуалка на зволе полетела быстрее чем на том же диске напрямую

напрямую какая была ФС?

в виртуалке была ехт4. и много синхр записей (не бд)

можно пример тюнинга

олл дефолт. но volblocksize 128k и compression=lz4 еще чуть ускорило

можно пример тюнинга

базовые тут https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#database-workloads , дальше под данные тюнится БД и zfs

правда диск был 1тб и пустой, с фрагм. своб местом вышло бы хуже наверное

базовые тут https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#database-workloads , дальше под данные тюнится БД и zfs

спасибо за ссылку

вот свежий бенч от перконы https://www.percona.com/blog/mysql-zfs-performance-update/

х3 экономии места на сжатии при идентичной производительности с ext4

вот свежий бенч от перконы https://www.percona.com/blog/mysql-zfs-performance-update/

страннейший бенчмарк

Такой вопрос, если клонировать zvol, внутри которой ntfs, может ли клон отличаться минимально от оригинала? Спрашиваю потому что бывает появление ошибки в работе разных программ. При чем ошибок нет на оригинале

Atime и sync выключены

х3 экономии места на сжатии при идентичной производительности с ext4

а если ещё вырубить иннодб пул и кешиться в арк то имеем меньше затрат на ОЗУ, а если ещё и клоны юзаем, то ОЗУ не тратится на клоны

Такой вопрос, если клонировать zvol, внутри которой ntfs, может ли клон отличаться минимально от оригинала? Спрашиваю потому что бывает появление ошибки в работе разных программ. При чем ошибок нет на оригинале

клон при погашенном гесте делается конечно же?

клон при погашенном гесте делается конечно же?

Не совсем понял вопрос...

Не совсем понял вопрос...

ну снапшот в какой момент делается? когда guest работает или когда остановлен?

Когда остановлен, делается перед его запуском

Когда остановлен, делается перед его запуском

ну ок. сравнивал md5sum оригинала и клона до их изменения при включении виртуалок?

ну ок. сравнивал md5sum оригинала и клона до их изменения при включении виртуалок?

Вот этого не делал. Чекну и отпишусь, спасибо.

мд5сумы одинаковые до использования клиентом

М has been banned! Reason: CAS ban.

С 8 да, на ноут - зачем?

Пофиг

Вот ты сам и ответил на вопрос "имеет ли смысл"

смысл надо искать у себя, а лучше не искать.. обычно если что-то нужно, то нужно.

Можно подробнее?

Можно подробнее?

raid56 (и даже не чинят)

raid56 (и даже не чинят)

На ноутбуке???

Представил себе ноут с 3-4 дисками) хотя 4 планки pcie nvme в 17 дюймовый ноут можно воткнуть я думаю. А может и в 15”

По поводу того, что не чинят: https://btrfs.wiki.kernel.org/index.php/Changelog#By_version_.28linux_kernel.29

Представил себе ноут с 3-4 дисками) хотя 4 планки pcie nvme в 17 дюймовый ноут можно воткнуть я думаю. А может и в 15”

Есть такие. Обычно 2 м2 и 2 сата в них

Есть такие. Обычно 2 м2 и 2 сата в них

И из них делают raid5?

Кто хочет - делает

Кто хочет - делает

Это не самые нормальные люди.

Конечно есть, если нужен его функционал

😌

На ноутбуке???

ну, про баги спрашивали. еще например бтрфс аццкий тормоз для образов VM

ну, про баги спрашивали. еще например бтрфс аццкий тормоз для образов VM

Более медленный, чем ZFS?

Более медленный, чем ZFS?

раза в 3-4 медленнее чем raw disk например. в то время как zfs -- даже быстрее

раза в 3-4 медленнее чем raw disk например. в то время как zfs -- даже быстрее

ZFS быстрее, чем RAW диск?

Это уже чудеса

ZFS быстрее, чем RAW диск?

да. на синхронных рандомных записях например. с compression.

на hdd есличо

ZFS быстрее, чем RAW диск?

у меня для экспериментов есть комп с единственной вм - виндой. так в виртуализации с zfs на hdd она куда приятней работает, чем на этом же железе нативно.

Хотелось бы ещё понять, что это за образы. Если qcow2, то понятно.

По поводу того, что не чинят: https://btrfs.wiki.kernel.org/index.php/Changelog#By_version_.28linux_kernel.29

ну raid56 же не чинят )

Хотелось бы ещё понять, что это за образы. Если qcow2, то понятно.

raw всегда. лля случая сабжа - в zvol'e

для случая btrfs -- файл с nodatacow

если без (обычный cow файл на бтрфс) -- тормоза вообще еще в 2-3 раза тормознее становятся и со временем (работы вм) еще более тормозятся

Интересно было бы провести бенчмарк

Хотелось бы ещё понять, что это за образы. Если qcow2, то понятно.

qcow2 помоему имеет смысл только на обычных фс. иначе получается cow over cow

у меня для экспериментов есть комп с единственной вм - виндой. так в виртуализации с zfs на hdd она куда приятней работает, чем на этом же железе нативно.

не посоветуешь кстати volblocksize для венды?

Интересно было бы провести бенчмарк

вот я недавно проводил как раз

делал в вм apt dist-upgrade и засекал время

не посоветуешь кстати volblocksize для венды?

я 128К использую, даже для бд. для нагруженных бд лучше 64К.

я 128К использую, даже для бд. для нагруженных бд лучше 64К.

мне для обычной юзерской венды, ну там шоб браузером чуть попользоваться и 1с с файловой базой небольшую поворочать.

...с другой стороны, бтрфс все же быстрее зфс для ситуации вычитки холодных мелких файлов, например загрузка системы с root-раздела

Предложите мне тест для fio, могу на nvme потестировать.

Как вариант, такой: [general] numjobs=4 runtime=1m time_based filename=./image.tmp direct=1 rw=randwrite size=4G ioengine=libaio iodepth=64 bs=1M

Предложите мне тест для fio, могу на nvme потестировать.

дождись патчи, которые ускоряют работу с nvme в 3 раза

Хм, какая-то ерунда на btrfs получается

BTRFS: general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64 ... fio-3.25 Starting 4 processes general: Laying out IO file (1 file / 4096MiB) Jobs: 4 (f=4): [w(4)][100.0%][w=414MiB/s][w=414 IOPS][eta 00m:00s] general: (groupid=0, jobs=1): err= 0: pid=3573840: Wed Dec 1 12:03:09 2021 write: IOPS=82, BW=82.2MiB/s (86.2MB/s)(4931MiB/60004msec); 0 zone resets slat (usec): min=220, max=73305, avg=12164.47, stdev=6419.05 clat (usec): min=2, max=1476.6k, avg=766370.51, stdev=393811.44 lat (msec): min=8, max=1499, avg=778.54, stdev=400.00 clat percentiles (msec): | 1.00th=[ 27], 5.00th=[ 53], 10.00th=[ 77], 20.00th=[ 397], | 30.00th=[ 651], 40.00th=[ 751], 50.00th=[ 810], 60.00th=[ 885], | 70.00th=[ 1028], 80.00th=[ 1116], 90.00th=[ 1217], 95.00th=[ 1334], | 99.00th=[ 1435], 99.50th=[ 1469], 99.90th=[ 1469], 99.95th=[ 1469], | 99.99th=[ 1485] bw ( KiB/s): min=40960, max=1001606, per=24.59%, avg=82814.40, stdev=101020.83, samples=119 iops : min= 40, max= 978, avg=80.87, stdev=98.65, samples=119 lat (usec) : 4=0.02% lat (msec) : 10=0.02%, 20=0.02%, 50=4.73%, 100=8.92%, 250=4.10% lat (msec) : 500=3.81%, 750=18.05%, 1000=28.27%, 2000=32.06% cpu : usr=0.30%, sys=2.01%, ctx=35819, majf=4, minf=12 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.3%, 32=0.6%, >=64=98.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,4931,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3573841: Wed Dec 1 12:03:09 2021 write: IOPS=79, BW=79.1MiB/s (82.0MB/s)(4747MiB/60004msec); 0 zone resets slat (usec): min=184, max=205375, avg=12636.51, stdev=6748.46 clat (usec): min=3, max=1477.0k, avg=796110.19, stdev=371570.88 lat (msec): min=8, max=1499, avg=808.75, stdev=377.39 clat percentiles (msec): | 1.00th=[ 28], 5.00th=[ 40], 10.00th=[ 132], 20.00th=[ 558], | 30.00th=[ 667], 40.00th=[ 768], 50.00th=[ 827], 60.00th=[ 894], | 70.00th=[ 1045], 80.00th=[ 1133], 90.00th=[ 1217], 95.00th=[ 1334], | 99.00th=[ 1435], 99.50th=[ 1469], 99.90th=[ 1469], 99.95th=[ 1469], | 99.99th=[ 1485] bw ( KiB/s): min=40960, max=657408, per=23.65%, avg=79668.89, stdev=74624.06, samples=119 iops : min= 40, max= 642, avg=77.79, stdev=72.84, samples=119 lat (usec) : 4=0.02% lat (msec) : 10=0.02%, 20=0.02%, 50=5.81%, 100=2.28%, 250=5.65% lat (msec) : 500=4.76%, 750=18.83%, 1000=29.53%, 2000=33.07% cpu : usr=0.22%, sys=1.98%, ctx=35302, majf=1, minf=16 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.3%, 32=0.7%, >=64=98.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,4747,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3573842: Wed Dec 1 12:03:09 2021 write: IOPS=81, BW=81.4MiB/s (85.3MB/s)(4882MiB/60001msec); 0 zone resets slat (usec): min=196, max=56487, avg=12285.71, stdev=6310.72 clat (usec): min=3, max=1475.4k, avg=774024.09, stdev=387793.49 lat (msec): min=8, max=1498, avg=786.31, stdev=393.88 clat percentiles (msec): | 1.00th=[ 34], 5.00th=[ 64], 10.00th=[ 80], 20.00th=[ 439], | 30.00th=[ 659], 40.00th=[ 760], 50.00th=[ 818], 60.00th=[ 885], | 70.00th=[ 1028], 80.00th=[ 1116], 90.00th=[ 1217], 95.00th=[ 1334], | 99.00th=[ 1435], 99.50th=[ 1469], 99.90th=[ 1469], 99.95th=[ 1469], | 99.99th=[ 1469] bw ( KiB/s): min=43008, max=872750, per=24.35%, avg=82007.01, stdev=92913.21, samples=119 iops : min= 42, max= 852, avg=80.08, stdev=90.72, samples=119 lat (usec) : 4=0.02%

lat (msec) : 10=0.02%, 20=0.02%, 50=2.99%, 100=10.94%, 250=2.93% lat (msec) : 500=3.89%, 750=18.19%, 1000=28.72%, 2000=32.28% cpu : usr=0.31%, sys=2.00%, ctx=35562, majf=0, minf=16 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.3%, 32=0.7%, >=64=98.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,4882,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3573843: Wed Dec 1 12:03:09 2021 write: IOPS=86, BW=86.3MiB/s (90.5MB/s)(5178MiB/60001msec); 0 zone resets slat (usec): min=198, max=73330, avg=11583.34, stdev=6754.63 clat (usec): min=2, max=1475.6k, avg=729747.32, stdev=417310.91 lat (msec): min=9, max=1498, avg=741.33, stdev=423.88 clat percentiles (msec): | 1.00th=[ 31], 5.00th=[ 35], 10.00th=[ 43], 20.00th=[ 138], | 30.00th=[ 642], 40.00th=[ 726], 50.00th=[ 802], 60.00th=[ 877], | 70.00th=[ 1003], 80.00th=[ 1099], 90.00th=[ 1217], 95.00th=[ 1334], | 99.00th=[ 1435], 99.50th=[ 1469], 99.90th=[ 1469], 99.95th=[ 1469], | 99.99th=[ 1469] bw ( KiB/s): min=40960, max=1276940, per=25.85%, avg=87072.87, stdev=132919.70, samples=119 iops : min= 40, max= 1247, avg=85.03, stdev=129.81, samples=119 lat (usec) : 4=0.02% lat (msec) : 10=0.02%, 20=0.02%, 50=11.86%, 100=6.01%, 250=3.80% lat (msec) : 500=3.63%, 750=17.17%, 1000=27.11%, 2000=30.36% cpu : usr=0.37%, sys=2.02%, ctx=36257, majf=0, minf=16 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.3%, 32=0.6%, >=64=98.8% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,5178,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): WRITE: bw=329MiB/s (345MB/s), 79.1MiB/s-86.3MiB/s (82.0MB/s-90.5MB/s), io=19.3GiB (20.7GB), run=60001-60004msec

ZFS: general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64 ... fio-3.25 Starting 4 processes general: Laying out IO file (1 file / 4096MiB) Jobs: 4 (f=4): [w(4)][100.0%][w=2225MiB/s][w=2225 IOPS][eta 00m:00s] general: (groupid=0, jobs=1): err= 0: pid=3603280: Wed Dec 1 12:05:08 2021 write: IOPS=592, BW=592MiB/s (621MB/s)(34.0GiB/60432msec); 0 zone resets slat (usec): min=222, max=497885, avg=1682.08, stdev=14443.02 clat (usec): min=21, max=655326, avg=106302.90, stdev=119601.88 lat (msec): min=36, max=656, avg=107.99, stdev=120.63 clat percentiles (msec): | 1.00th=[ 43], 5.00th=[ 46], 10.00th=[ 48], 20.00th=[ 51], | 30.00th=[ 55], 40.00th=[ 59], 50.00th=[ 65], 60.00th=[ 75], | 70.00th=[ 85], 80.00th=[ 96], 90.00th=[ 224], 95.00th=[ 518], | 99.00th=[ 584], 99.50th=[ 600], 99.90th=[ 634], 99.95th=[ 651], | 99.99th=[ 659] bw ( KiB/s): min=14336, max=1288192, per=25.59%, avg=609333.76, stdev=308608.07, samples=120 iops : min= 14, max= 1258, avg=594.96, stdev=301.44, samples=120 lat (usec) : 50=0.01% lat (msec) : 50=18.61%, 100=62.45%, 250=9.40%, 500=4.48%, 750=5.05% cpu : usr=5.62%, sys=43.94%, ctx=71562, majf=0, minf=13 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.8% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,35804,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3603281: Wed Dec 1 12:05:08 2021 write: IOPS=578, BW=578MiB/s (606MB/s)(34.1GiB/60431msec); 0 zone resets slat (usec): min=230, max=497751, avg=1724.26, stdev=14691.10 clat (usec): min=11, max=707783, avg=108961.61, stdev=122707.10 lat (msec): min=36, max=709, avg=110.69, stdev=123.78 clat percentiles (msec): | 1.00th=[ 41], 5.00th=[ 45], 10.00th=[ 48], 20.00th=[ 53], | 30.00th=[ 57], 40.00th=[ 61], 50.00th=[ 66], 60.00th=[ 77], | 70.00th=[ 86], 80.00th=[ 99], 90.00th=[ 247], 95.00th=[ 531], | 99.00th=[ 592], 99.50th=[ 634], 99.90th=[ 693], 99.95th=[ 701], | 99.99th=[ 709] bw ( KiB/s): min=12288, max=1380352, per=24.97%, avg=594494.28, stdev=310439.45, samples=120 iops : min= 12, max= 1348, avg=580.47, stdev=303.22, samples=120 lat (usec) : 20=0.01% lat (msec) : 50=13.46%, 100=67.08%, 250=9.58%, 500=4.70%, 750=5.18% cpu : usr=6.00%, sys=42.17%, ctx=73480, majf=0, minf=16 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.8% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,34930,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3603282: Wed Dec 1 12:05:08 2021 write: IOPS=590, BW=591MiB/s (620MB/s)(34.9GiB/60438msec); 0 zone resets slat (usec): min=271, max=497593, avg=1686.21, stdev=14499.95 clat (usec): min=13, max=689009, avg=106578.64, stdev=121780.73 lat (msec): min=28, max=690, avg=108.27, stdev=122.83 clat percentiles (msec): | 1.00th=[ 40], 5.00th=[ 44], 10.00th=[ 47], 20.00th=[ 52], | 30.00th=[ 56], 40.00th=[ 60], 50.00th=[ 66], 60.00th=[ 77], | 70.00th=[ 86], 80.00th=[ 94], 90.00th=[ 218], 95.00th=[ 523], | 99.00th=[ 592], 99.50th=[ 642], 99.90th=[ 676], 99.95th=[ 684], | 99.99th=[ 684] bw ( KiB/s): min=14336, max=1323008, per=25.53%, avg=607852.04, stdev=317186.17, samples=120 iops : min= 14, max= 1292, avg=593.51, stdev=309.82, samples=120 lat (usec) : 20=0.01% lat (msec) : 50=17.25%, 100=64.86%, 250=8.27%, 500=4.54%, 750=5.08%

cpu : usr=6.27%, sys=43.01%, ctx=73050, majf=0, minf=12 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.8% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,35717,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3603283: Wed Dec 1 12:05:08 2021 write: IOPS=564, BW=564MiB/s (592MB/s)(33.3GiB/60430msec); 0 zone resets slat (usec): min=217, max=497647, avg=1765.98, stdev=14871.72 clat (usec): min=20, max=710242, avg=111621.11, stdev=124911.50 lat (msec): min=36, max=711, avg=113.39, stdev=125.98 clat percentiles (msec): | 1.00th=[ 43], 5.00th=[ 46], 10.00th=[ 50], 20.00th=[ 55], | 30.00th=[ 59], 40.00th=[ 63], 50.00th=[ 68], 60.00th=[ 77], | 70.00th=[ 86], 80.00th=[ 102], 90.00th=[ 253], 95.00th=[ 527], | 99.00th=[ 609], 99.50th=[ 651], 99.90th=[ 701], 99.95th=[ 701], | 99.99th=[ 709] bw ( KiB/s): min=14336, max=1298432, per=24.37%, avg=580272.10, stdev=299641.34, samples=120 iops : min= 14, max= 1268, avg=566.57, stdev=292.67, samples=120 lat (usec) : 50=0.01% lat (msec) : 50=11.60%, 100=68.20%, 250=10.11%, 500=4.78%, 750=5.31% cpu : usr=5.84%, sys=42.30%, ctx=71817, majf=0, minf=13 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.8% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,34097,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): WRITE: bw=2325MiB/s (2438MB/s), 564MiB/s-592MiB/s (592MB/s-621MB/s), io=137GiB (147GB), run=60430-60438msec

https://habr.com/ru/post/476414/ у btrfs еще огроменный такой write amplification

Не настолько же

Блин, мой косяк, забыл девайс подмонтировать

Вот результат для btrfs: general: (g=0): rw=randwrite, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64 ... fio-3.25 Starting 4 processes general: Laying out IO file (1 file / 4096MiB) Jobs: 4 (f=4): [w(4)][100.0%][w=1567MiB/s][w=1567 IOPS][eta 00m:00s] general: (groupid=0, jobs=1): err= 0: pid=3723097: Wed Dec 1 12:15:50 2021 write: IOPS=418, BW=419MiB/s (439MB/s)(24.6GiB/60095msec); 0 zone resets slat (usec): min=157, max=175913, avg=1665.61, stdev=10563.66 clat (msec): min=19, max=552, avg=150.95, stdev=72.75 lat (msec): min=21, max=552, avg=152.62, stdev=73.02 clat percentiles (msec): | 1.00th=[ 44], 5.00th=[ 55], 10.00th=[ 68], 20.00th=[ 89], | 30.00th=[ 107], 40.00th=[ 123], 50.00th=[ 138], 60.00th=[ 157], | 70.00th=[ 178], 80.00th=[ 211], 90.00th=[ 249], 95.00th=[ 292], | 99.00th=[ 372], 99.50th=[ 397], 99.90th=[ 456], 99.95th=[ 535], | 99.99th=[ 550] bw ( KiB/s): min=147456, max=661504, per=25.38%, avg=428475.73, stdev=105661.08, samples=120 iops : min= 144, max= 646, avg=418.43, stdev=103.18, samples=120 lat (msec) : 20=0.01%, 50=3.29%, 100=22.95%, 250=63.94%, 500=9.75% lat (msec) : 750=0.07% cpu : usr=1.05%, sys=7.65%, ctx=12297, majf=0, minf=11 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,25170,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3723098: Wed Dec 1 12:15:50 2021 write: IOPS=415, BW=416MiB/s (436MB/s)(24.4GiB/60095msec); 0 zone resets slat (usec): min=108, max=188248, avg=1691.12, stdev=10914.75 clat (msec): min=14, max=481, avg=152.30, stdev=75.48 lat (msec): min=14, max=481, avg=153.99, stdev=75.70 clat percentiles (msec): | 1.00th=[ 42], 5.00th=[ 55], 10.00th=[ 68], 20.00th=[ 89], | 30.00th=[ 106], 40.00th=[ 120], 50.00th=[ 136], 60.00th=[ 157], | 70.00th=[ 180], 80.00th=[ 213], 90.00th=[ 255], 95.00th=[ 305], | 99.00th=[ 372], 99.50th=[ 409], 99.90th=[ 451], 99.95th=[ 464], | 99.99th=[ 481] bw ( KiB/s): min=217088, max=638976, per=25.19%, avg=425113.60, stdev=92317.88, samples=120 iops : min= 212, max= 624, avg=415.15, stdev=90.15, samples=120 lat (msec) : 20=0.03%, 50=3.47%, 100=22.93%, 250=62.39%, 500=11.18% cpu : usr=1.06%, sys=7.61%, ctx=11920, majf=0, minf=8 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,24972,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3723099: Wed Dec 1 12:15:50 2021 write: IOPS=406, BW=406MiB/s (426MB/s)(23.8GiB/60072msec); 0 zone resets slat (usec): min=82, max=224949, avg=1837.93, stdev=11320.46 clat (msec): min=18, max=708, avg=155.64, stdev=78.38 lat (msec): min=19, max=709, avg=157.48, stdev=78.69 clat percentiles (msec): | 1.00th=[ 43], 5.00th=[ 56], 10.00th=[ 71], 20.00th=[ 92], | 30.00th=[ 109], 40.00th=[ 124], 50.00th=[ 140], 60.00th=[ 159], | 70.00th=[ 182], 80.00th=[ 215], 90.00th=[ 262], 95.00th=[ 305], | 99.00th=[ 409], 99.50th=[ 460], 99.90th=[ 558], 99.95th=[ 617], | 99.99th=[ 617] bw ( KiB/s): min=114688, max=636928, per=24.60%, avg=415266.13, stdev=103908.45, samples=120 iops : min= 112, max= 622, avg=405.53, stdev=101.47, samples=120 lat (msec) : 20=0.02%, 50=2.90%, 100=21.99%, 250=63.76%, 500=11.10% lat (msec) : 750=0.23% cpu : usr=0.94%, sys=7.55%, ctx=10564, majf=0, minf=9

IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,24396,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 general: (groupid=0, jobs=1): err= 0: pid=3723100: Wed Dec 1 12:15:50 2021 write: IOPS=408, BW=408MiB/s (428MB/s)(23.9GiB/60094msec); 0 zone resets slat (usec): min=84, max=199353, avg=1741.23, stdev=10847.53 clat (msec): min=33, max=497, avg=155.07, stdev=73.30 lat (msec): min=35, max=497, avg=156.82, stdev=73.43 clat percentiles (msec): | 1.00th=[ 45], 5.00th=[ 57], 10.00th=[ 73], 20.00th=[ 95], | 30.00th=[ 111], 40.00th=[ 127], 50.00th=[ 144], 60.00th=[ 159], | 70.00th=[ 182], 80.00th=[ 209], 90.00th=[ 253], 95.00th=[ 292], | 99.00th=[ 388], 99.50th=[ 430], 99.90th=[ 477], 99.95th=[ 485], | 99.99th=[ 498] bw ( KiB/s): min=153600, max=630784, per=24.73%, avg=417399.47, stdev=94096.93, samples=120 iops : min= 150, max= 616, avg=407.62, stdev=91.89, samples=120 lat (msec) : 50=2.62%, 100=20.72%, 250=66.46%, 500=10.20% cpu : usr=1.05%, sys=7.43%, ctx=11490, majf=0, minf=13 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.7% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0% issued rwts: total=0,24520,0,0 short=0,0,0,0 dropped=0,0,0,0 latency : target=0, window=0, percentile=100.00%, depth=64 Run status group 0 (all jobs): WRITE: bw=1648MiB/s (1728MB/s), 406MiB/s-419MiB/s (426MB/s-439MB/s), io=96.7GiB (104GB), run=60072-60095msec

Всё равно получается btrfs ощутимо медленнее

Есть сервер (Dell, как я пропустил покупку этого гроба?), на нем RAID-контроллер в режиме "я не RAID", на нем 5-тб диск. С пула в 5 тб просто не грузится, мотивируя ошибкой 5, если пул разбить на куски, то первый пул грузится, второй нужно руками в сингле импортировать каждый раз. FreeBSD 13.0. Загрузчик переставлял.

Всем привет, нужен спец чтобы восстановить zfs pool. пул при импорте пишет I/O Error. удалите и восстановите из резервной копии. проблема в том что там есть полезные данные, которые не успели попасть в резервную копию. Делал zdb -e -bcsvL rpool и в конечной таблице нет ошибок, были по пути несколько вот таких zdb_blkptr_cb: Got error 52 reading <266, 1, 0, f1> DVA[0]=<0:5c03718000:1000> [L0 zvol object] fletcher4 lz4 unencrypted LE contiguous unique single size=2000L/1000P birth=12855282L/12855282P fill=1 cksum=238b692eee:84e3aaa8fd88:f9345e733577a5:3888926a1f3c26e6 -- skipping zpool import -F -f -X -o readonly=on -R /mnt rpool долго думает, видимо перебирает txg всевозможные, но в конце пишет одно или более устройств недостпно. при этом zpool import пишет что диск ONLINE

Всем привет, нужен спец чтобы восстановить zfs pool. пул при импорте пишет I/O Error. удалите и восстановите из резервной копии. проблема в том что там есть полезные данные, которые не успели попасть в резервную копию. Делал zdb -e -bcsvL rpool и в конечной таблице нет ошибок, были по пути несколько вот таких zdb_blkptr_cb: Got error 52 reading <266, 1, 0, f1> DVA[0]=<0:5c03718000:1000> [L0 zvol object] fletcher4 lz4 unencrypted LE contiguous unique single size=2000L/1000P birth=12855282L/12855282P fill=1 cksum=238b692eee:84e3aaa8fd88:f9345e733577a5:3888926a1f3c26e6 -- skipping zpool import -F -f -X -o readonly=on -R /mnt rpool долго думает, видимо перебирает txg всевозможные, но в конце пишет одно или более устройств недостпно. при этом zpool import пишет что диск ONLINE

Приходилось пару раз делать подобное. Давно. Наизусть не помню. Но должен вспомнить, если руками.

Всё равно получается btrfs ощутимо медленнее

По тестам похороникса бтрфс была быстрее зфс раза в 2

По тестам похороникса бтрфс была быстрее зфс раза в 2

По отзывам реальных пользователей, особенно синолоджи, бртфс часто теряет разделы с данными