nikolay
nikolay
замена mpath устройства в пуле отличается от замены обычного диска. может и при добавлении есть какие-то нюансы..
nikolay
Alexander
Alexander
по другому думаю врятли понять
nikolay
я же правильно понимаю что разбивка на партиции при создании или добавлении устрйств в пул нужна только для того, чтобы в пуле все диски были строго одинакового размера. партиция с номером 9 именно для этого и создается. и если у меня ее для дисков из которых собран отдельный vdev нет, то могут быть неприятные последствия. или не могут быть..
Alexander
nikolay
nikolay
George
вообще давно уже разговоры ходят убрать эту авторазметку
Ivan
это было бы прозранчно. те кто хоятят себе соломки подстелить, смогут сами это сделать.
nikolay
чтобы было понятнее сейчас у меня 4-е указателя на одно dm устройство. какой из них правильнее использовать?
nikolay
[root@ ~]# ls -l /dev/disk/by-id/ | grep dm-114
lrwxrwxrwx. 1 root root 12 мая 17 09:58 dm-name-mpathal -> ../../dm-114
lrwxrwxrwx. 1 root root 12 мая 17 09:58 dm-uuid-mpath-35000c500ca5a05eb -> ../../dm-114
lrwxrwxrwx. 1 root root 12 мая 17 12:10 scsi-35000c500ca5a05eb -> ../../dm-114
lrwxrwxrwx. 1 root root 12 мая 17 12:10 wwn-0x5000c500ca5a05eb -> ../../dm-114
George
George
если хочется поменять путь который zfs использует - просто эскпорт и импорт с явным указанием директории через -d откуда импорт делать
nikolay
nikolay
просто ситуация не однозначная возникла и не хочется получить неработающий пул из которого уже не вытащить добавленный сегодня vdev..
nAHKPATOB
Вот новая загадка:
После обновления FreeBSD с 12.2 на 13.0 через пару месяцев появилось вот это
"ZFS: out of temporary space"
хотя до этого перезагружался несколько раз и проблем не было.
Чем лечить такое?
Владимир
провёл ряд тестов, тестировал fio.
fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=testfio --bs=4k --iodepth=64 --size=8G --readwrite=randrw --rwmixread=75
Владимир
raidz2
Run status group 0 (all jobs):
READ: bw=45.4MiB/s (47.6MB/s), 45.4MiB/s-45.4MiB/s (47.6MB/s-47.6MB/s), io=6141MiB (6440MB), run=135415-135415msec
WRITE: bw=15.1MiB/s (15.9MB/s), 15.1MiB/s-15.1MiB/s (15.9MB/s-15.9MB/s), io=2051MiB (2150MB), run=135415-135415msec
raidz1
Run status group 0 (all jobs):
READ: bw=49.1MiB/s (51.5MB/s), 49.1MiB/s-49.1MiB/s (51.5MB/s-51.5MB/s), io=6141MiB (6440MB), run=125108-125108msec
WRITE: bw=16.4MiB/s (17.2MB/s), 16.4MiB/s-16.4MiB/s (17.2MB/s-17.2MB/s), io=2051MiB (2150MB), run=125108-125108msec
raid10
Run status group 0 (all jobs):
READ: bw=49.2MiB/s (51.6MB/s), 49.2MiB/s-49.2MiB/s (51.6MB/s-51.6MB/s), io=6141MiB (6440MB), run=124904-124904msec
WRITE: bw=16.4MiB/s (17.2MB/s), 16.4MiB/s-16.4MiB/s (17.2MB/s-17.2MB/s), io=2051MiB (2150MB), run=124904-124904msec
один диск ext4
Run status group 0 (all jobs):
READ: bw=44.0MiB/s (46.2MB/s), 44.0MiB/s-44.0MiB/s (46.2MB/s-46.2MB/s), io=6141MiB (6440MB), run=139455-139455msec
WRITE: bw=14.7MiB/s (15.4MB/s), 14.7MiB/s-14.7MiB/s (15.4MB/s-15.4MB/s), io=2051MiB (2150MB), run=139455-139455msec
Disk stats (read/write):
sdi: ios=1568152/527084, merge=2436/284, ticks=7199412/1691648, in_queue=4581688, util=99.99%
Владимир
выходит, что упираемся или в контроллер(p420i) или в процессор(2xE5-2620v2, MEM 64 GB)
Ivan
Владимир
htop показывает, что система отдыхает в целом
Владимир
Fedor
iostat -dx 10
Владимир
Владимир
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda ONLINE 0 0 0
sdb ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
sde ONLINE 0 0 0
sdf ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
sdg ONLINE 0 0 0
sdh ONLINE 0 0 0
errors: No known data errors
Fedor
Fedor
А сделайте много потоков
Fedor
Владимир
Владимир
Run status group 0 (all jobs):
READ: bw=53.1MiB/s (55.6MB/s), 53.1MiB/s-53.1MiB/s (55.6MB/s-55.6MB/s), io=6141MiB (6440MB), run=115759-115759msec
WRITE: bw=17.7MiB/s (18.6MB/s), 17.7MiB/s-17.7MiB/s (18.6MB/s-18.6MB/s), io=2051MiB (2150MB), run=115759-115759msec
Владимир
немного лучше.
Владимир
Видно что одно ядро упирается в 100%
Владимир
это нормально что у тебя всё там красное?
Владимир
что ты там такое выполняешь что чтолько красноты?
Владимир
ничего кроме
fio --directory=/mnt/datastore/tank --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=fiotest --filename=testfio --bs=4k --iodepth=64 --size=8G --readwrite=randrw --rwmixread=75 --max-jobs=12
Владимир
Владимир
ниодной красно полоски
Владимир
посмотри в мане что такое красное в cpu в htop
Владимир
что означает цвет
Владимир
я на память уже не помню, но у меня был аткой прикол и я что-то с ядром мутил), давно было, честно вообще нифига не помню что там было
Владимир
Владимир
ну реально, расного вообще нет ниразу)
Владимир
ну и проц в простое как ты видишь)
Владимир
Красный — процессы с приоритетом ядра.
Владимир
Владимир
fio работает не с приоритетом ядра))
Владимир
много красного это не нормально
Владимир
Red : Kernel threads
Владимир
тут точнее
Владимир
@Wladimi смотрю у Вас показатели схожие, какие диски используются ?
Владимир
в смысле показатели схожие?
Владимир
схожие с чем?
Владимир
самсунговские NVME на M2
Владимир
простенькие довольно, средняк короче
Владимир
Владимир
Владимир
под задачу надо точить хранилище так как ты хочешь
Alexander
raidz2
Run status group 0 (all jobs):
READ: bw=45.4MiB/s (47.6MB/s), 45.4MiB/s-45.4MiB/s (47.6MB/s-47.6MB/s), io=6141MiB (6440MB), run=135415-135415msec
WRITE: bw=15.1MiB/s (15.9MB/s), 15.1MiB/s-15.1MiB/s (15.9MB/s-15.9MB/s), io=2051MiB (2150MB), run=135415-135415msec
raidz1
Run status group 0 (all jobs):
READ: bw=49.1MiB/s (51.5MB/s), 49.1MiB/s-49.1MiB/s (51.5MB/s-51.5MB/s), io=6141MiB (6440MB), run=125108-125108msec
WRITE: bw=16.4MiB/s (17.2MB/s), 16.4MiB/s-16.4MiB/s (17.2MB/s-17.2MB/s), io=2051MiB (2150MB), run=125108-125108msec
raid10
Run status group 0 (all jobs):
READ: bw=49.2MiB/s (51.6MB/s), 49.2MiB/s-49.2MiB/s (51.6MB/s-51.6MB/s), io=6141MiB (6440MB), run=124904-124904msec
WRITE: bw=16.4MiB/s (17.2MB/s), 16.4MiB/s-16.4MiB/s (17.2MB/s-17.2MB/s), io=2051MiB (2150MB), run=124904-124904msec
один диск ext4
Run status group 0 (all jobs):
READ: bw=44.0MiB/s (46.2MB/s), 44.0MiB/s-44.0MiB/s (46.2MB/s-46.2MB/s), io=6141MiB (6440MB), run=139455-139455msec
WRITE: bw=14.7MiB/s (15.4MB/s), 14.7MiB/s-14.7MiB/s (15.4MB/s-15.4MB/s), io=2051MiB (2150MB), run=139455-139455msec
Disk stats (read/write):
sdi: ios=1568152/527084, merge=2436/284, ticks=7199412/1691648, in_queue=4581688, util=99.99%
Явно, что то не так)) не смутило вас, что все тесты дают один и тот же результат?
Владимир
Очень сильно смутило, особенно то что скорость на одном винте такая же как на 10 raid.
Пока есть только одно предположение. Суммарная скорость доступа к контроллеру примерно ровна скорости доступа к одному диску.
Alexander
Владимир
Система стоит на nvme. И при тех же настройках fio получаем 250Mib/s
Alexander
Владимир
Ssd kingston
Alexander
Владимир
Raid контроллер
Владимир
В моём случае это p420i
Владимир
8
Владимир
У него 8 линий pci
Alexander
8 гиг? Чет быстро я его не загуглил