но при этом
# zpool iostat data 1
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
data 20.5T 15.8T 277 2.76K 1.14M 34.3M
data 20.5T 15.8T 17 3.13K 71.9K 49.5M
data 20.5T 15.8T 0 2.67K 0 33.6M
data 20.5T 15.8T 0 762 4.00K 10.8M
data 20.5T 15.8T 0 126 4.00K 1.81M
data 20.5T 15.8T 0 130 4.00K 1.94M
data 20.5T 15.8T 0 2.77K 4.00K 45.1M
data 20.5T 15.8T 0 4.19K 3.99K 51.4M
data 20.5T 15.8T 0 357 0 7.61M
погоди. но bandwith - это ведь не сколько байт записано, а с какой скоростью. Может там по факту пишется меньше
Сергей
Fedor
там инкременталка от предыдущих показаний счётчика
Fedor
в общем буду копать. завтра в том числе.
Сергей
там инкременталка от предыдущих показаний счётчика
в iostat? там мгновенная скорость, если мне не изменяет память
Fedor
при первом отображении - усреднённое со времени работы системы. при втором - уже инкремент к нему за время делея между отображениями.
Fedor
буду копать) спасибо! кое-какие идеи появились, буду проверять
Fedor
но уже завтра.
Сергей
кстати посмотри есть ли на zfs у комстара iostat -c (там скирпты для более подробной информации)
George
Вот наблюдаю чот постоянно бекграундовую запись на пул.
ищи источник, ага, сам zfs просто так в себя не пишет
Fedor
Чот я начал кое кого подозревать
Александр🇷🇺
𝚔𝚟𝚊𝚙𝚜
можно вынести на ssd мету, ddt, мелкие блоки. Вынос меты порядочно улучшает жизнь с raidz (в общем то оно писалось для draid)
А как мету на ssd вынести? Нашёл как вынести log, а остальное-то как?
Сергей
желательно в зеркале
George
А как мету на ssd вынести? Нашёл как вынести log, а остальное-то как?
Он так и называется тип - special
𝚔𝚟𝚊𝚙𝚜
заработало, спасибо
George
👍
George
Там ещё можно настроить чтобы блоки меньше Хкб писались на него
𝚔𝚟𝚊𝚙𝚜
а с ними как?
George
а с ними как?
В плане как, по перформансу? Снимает значительно лишнюю iops нагрузку, что для raidz и draid очень критично
Сергей
свойство special_small_blocks
Сергей
для датасета
George
В draid даже хотят мелкие блоки и мету зеркалировать тупо, чтобы быстрее было
𝚔𝚟𝚊𝚙𝚜
ок, благодарю!
𝚔𝚟𝚊𝚙𝚜
В draid даже хотят мелкие блоки и мету зеркалировать тупо, чтобы быстрее было
я когда log вынес мои ssd в полку легли, и стало очень медленно, сейчас special вынес, похоже особо не влияет на производительность в моём случае
𝚔𝚟𝚊𝚙𝚜
с draid
George
я когда log вынес мои ssd в полку легли, и стало очень медленно, сейчас special вынес, похоже особо не влияет на производительность в моём случае
Странно, в полку не должы были по нагрузке уйти
𝚔𝚟𝚊𝚙𝚜
Не, я всё также блоками по 1M тестирую
𝚔𝚟𝚊𝚙𝚜
INTEL SSDSC2KI128G8
Сергей
этот?
https://ark.intel.com/content/www/ru/ru/ark/products/129322/intel-ssd-dc-s3110-series-128gb-2-5in-sata-6gb-s-3d2-tlc.html
Сергей
Сергей
для SLOG берите с меньшей латенси и нормальными IOPS. Если есть деньги - то оптаны. На текущий момент - это самое быстрое для данных целей
Fedor
серии DC вроде хорошие
Fedor
Вот вот
Сергей
Fedor
Fedor
Простите
Сергей
Fedor
Шикарно
𝚔𝚟𝚊𝚙𝚜
а draid нельзя expand'ить?
𝚔𝚟𝚊𝚙𝚜
а, похоже и raidz пока нельзя
https://github.com/openzfs/zfs/pull/8853
Fedor
Потихоньку учу дтрейс. Это тема, ребят. Рекомендую.
𝚔𝚟𝚊𝚙𝚜
А в чём отличие draid2 от draid1 с двумя distributed hot spares?
𝚔𝚟𝚊𝚙𝚜
а ой, hot spares же
𝚔𝚟𝚊𝚙𝚜
Подскажите ещё, в zfs диски лучше добавлять по id или можно по kernel-name?
𝚔𝚟𝚊𝚙𝚜
для lvm например пофигу как они добавленны, т.к. он ищет volume groups на всех
George
А в чём отличие draid2 от draid1 с двумя distributed hot spares?
ну там какой data/parity/spare соберёшь так и будет
George
Подскажите ещё, в zfs диски лучше добавлять по id или можно по kernel-name?
ему пофиг на порядок, если тебе не нужно быстро и удобно выяснить а какой же диск вылетел и подсветить его - то как хочешь
George
для корзин можно заморочиться и красиво прописывать прям
𝚔𝚟𝚊𝚙𝚜
можно, добавив ещё один vdev )))
В смысле:
# zpool status
pool: registry
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
registry ONLINE 0 0 0
sdb ONLINE 0 0 0
errors: No known data errors
pool: tank
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
draid2:4g:1s-0 ONLINE 0 0 0
sdu ONLINE 0 0 0
sdv ONLINE 0 0 0
sdw ONLINE 0 0 0
sdx ONLINE 0 0 0
sdy ONLINE 0 0 0
sdz ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdab ONLINE 0 0 0
sdac ONLINE 0 0 0
sdad ONLINE 0 0 0
sdae ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdag ONLINE 0 0 0
sdah ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaj ONLINE 0 0 0
spares
s0-draid2:4g:1s-0 AVAIL
errors: No known data errors
Я вот и пытаюсь выяснить это я дурак или лыжи не едут:
# zpool add tank draid2 sdau
invalid vdev specification: draid2 requires at least 4 devices
𝚔𝚟𝚊𝚙𝚜
George
т.е. у тебя draid2:4g:1s-0 - это один vdev в пуле
George
проще говоря, сам уже созданный draid vdev ты не расширишь, а пул сам расширять можно, добавив ещё один vdev
𝚔𝚟𝚊𝚙𝚜
а, всё понял
# zpool add tank draid2 sdar sdas sdat sdau -f
# zpool status
pool: registry
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
registry ONLINE 0 0 0
sdb ONLINE 0 0 0
errors: No known data errors
pool: tank
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
draid2:4g:1s-0 ONLINE 0 0 0
sdu ONLINE 0 0 0
sdv ONLINE 0 0 0
sdw ONLINE 0 0 0
sdx ONLINE 0 0 0
sdy ONLINE 0 0 0
sdz ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdab ONLINE 0 0 0
sdac ONLINE 0 0 0
sdad ONLINE 0 0 0
sdae ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdag ONLINE 0 0 0
sdah ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaj ONLINE 0 0 0
draid2:1g:1s-1 ONLINE 0 0 0
sdar ONLINE 0 0 0
sdas ONLINE 0 0 0
sdat ONLINE 0 0 0
sdau ONLINE 0 0 0
spares
s0-draid2:4g:1s-0 AVAIL
errors: No known data errors
𝚔𝚟𝚊𝚙𝚜
без -f выдаёт следующее:
# zpool add tank draid2 sdar sdas sdat sdau
invalid vdev specification
use '-f' to override the following errors:
mismatched replication level: pool uses 16-way draid and new vdev uses 4-way draid
George
без -f выдаёт следующее:
# zpool add tank draid2 sdar sdas sdat sdau
invalid vdev specification
use '-f' to override the following errors:
mismatched replication level: pool uses 16-way draid and new vdev uses 4-way draid
ну оно тебя предупредило, что немного разное, с -f отработает.
Только учти, что это бета)
George
просто добавив vdev ты его не удалишь уже
George
оно перестраховывает
𝚔𝚟𝚊𝚙𝚜
> Только учти, что это бета)
конечно, я буду рад поучавствовать, если что баг репорты пришлю
George
Вот как раз хотел спросить как это сделать :)
недавно в стейбл выехало удаление vdev для пулов без raidz и draid, и то оно там не совсем честное и является ещё одной прослойкой в итоге
George
𝚔𝚟𝚊𝚙𝚜
В смысле:
# zpool status
pool: registry
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
registry ONLINE 0 0 0
sdb ONLINE 0 0 0
errors: No known data errors
pool: tank
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
draid2:4g:1s-0 ONLINE 0 0 0
sdu ONLINE 0 0 0
sdv ONLINE 0 0 0
sdw ONLINE 0 0 0
sdx ONLINE 0 0 0
sdy ONLINE 0 0 0
sdz ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdab ONLINE 0 0 0
sdac ONLINE 0 0 0
sdad ONLINE 0 0 0
sdae ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdag ONLINE 0 0 0
sdah ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaj ONLINE 0 0 0
spares
s0-draid2:4g:1s-0 AVAIL
errors: No known data errors
Я вот и пытаюсь выяснить это я дурак или лыжи не едут:
# zpool add tank draid2 sdau
invalid vdev specification: draid2 requires at least 4 devices
@gmelikov, а как думаешь, это бага или фича, что я заменил failed device spare'ом:
zpool replace tank sdah s0-draid2:4g:1s-0 -f
потом сделал detach и заменил его обратно:
zpool detach tank sdah
zpool replace tank spare-13 sdah -f
пул восстановился а вот spare пропал:
pool: tank
state: ONLINE
scan: resilvered 180K in 00:00:00 with 0 errors on Sat May 23 13:12:55 2020
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
draid2:4g:1s-0 ONLINE 0 0 0
sdu ONLINE 0 0 0
sdv ONLINE 0 0 0
sdw ONLINE 0 0 0
sdx ONLINE 0 0 0
sdy ONLINE 0 0 0
sdz ONLINE 0 0 0
sdaa ONLINE 0 0 0
sdab ONLINE 0 0 0
sdac ONLINE 0 0 0
sdad ONLINE 0 0 0
sdae ONLINE 0 0 0
sdaf ONLINE 0 0 0
sdag ONLINE 0 0 0
sdah ONLINE 0 0 0
sdai ONLINE 0 0 0
sdaj ONLINE 0 0 0
draid2:1g:1s-1 ONLINE 0 0 0
sdar ONLINE 0 0 0
sdas ONLINE 0 0 0
sdat ONLINE 0 0 0
sdau ONLINE 0 0 0
errors: No known data errors
𝚔𝚟𝚊𝚙𝚜
а, всё норм, spare появился обратно, после того как я сделал:
zpool add tank spare s0-draid2:4g:1s-0
George
Я тут на майских психанул, и начал процесс консолидации документации по OpenZFS тут https://github.com/openzfs/openzfs-docs
Желающие поконтрибьютить - welcome :) хочу наконец в одном месте собрать всё полезное