Всем доброго времени суток, скажите есть ли какой то адекватный способ (тест) проверить реальную скорость датастора и при этом он не выдавал космические цифры от использования кеша и прочих плюшек?

Так кэш на чтение можно отключить - primarycache=metadata. А на запись там всего 5 секунд буфер держит, потом на диск сбрасывает, да и объем там не большой - в дефолте от 4Гб до 16Гб, кажется

Так кэш на чтение можно отключить - primarycache=metadata. А на запись там всего 5 секунд буфер держит, потом на диск сбрасывает, да и объем там не большой - в дефолте от 4Гб до 16Гб, кажется

Спасибо попробую

Кэш на чтение хоть у кого то работал ?

Кэш на чтение хоть у кого то работал ?

А почему бы ему не работать???

когда ты читаешь одно и то же - работает

когда ты читаешь одно и то же - работает

Ставил рендер на 4 машинах на чтение одних и тех же файлов - хрен там ))

если у тебя есть набор горячих данных, чтение по нему производится из кеша

Ставил рендер на 4 машинах на чтение одних и тех же файлов - хрен там ))

по дефолту в кэш рандом чтение падает. кстати hit ratio советую глянуть.

я же правильно понял что речь об l2arc ?

синхронный режим эквивалентен O_DIRECT по части записи?

нет.

синхронный режим эквивалентен O_DIRECT по части записи?

Sync эквивалентен sync

привет, в zfs есть гарантия ордеринга write(2) ? то есть, может ли нарушиться порядок записи (спровоцированной вызовом write(2)) на диск? спрашиваю вопрос со стороны разработчика, если что я предполагаю, что это настраиваемо, спрашиваю на всякий случай

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/ZIO%20Scheduler.html

если у тебя есть набор горячих данных, чтение по нему производится из кеша

По статистке показывает 01 процента

значит, данные не горячие используешь, переиспользования нет

значит, данные не горячие используешь, переиспользования нет

Это как Одно и тоже машины читают ночь

получается, что нет

рендер из чего? из нарезок клипов?

Потоковое чтение в zfs работает нехорошо. Помимо кэша на чтение, еще добавляется плохой prefetch. У меня он никогда не показывал > 35% попадания. zfs_prefetch_disable=1 не решает проблему скорости чтения - все операции чтения после этого идут в sync_read (в терминах zfs), а оно видимо медленнее чем async_read, так что результат в итоге почти тот же. Причем проблемы с потоковым чтением на тесте (frametest) есть даже на только что созданном (recordsize=1M) пустом томе (чтение почти в 2 раза хуже записи - я где-то выше приводил результаты)...

А вот еще прикол - draid2:8d:1s:41c recordsize=1M том + special. Тест только на потоковое чтение 1М блоками. Но оно зачем-то пишет по 4к на каждый диск )) zfs правда 2.1.15... https://pastebin.com/VJjpxU1F

atime=off

А вот еще прикол - draid2:8d:1s:41c recordsize=1M том + special. Тест только на потоковое чтение 1М блоками. Но оно зачем-то пишет по 4к на каждый диск )) zfs правда 2.1.15... https://pastebin.com/VJjpxU1F

обновите до 2.2, там такие дефолты уже лучше

@gmelikov @neurox @simubishi

обновите до 2.2, там такие дефолты уже лучше

С zfs-2.2.6 и такой же конфигурацией тома: - скорость записи такая же - чтение существенно лучше (думается за счет лучшего prefetch. Вернее даже думается не из за prefetch (ибо судя по arc_summary Prefetch data misses=100%, а из за того, что все чтение теперь идет в async_read, а оно видимо быстрее, чем sync_read - туда раньше шла примерно половина чтения). И все равно пишет по 4к на каждый диск при каждой операции чтения. Я использую multipathd и тогда zfs не создает партиции, а использует диск целиком. Может из за этого?

С zfs-2.2.6 и такой же конфигурацией тома: - скорость записи такая же - чтение существенно лучше (думается за счет лучшего prefetch. Вернее даже думается не из за prefetch (ибо судя по arc_summary Prefetch data misses=100%, а из за того, что все чтение теперь идет в async_read, а оно видимо быстрее, чем sync_read - туда раньше шла примерно половина чтения). И все равно пишет по 4к на каждый диск при каждой операции чтения. Я использую multipathd и тогда zfs не создает партиции, а использует диск целиком. Может из за этого?

Вы пул пересоздавали кстати? иначе параметры аля atime будут старые

Вы пул пересоздавали кстати? иначе параметры аля atime будут старые

Да, все пересоздал заново

Можно atime=off явно выставить

С zfs-2.2.6 и такой же конфигурацией тома: - скорость записи такая же - чтение существенно лучше (думается за счет лучшего prefetch. Вернее даже думается не из за prefetch (ибо судя по arc_summary Prefetch data misses=100%, а из за того, что все чтение теперь идет в async_read, а оно видимо быстрее, чем sync_read - туда раньше шла примерно половина чтения). И все равно пишет по 4к на каждый диск при каждой операции чтения. Я использую multipathd и тогда zfs не создает партиции, а использует диск целиком. Может из за этого?

партиции не должны влиять

Можно atime=off явно выставить

Я так и сделал: # zfs get all|grep atime pv2h00 atime off local pv2h00 relatime on default pv2h00/z01 atime off inherited from pv2h00 pv2h00/z01 relatime on default pv2h01 atime off local pv2h01 relatime on default pv2h01/z02 atime off inherited from pv2h01 pv2h01/z02 relatime on default

Я так и сделал: # zfs get all|grep atime pv2h00 atime off local pv2h00 relatime on default pv2h00/z01 atime off inherited from pv2h00 pv2h00/z01 relatime on default pv2h01 atime off local pv2h01 relatime on default pv2h01/z02 atime off inherited from pv2h01 pv2h01/z02 relatime on default

Тогда писать при чтении не должен, надо искать что пишет

Тогда писать при чтении не должен, надо искать что пишет

Не должен... Может сам тест конечно что-то пишет. Я использую IOR - т.к. мне для HPC, а ior - это практически стандарт...

Но странно - прямо четко пишет 1 4к блок

Но странно - прямо четко пишет 1 4к блок

blktrace

@gmelikov @neurox @simubishi

fio тоже пишет 1 4к блок

blktrace

@aantsiferov

И смотришь какой блок и какой процесс его дёргает

fatrace ещё

@aantsiferov

[z_null_iss]

[z_null_iss]

Это что?

Процесс?

Какой блок дёргает?

Всегда один и тот же?

Разный?

# btrace -a write /dev/sdfn 130,144 25 1 0.000000000 15336 A W 7814036984 + 8 <- (253,102) 7814036984 130,144 25 2 0.000002465 15336 D W 7814036984 + 8 [z_null_iss] 130,144 25 3 0.028183332 0 C W 7814036984 + 8 [0] 130,144 24 1 1.005512031 15336 A W 504 + 8 <- (253,102) 504 130,144 24 2 1.005514515 15336 D W 504 + 8 [z_null_iss] 130,144 24 3 1.020574053 24654 C W 504 + 8 [0] 130,144 28 1 2.010994067 15336 A W 7814036472 + 8 <- (253,102) 7814036472 130,144 28 2 2.010996017 15336 D W 7814036472 + 8 [z_null_iss] 130,144 28 3 2.033755507 0 C W 7814036472 + 8 [0] 130,144 18 1 3.016968622 15336 A W 1016 + 8 <- (253,102) 1016 130,144 18 2 3.016970925 15336 D W 1016 + 8 [z_null_iss] 130,144 18 3 3.038148639 0 C W 1016 + 8 [0]

я тут на FreeBSD 14.1 словил паник с ZFS VERIFY(avl_find(tree, new_node, &where) == NULL) failed https://hastebin.com/share/ukudecugiy.bash Непонятно, где репортить и в проекте FreeBSD и ZFS ?

добрый вечер, подскажите, есть debian, есть 4 диска на другой машине они работают в zraid2, как их можно примонтировать в debian, чтобы от туда достать информацию?

Евгений, нужно срочно пройти капчу, иначе кикнет

ответ - отмонтировать на старой системе, переставить диски в новую, примонтировать

zfs import/zfs export

если надо сделать удаленно, тогда можно заэкспортить их, например, через какой-нибудь нфс. в таком случае можно получить доступ только к файловой системе, зволы будут не видны

если надо сделать удаленно, тогда можно заэкспортить их, например, через какой-нибудь нфс. в таком случае можно получить доступ только к файловой системе, зволы будут не видны

zfs sharesmb/sharenfs

зволы можно отдать через iscsi

zfs import/zfs export

мне потом их вернуть надо ))) у меня сейчас proxmox на ssd обычной, она умирает, послушал умных людей, сказали поставь 4 маленьких диска в zraid2 и будет, счастье. разжился на 4х256пи ssd. А вот как перенести папку pve не знаю. )))) Я в линуксе всего 3 месяца ))) вот учусь

если вернуть - экспорт из новой машины, переставить диски, импорт на старой

zfs sharesmb/sharenfs

это всё на одной машине, просто либо грузиться с зрйда, либо с ссд )))

если на зфс находится и рут, надо будет чуть повеселиться с точками монтирования

в прикрепленных находится дока по зфс, в целом немного поигравшись с примерами из конфигурации, станет понятно, что к чему

понял, что сложно. Ладно на живую буду копировать

я тут на FreeBSD 14.1 словил паник с ZFS VERIFY(avl_find(tree, new_node, &where) == NULL) failed https://hastebin.com/share/ukudecugiy.bash Непонятно, где репортить и в проекте FreeBSD и ZFS ?

И туда и туда можно, да

я тут на FreeBSD 14.1 словил паник с ZFS VERIFY(avl_find(tree, new_node, &where) == NULL) failed https://hastebin.com/share/ukudecugiy.bash Непонятно, где репортить и в проекте FreeBSD и ZFS ?

@gmelikov вызываю кавалерию)

@gmelikov вызываю кавалерию)

На часы посмотри

Я ещё не оформил pr. И нет пока полного bt

Лучше issue как минимум

я тут на FreeBSD 14.1 словил паник с ZFS VERIFY(avl_find(tree, new_node, &where) == NULL) failed https://hastebin.com/share/ukudecugiy.bash Непонятно, где репортить и в проекте FreeBSD и ZFS ?

PR282314 и issues #16685

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

Максимум оперативки сделать

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

В рандоме как не собери, hdd зло ))

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

больше всего iops на raid10 будет

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

Lvm + bcache на ссд.

Lvm + bcache на ссд.

Кэш на ссд хрень

Кэш на ссд хрень

Если на запись перед хдд - не хрень.

Если на запись перед хдд - не хрень.

Это магию я себе не ставил , ибо пофиг

больше всего iops на raid10 будет

это да)

special на ssd имеет смысл добавить?

special на ssd имеет смысл добавить?

Это вносить еще один не стабильный узел, тогда его на ssd Энтерпрайз класса и тройное зеркало, так как его терять низзя

Это вносить еще один не стабильный узел, тогда его на ssd Энтерпрайз класса и тройное зеркало, так как его терять низзя

вот это и останавливает причём не факт, что будет эффективно использоваться

вот это и останавливает причём не факт, что будет эффективно использоваться

Собери тестово )) я прикинул , мне надо 3 диска по 8тер u2 - дороговато ))) найду им лучшее применение

привет есть 18 дисков 8Tb понятно, что raidz2 не производительность) планирую сделать 3 raidz-2 по 6 + SLOG нагрузка разная - и последовательные чтение, запись и рандомные чтение/запись есть ли альтернативные варианты, чтобы в производительности особо не терять?

А какие всё-таки данные планируется на них держать? Какой-то один рекордайз на весь пул или под разные данные свой? Сжатие будет?

А какие всё-таки данные планируется на них держать? Какой-то один рекордайз на весь пул или под разные данные свой? Сжатие будет?

да, сжатие будет рекордсайз под разные данные разный будут бэкапы (куски по 8-128Метров), и образы виртуалок, и просто разные наборы данных

да, сжатие будет рекордсайз под разные данные разный будут бэкапы (куски по 8-128Метров), и образы виртуалок, и просто разные наборы данных

Я спрашиваю потому, что special настраивается на хранение блоков данных меньше определенного значения. Например, ниже 64Кб. Если планируется хранить в большом количестве и активно читать/писать такие данные, то конечно стоит его использовать. А если хранение таких данных побочный эффект (как бы большое хранилище, почему бы не хранить), т.е. не интенсивно будут использоваться, то бессмысленно.