во время теста система совершенно была не загружена. Возможно под данный кейс нужно было тюнить

а вот с 16 заданиями и IOD=32 загрузка уже лучше. Сделал размер файла в 16G, это в сумме в любом случае в память не влазит.

по окончанию теста: root@hz:~/fio# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c 12:35:23 0 0 0 0 0 0 0 0 0 60G 62G результаты во вложении. Добавил ещё randread (первым тестом).

а вот с 16 заданиями и IOD=32 загрузка уже лучше. Сделал размер файла в 16G, это в сумме в любом случае в память не влазит.

установите glances, там видо параметр iowait

по окончанию теста: root@hz:~/fio# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c 12:35:23 0 0 0 0 0 0 0 0 0 60G 62G результаты во вложении. Добавил ещё randread (первым тестом).

В первом тесте явно где то в озу лежит)))

установите glances, там видо параметр iowait

спасибо, классная штука. Как-то я раньше её не замечал

вот на всякий случай тесты на заполненном пуле.

интересный результат получился после отключения гипертрейдинга. на небольшой нагрузке производительность ухудшилась, а на тяжелой нагрузке улучшилась.

похоже помогает общий ядерный кэш при включенном ht, когда не нужен fsync.

наверно с включенными опциями безопасности ht покажет намного более слабые результаты, нежели без ht.

интересный результат получился после отключения гипертрейдинга. на небольшой нагрузке производительность ухудшилась, а на тяжелой нагрузке улучшилась.

Ожидаемо же

@neurox

Очень интересный вопрос, наверное, к @gmelikov Возможно ли как-нибудь преобразовать звол в файл? :D

Очень интересный вопрос, наверное, к @gmelikov Возможно ли как-нибудь преобразовать звол в файл? :D

В файл в датасете? Dd в помощь и всё:)

Очень интересный вопрос, наверное, к @gmelikov Возможно ли как-нибудь преобразовать звол в файл? :D

zfs send позволяет отправлять снимок в файл

Очень интересный вопрос, наверное, к @gmelikov Возможно ли как-нибудь преобразовать звол в файл? :D

Отправьте снапшот в файл. Проверено, работает

В файл в датасете? Dd в помощь и всё:)

это да. но вдруг что-то есть помимо этого :)

Отправьте снапшот в файл. Проверено, работает

Спасибо!

Его можно даже на веб сервер выложить и курлом лить прямо в приемник через recv

Очень интересный вопрос, наверное, к @gmelikov Возможно ли как-нибудь преобразовать звол в файл? :D

Я думал ты хочешь получить в raw для дальнейшего использования

наподобие, да.

Но чтоб все данные не перекачивать :)

Но чтоб все данные не перекачивать :)

Zfs send recv тогда, да

Или сразу в файликах храни

По перфомансу примерно пофиг

можно покрутить write throttling ещё, если сильно хочется, это в общем то он срабатывает https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Async%20Write.html

Сделал так, но поведение однопотока не изменилось. Какие параметры еще можно покрутить ? options zfs zfs_vdev_async_read_max_active=36 options zfs zfs_vdev_async_read_min_active=12 options zfs zfs_vdev_async_write_max_active=36 options zfs zfs_vdev_async_write_min_active=12 options zfs zfs_vdev_sync_read_max_active=36 options zfs zfs_vdev_sync_read_min_active=12 options zfs zfs_vdev_sync_write_max_active=36 options zfs zfs_vdev_sync_write_min_active=12

Сделал так, но поведение однопотока не изменилось. Какие параметры еще можно покрутить ? options zfs zfs_vdev_async_read_max_active=36 options zfs zfs_vdev_async_read_min_active=12 options zfs zfs_vdev_async_write_max_active=36 options zfs zfs_vdev_async_write_min_active=12 options zfs zfs_vdev_sync_read_max_active=36 options zfs zfs_vdev_sync_read_min_active=12 options zfs zfs_vdev_sync_write_max_active=36 options zfs zfs_vdev_sync_write_min_active=12

А, эти параметры на параллельную нагрузку влияют только

а что для улучшения однопотока покрутить можно ? вот всё хорошо с многопотоком, а бывают в бд однопоточные операции, хотелось бы их ускорить.

а что для улучшения однопотока покрутить можно ? вот всё хорошо с многопотоком, а бывают в бд однопоточные операции, хотелось бы их ускорить.

однопоточная синхронная запись - slog только в общем то ставить, плюс по мелочи на мете поэкономить можно. Видел занимаются ребята оптимизацией zil кстати

однопоточная синхронная запись - slog только в общем то ставить, плюс по мелочи на мете поэкономить можно. Видел занимаются ребята оптимизацией zil кстати

есть слог. а однопоток около 100мб/с

есть слог. а однопоток около 100мб/с

ну так какой однопоток, какие диски под slog. Ну и сейчас 100% от raw скорости ждать не стоит, если хороший nvme, там есть что ускорять в коде

ну так какой однопоток, какие диски под slog. Ну и сейчас 100% от raw скорости ждать не стоит, если хороший nvme, там есть что ускорять в коде

диски 500-550МБ/с в однопоток выдают

через zpool iostat на slog иногда видно запись до 400МБ/с, но это исключительно на большом количестве потоков.

диски 500-550МБ/с в однопоток выдают

Той же нагрузкой тестили? Хотя бы 30% от диска было записано при этом? Увы много переменных влияет.

Той же нагрузкой тестили? Хотя бы 30% от диска было записано при этом? Увы много переменных влияет.

ну просто dd на zvol натравил

там уже много было всего позаписано

ну просто dd на zvol натравил

эээ, кажется методика тестирования сильно разнится)))

так в тестах от Сергея rw

а мне хотяб что-то одно

Чтобы понимать накладные расходы фс, надо тем же профилем сам диск погонять, я про это

если про тот же тест говорить, то совсем печалька

Чтобы понимать накладные расходы фс, надо тем же профилем сам диск погонять, я про это

сата ссд могёт явно больше. т.е. предлагаете датасет создать на одном из ссд и погонять тесты ?

сата ссд могёт явно больше. т.е. предлагаете датасет создать на одном из ссд и погонять тесты ?

Да не, прям на диске без фс

Берёте fio, нужный вам конфиг и сам диск тестите (затрёт данные на нём, конечно же)

Получаете сырые цифры а сколько же железо даёт

И только с этими данными можно увидеть, сколько съедает zfs, и есть ли вообще место его тюнингу

А то ссд и нвме имеют свойство после например 100гб нагрузки резко становиться хуже

щупал я нвме, 3гбайт/сек пока он вообще пустой, записал хотябы 100гб - привет x4 просадка, кеши кончились/etc

А то ссд и нвме имеют свойство после например 100гб нагрузки резко становиться хуже

да элементарно разница во много раз между тестом на разделе ссд и пулом с slog и special на нём же.

например тестирую после ребута сначала zvol, потом раздел на ссд

это результат с полностью дефолтными настройками

например тестирую после ребута сначала zvol, потом раздел на ссд

Раздел на ссд это пул с вдевом только на ссд?

на ссд лежит special,slog,swap и еще вот раздел для тестирования fio создал

пул - raid10 на 36 hdd (+ special + slog на этом ssd)

Судя по выводу, тут параллельно идёт синхронное чтение, на пулах с hdd оно съест сильно иопсы. Randrw ждёт чтение, slog не прогрузится

на ссд лежит special,slog,swap и еще вот раздел для тестирования fio создал

Если вы хотите всё же синхронную запись тестить, то сделайте просто конкретный тест fio на это. Или я его пропустил выше где-то?

так мне поменять методу тестирования ? в любом разе и чтение и rw и рандом и полследовательное оочень плохо себя показывают на zvol в однопотоке

так мне поменять методу тестирования ? в любом разе и чтение и rw и рандом и полследовательное оочень плохо себя показывают на zvol в однопотоке

Fio что скажешь то он и будет мерять в рамках одного потока. Начните с вопроса а какую нагрузку хочется потестить

так мне поменять методу тестирования ? в любом разе и чтение и rw и рандом и полследовательное оочень плохо себя показывают на zvol в однопотоке

Если в рамках одного потока тестить как выше, то чтение тупо на ожидании hdd будет висеть между каждой записью на slog, имхо так ничего не измеришь. Т.к. Пул состоит из многих частей с разной производительностью, я бы начал с полностью раздельных тестов

А так да, кейс "прочитать блок (синхронно) и записать блок (синхронно)" на вашем пуле из hdd и слога на ссд будет упираться в хдд при пустом arc

Что логично

так мне поменять методу тестирования ? в любом разе и чтение и rw и рандом и полследовательное оочень плохо себя показывают на zvol в однопотоке

Если хотите эмитировать бд, можно взять для простоты тот же pgbench тогда уж

Бд по факту сильно параллелятся внутри, плюс обычно есть wal

fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=read -runtime=60 -filename=/dev/zvol/Storage/fio --output=seqreadzvol.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randread -runtime=60 -filename=/dev/zvol/Storage/fio --output=randreadzvol.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=write -runtime=60 -filename=/dev/zvol/Storage/fio --output=seqwritezvol.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=/dev/zvol/Storage/fio --output=randwritezvol.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=read -runtime=60 -filename=/dev/sdak6 --output=seqreadssd.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randread -runtime=60 -filename=/dev/sdak6 --output=randreadssd.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=write -runtime=60 -filename=/dev/sdak6 --output=seqwritessd.txt fio -ioengine=libaio -sync=1 -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=1 -rw=randwrite -runtime=60 -filename=/dev/sdak6 --output=randwritessd.txt

вот таким скриптиком затетсировал

увы, на zvol в однопотоке производительность печальная по всем фронтам

это без slog ?

это без slog ?

со slog

откуда они лезут

Это ещё в листинг каналов чат не был добавлен :)

в дискорде недавно в канале по js набежала толпа ботов и давай вличку спамить подобной хренью )

дискорд это же чатик для геймеров, не? :)

И для этого тоже ) на самом деле очень удобная вещь

дискорд это же чатик для геймеров, не? :)

там теперь учителя лекции для школьников ведут)

Всем привет. В вмваре было вставлено 4 диска, на каждом из них по файлу образа которые прокинуты в виртуалку на вмваре из них был сборан RAIDZ1 и один диск начал поминрать. Вот такая у меня стартовая инфа, мне предоставлили эти диски по одному я снял с каждого дамб, превратил в блочное устройство, а раздел блочного утсройства примонтировал. Теперь у меян есть доступ к образам. Подскажите как мне теперь собрать обратно RAIDZ1?

Всем привет. В вмваре было вставлено 4 диска, на каждом из них по файлу образа которые прокинуты в виртуалку на вмваре из них был сборан RAIDZ1 и один диск начал поминрать. Вот такая у меня стартовая инфа, мне предоставлили эти диски по одному я снял с каждого дамб, превратил в блочное устройство, а раздел блочного утсройства примонтировал. Теперь у меян есть доступ к образам. Подскажите как мне теперь собрать обратно RAIDZ1?

файлы образа в каком формате там?

ну расширение у них vmdk

по идее просто zpool import сделать, указав через -d на файлы с сырой инфой из этих образов