👍у меня что- то не вышло профита

щас я вам тесты raid 10 из 4х nvme 960GB + slog на оптанах (900p) выложу. >2Gb/s на случайной записи.

по сравнению с чем?

С ssd🤷‍♂️ну может у меня руки кривоваты

Можно потом еще конфиг zfs

С обычными ssd и не выйдет

Почему?

это я сейчас тестирую на zpool/pg-rep-gcp/main, где RECSIZE=16K. Все остальные параметры по умолчанию

ещё интересно померять redundant_metadata=most , копеечку может ещё дать сверху. На дешёвых nvme и асинхронной записи у меня разницы не давало

а без сжатия как?

не проверял. Это 64 job при depth=256.

Маловато(((

а можно увидеть этот же тест в вашем кейсе?

У меня еще меньше((

насколько меньше?

А можно обнаглеть и попросить прямо строку всю для запуска теста?

можно даже не всю строку, а набор файлов который я использую. минуту

в bench.sh поправить путь к месту где будет проходить тест

@gmelikov, как мне лучше нагрузить на чтение? Может размер файла сделать побольше? сейчас 32G. Но мне кажется что можно больше выжать

сжатие на nvme я бы отключил. Увы, на оптанах zfs сейчас имеет узкие места, а сжатие латенси только ухудшит

Ух... а какие предпочтительней будут?

сжатие на nvme я бы отключил. Увы, на оптанах zfs сейчас имеет узкие места, а сжатие латенси только ухудшит

Или это ко всем nvme относится?

а, да, ко всем nvme

сжатие на nvme я бы отключил. Увы, на оптанах zfs сейчас имеет узкие места, а сжатие латенси только ухудшит

эм, buffer_compress_percentage закомменчен? пока выглядит так, что со сжатием такое нормальные результаты не покажет, оно же нули пишет

refill_buffers наверное даже убрать можно

Я так понимаю , если оптан использовать под logs тоже профита особого не будет?

даже с nvme. (если конечно весь пул из оптанов не собран)

Вернее не так)) пул на ssd а оптаны в logs

вот как раз я у себя и делал оптан под slog для пула из nvme. Пока что ни один из обычных nvme/ssd не имеет latency как у оптанов. А для slog важна именно latency

вот как раз я у себя и делал оптан под slog для пула из nvme. Пока что ни один из обычных nvme/ssd не имеет latency как у оптанов. А для slog важна именно latency

u2 - это разъем по моему, а не протокол

Да, у интел просто они все оптаны и u2 и pci то про что Сергей говорит

да я к тому, что без разницы какой разъем, это все NVME

Да не скажите, если использовать оптан nvdimm))как и сказал Сергей латенси будет явно думаю меньше

Ну это понятно, там шина не PCI-E, напрямую в контроллер памяти в процессоре подключается

это уже другие оптаны. У интел целое семейство разных типов памяти называются оптаны. Это по сути обычная память, которая сохраняется при отключении. У меня обычные 900p вот сравнение первоначального теста (результирующий итог IOD=256, NUMJOBS=64): RAID-10 (4x960GB NVMe + 2x900p как SLOG (разделы по 32Гб)) Run status group 0 (all jobs): READ: bw=729MiB/s (765MB/s), 729MiB/s-729MiB/s (765MB/s-765MB/s), io=85.5GiB (91.8GB), WRITE: bw=313MiB/s (328MB/s), 313MiB/s-313MiB/s (328MB/s-328MB/s), io=36.6GiB (39.3GB), Run status group 1 (all jobs): READ: bw=476MiB/s (500MB/s), 476MiB/s-476MiB/s (500MB/s-500MB/s), io=55.8GiB (59.9GB), WRITE: bw=204MiB/s (214MB/s), 204MiB/s-204MiB/s (214MB/s-214MB/s), io=23.9GiB (25.7GB), Тот же самый тест только на обычном mirror из двух 900p (два раздела по 250Гб), SLOG не сделан: Run status group 0 (all jobs): READ: bw=311MiB/s (326MB/s), 311MiB/s-311MiB/s (326MB/s-326MB/s), io=36.5GiB (39.2GB) WRITE: bw=133MiB/s (140MB/s), 133MiB/s-133MiB/s (140MB/s-140MB/s), io=15.6GiB (16.8GB) Run status group 1 (all jobs): READ: bw=284MiB/s (298MB/s), 284MiB/s-284MiB/s (298MB/s-298MB/s), io=33.3GiB (35.8GB) WRITE: bw=122MiB/s (128MB/s), 122MiB/s-122MiB/s (128MB/s-128MB/s), io=14.3GiB (15.3GB) RAID10 win) p.s. остальные тесты в пути)

Понял, спс. А можно 4 к в fio и на запись))

не понял. сделать recsize=4k?

Да мелким блоком и посмотреть iops на запись

разве такой мелкий блок имеет смысл? дефолтный размер для zvol=8k, для filesystem=128k. Для СУБД рекомендуют 8к. А почему именно 4к?

Можно и 8k

разве такой мелкий блок имеет смысл? дефолтный размер для zvol=8k, для filesystem=128k. Для СУБД рекомендуют 8к. А почему именно 4к?

Zvol

ок. это у меня как раз скоро начнёт тестироваться. будет с отключенной компрессией и с включенной (тестовые данные могут быть сжаты на 30%, хотя на реальных данных сжимается выше)

это уже другие оптаны. У интел целое семейство разных типов памяти называются оптаны. Это по сути обычная память, которая сохраняется при отключении. У меня обычные 900p вот сравнение первоначального теста (результирующий итог IOD=256, NUMJOBS=64): RAID-10 (4x960GB NVMe + 2x900p как SLOG (разделы по 32Гб)) Run status group 0 (all jobs): READ: bw=729MiB/s (765MB/s), 729MiB/s-729MiB/s (765MB/s-765MB/s), io=85.5GiB (91.8GB), WRITE: bw=313MiB/s (328MB/s), 313MiB/s-313MiB/s (328MB/s-328MB/s), io=36.6GiB (39.3GB), Run status group 1 (all jobs): READ: bw=476MiB/s (500MB/s), 476MiB/s-476MiB/s (500MB/s-500MB/s), io=55.8GiB (59.9GB), WRITE: bw=204MiB/s (214MB/s), 204MiB/s-204MiB/s (214MB/s-214MB/s), io=23.9GiB (25.7GB), Тот же самый тест только на обычном mirror из двух 900p (два раздела по 250Гб), SLOG не сделан: Run status group 0 (all jobs): READ: bw=311MiB/s (326MB/s), 311MiB/s-311MiB/s (326MB/s-326MB/s), io=36.5GiB (39.2GB) WRITE: bw=133MiB/s (140MB/s), 133MiB/s-133MiB/s (140MB/s-140MB/s), io=15.6GiB (16.8GB) Run status group 1 (all jobs): READ: bw=284MiB/s (298MB/s), 284MiB/s-284MiB/s (298MB/s-298MB/s), io=33.3GiB (35.8GB) WRITE: bw=122MiB/s (128MB/s), 122MiB/s-122MiB/s (128MB/s-128MB/s), io=14.3GiB (15.3GB) RAID10 win) p.s. остальные тесты в пути)