а как получить список меток?

смотреть в эту сторону https://serverfault.com/questions/1002890/get-array-of-latest-txg-values-and-uberblocks-using-zdb-on-a-zfs-pool

шифровальщик зашифровал шару на старом Freenas, а админ настроил снимки на корневой датасет, вместо рабочего вложенного... Может получится что то вытащить

сколько секунд после экспорта прошло? просто если сутками измеряется, то шансы ничтожны, по умолчанию 100 чтоли txg хранятся, или даже меньше

Насколько я знаю, этот файловый сервер отключили сразу как нашли что файлы стали зашифрованы

Насколько я знаю, этот файловый сервер отключили сразу как нашли что файлы стали зашифрованы

на родительский датасет НЕрекурсивно, что ли?

Должно было быть + - одинаково)) поэтому и говорю, что в один поток и сам зфс работает норм

поднял архивы fio: это для глубины 16 и кол-ва джоб 1,8,64. выполняется два теста (файлы фио выкладывал тут в группе): RandRW (70/30) и такой же RandRW (70/30), но с fsync=1 ==== IOD 16-J1 Run status group 0 (all jobs): READ: bw=232MiB/s (243MB/s), 232MiB/s-232MiB/s (243MB/s-243MB/s), io=22.4GiB (24.1GB), run=99039-99039msec WRITE: bw=99.3MiB/s (104MB/s), 99.3MiB/s-99.3MiB/s (104MB/s-104MB/s), io=9831MiB (10.3GB), run=99039-99039msec Run status group 1 (all jobs): READ: bw=126MiB/s (132MB/s), 126MiB/s-126MiB/s (132MB/s-132MB/s), io=14.7GiB (15.8GB), run=120003-120003msec WRITE: bw=53.0MiB/s (56.6MB/s), 53.0MiB/s-53.0MiB/s (56.6MB/s-56.6MB/s), io=6476MiB (6791MB), run=120003-120003msec ==== IOD 16-J8 Run status group 0 (all jobs): READ: bw=588MiB/s (616MB/s), 588MiB/s-588MiB/s (616MB/s-616MB/s), io=68.9GiB (73.9GB), run=120002-120002msec WRITE: bw=252MiB/s (264MB/s), 252MiB/s-252MiB/s (264MB/s-264MB/s), io=29.5GiB (31.7GB), run=120002-120002msec Run status group 1 (all jobs): READ: bw=308MiB/s (323MB/s), 308MiB/s-308MiB/s (323MB/s-323MB/s), io=36.1GiB (38.8GB), run=120001-120001msec WRITE: bw=132MiB/s (138MB/s), 132MiB/s-132MiB/s (138MB/s-138MB/s), io=15.5GiB (16.6GB), run=120001-120001msec ==== IOD 16-J64 Run status group 0 (all jobs): READ: bw=534MiB/s (560MB/s), 534MiB/s-534MiB/s (560MB/s-560MB/s), io=62.6GiB (67.2GB), run=120007-120007msec WRITE: bw=229MiB/s (240MB/s), 229MiB/s-229MiB/s (240MB/s-240MB/s), io=26.8GiB (28.8GB), run=120007-120007msec Run status group 1 (all jobs): READ: bw=502MiB/s (527MB/s), 502MiB/s-502MiB/s (527MB/s-527MB/s), io=58.9GiB (63.2GB), run=120003-120003msec WRITE: bw=215MiB/s (226MB/s), 215MiB/s-215MiB/s (226MB/s-226MB/s), io=25.2GiB (27.1GB), run=120003-120003msec

Приветствую, Сергей! А что у вас такое груп 0 и груп 1?

group 0 - randrw, 1 - randrw + fsync=1

поднял архивы fio: это для глубины 16 и кол-ва джоб 1,8,64. выполняется два теста (файлы фио выкладывал тут в группе): RandRW (70/30) и такой же RandRW (70/30), но с fsync=1 ==== IOD 16-J1 Run status group 0 (all jobs): READ: bw=232MiB/s (243MB/s), 232MiB/s-232MiB/s (243MB/s-243MB/s), io=22.4GiB (24.1GB), run=99039-99039msec WRITE: bw=99.3MiB/s (104MB/s), 99.3MiB/s-99.3MiB/s (104MB/s-104MB/s), io=9831MiB (10.3GB), run=99039-99039msec Run status group 1 (all jobs): READ: bw=126MiB/s (132MB/s), 126MiB/s-126MiB/s (132MB/s-132MB/s), io=14.7GiB (15.8GB), run=120003-120003msec WRITE: bw=53.0MiB/s (56.6MB/s), 53.0MiB/s-53.0MiB/s (56.6MB/s-56.6MB/s), io=6476MiB (6791MB), run=120003-120003msec ==== IOD 16-J8 Run status group 0 (all jobs): READ: bw=588MiB/s (616MB/s), 588MiB/s-588MiB/s (616MB/s-616MB/s), io=68.9GiB (73.9GB), run=120002-120002msec WRITE: bw=252MiB/s (264MB/s), 252MiB/s-252MiB/s (264MB/s-264MB/s), io=29.5GiB (31.7GB), run=120002-120002msec Run status group 1 (all jobs): READ: bw=308MiB/s (323MB/s), 308MiB/s-308MiB/s (323MB/s-323MB/s), io=36.1GiB (38.8GB), run=120001-120001msec WRITE: bw=132MiB/s (138MB/s), 132MiB/s-132MiB/s (138MB/s-138MB/s), io=15.5GiB (16.6GB), run=120001-120001msec ==== IOD 16-J64 Run status group 0 (all jobs): READ: bw=534MiB/s (560MB/s), 534MiB/s-534MiB/s (560MB/s-560MB/s), io=62.6GiB (67.2GB), run=120007-120007msec WRITE: bw=229MiB/s (240MB/s), 229MiB/s-229MiB/s (240MB/s-240MB/s), io=26.8GiB (28.8GB), run=120007-120007msec Run status group 1 (all jobs): READ: bw=502MiB/s (527MB/s), 502MiB/s-502MiB/s (527MB/s-527MB/s), io=58.9GiB (63.2GB), run=120003-120003msec WRITE: bw=215MiB/s (226MB/s), 215MiB/s-215MiB/s (226MB/s-226MB/s), io=25.2GiB (27.1GB), run=120003-120003msec

А какой блок и иопсы не вижу

там боьшая портянка, сейчас и ту часть выложу тогда

Ну и тут уже вижу, что на 16 джобах падение

Ну и тут уже вижу, что на 16 джобах падение

? J1: group 0 read: IOPS=29.6k, BW=232MiB/s (243MB/s)(22.4GiB/99039msec) write: IOPS=12.7k, BW=99.3MiB/s (104MB/s)(9831MiB/99039msec); 0 zone resets group 1 read: IOPS=16.1k, BW=126MiB/s (132MB/s)(14.7GiB/120003msec) write: IOPS=6907, BW=53.0MiB/s (56.6MB/s)(6476MiB/120003msec); 0 zone resets J8: group 0 read: IOPS=75.2k, BW=588MiB/s (616MB/s)(68.9GiB/120002msec) write: IOPS=32.2k, BW=252MiB/s (264MB/s)(29.5GiB/120002msec); 0 zone resets group 1 read: IOPS=39.4k, BW=308MiB/s (323MB/s)(36.1GiB/120001msec) write: IOPS=16.9k, BW=132MiB/s (138MB/s)(15.5GiB/120001msec); 0 zone resets

Ну этож о чем я и говорил((( 40киопс с нвме - это ахтунг(((

Ну этож о чем я и говорил((( 40киопс с нвме - это ахтунг(((

в одном потоке). Зачем эксплуатировать ZFS и такие быстрые диски в одном потоке?

на голом диске эти тесты сколько кажут ?

в одном потоке). Зачем эксплуатировать ZFS и такие быстрые диски в одном потоке?

+ латенси я смотрю средняя стремится к 1мс

сжатие влияет на латенси

Сжатие чего? Я думаю тест честный без вкл.компрессии

Сжатие чего? Я думаю тест честный без вкл.компрессии

а вот это я и не помню точно

в зфс то включено или нет ?

))) с сжатием иопсов больше в тестах кажут)) но результаты все равно лучше чем у меня на оптане🤔не понимаю как так

в зфс то включено или нет ?

zfs на двух оптанах в зеркале? 905p?

У меня p4800 , если память не изменяет

тоже ZFS?

на голом диске с такой же глубиной очереди (16)

У меня p4800 , если память не изменяет

Ну т.е разница от голова диска в 10 раз

отличная модель. У меня были только в реальном опыте 900p, я их под SLOG делал и под временные файлы остаток разделов в страйп 0 делал.

скорее в 3

Ну где же 500 киопс, против 50

я на fsync=1 смотрю, мне именно этот тип записи больше всего интересует (у меня постгрес)

Ну где же 500 киопс, против 50

770 против 100

770 против 100

770 против 100

А я без))

в zfs sync включен был при тестах ?

смотрю на тесты с recsize=16k, там уже лучше показатели (без fsync). Интересно на каком же тогда рексайз это я тестировал..... это 16k recsize и IOD16, J8

В арк не лег?))

сомневаюсь, там одновременно много же джоб запускалось. Из арк там бы скорость была на "миллионы", 48 ядер на машине

Осталось только повторить)) но я и рекордсайз уменьшал, особо не помогло

а в голую сколько показывают 4800?

а в голую сколько показывают 4800?

а с ext4 vs zfs сравнивали?

а с ext4 vs zfs сравнивали?

Нет еще , с lvm хочу сравнить

как блочные устройства?