> Я когда последний раз fio тесты гонял, его данные не жмутся для этого что-то делалось? просто по дефолту его данные как раз очень хорошо жмутся, зависит от recordsize, конечно

root@s:~# zfs get mounted,mountpoint,logicalused,logicalreferenced,compressratio,compression nvpool/test NAME PROPERTY VALUE SOURCE nvpool/test mounted yes - nvpool/test mountpoint /mnt/nvpool/test inherited from nvpool nvpool/test logicalused 1.00G - nvpool/test logicalreferenced 1.00G - nvpool/test compressratio 1.00x - nvpool/test compression zstd inherited from nvpool @scar83 Конфиг fio следующий: [global] filename=/mnt/nvpool/test/fio.file size=1G time_based runtime=10 direct=0 buffered=1 ioengine=libaio numjobs=1 [SEQ_16K_Q8] stonewall rw=read bs=16K iodepth=32 [SEQ_16K_Q1] stonewall rw=read bs=16K iodepth=1 [RND_16K_Q32] stonewall rw=randread bs=16K iodepth=32 [RND_16K_Q1] stonewall rw=randread bs=16K iodepth=1 [SEQ_16K_Q8] stonewall rw=write bs=16K iodepth=32 [SEQ_16K_Q1] stonewall rw=write bs=16K iodepth=1 [RND_16K_Q32] stonewall rw=randwrite bs=16K iodepth=32 [RND_16K_Q1] stonewall rw=randwrite bs=16K iodepth=1

@scar83 только размер файла для теста больше нужно выставить, это я сейчас прогнал так, чтобы сжатие увидеть.

@gmelikov recordsize=16k в датасете.

/report

@gmelikov recordsize=16k в датасете.

- recordsize влияет, при таком тесте должно сжаться минимум 25%, вот пример обратный, lz4, блок дефолтный (128к) $ fio --filename /tmp/test1.img --rw=write --bs=16k --size=200M --name=test ... gmelikov@minime:/tmp$ du --apparent-size ./test1.img 204800 ./test1.img gmelikov@minime:/tmp$ du ./test1.img 47197 ./test1.img

refill_buffers¶ If this option is given, fio will refill the I/O buffers on everysubmit. Only makes sense if zero_buffers isn’t specified, naturally. Defaults to being unset i.e., the buffer is only filled atinit time and the data in it is reused when possible but if any of verify, buffer_compress_percentage ordedupe_percentage are enabled then refill_buffers is also automatically enabled. scramble_buffers=bool If refill_buffers is too costly and the target is using datadeduplication, then setting this option will slightly modify the I/O buffer contents to defeat normal de-dupe attempts. This is not enough to defeatmore clever block compression attempts, but it will stop naive dedupe of blocks. Default: true. вот ключевые параметры

разовый отрезок случайных данных по размеру буффера по умолчанию будет

да, я был слишком ультимативен и там есть попытки рандома, но полагаться на несжимаемость (по дефолту) всё же нельзя

- recordsize влияет, при таком тесте должно сжаться минимум 25%, вот пример обратный, lz4, блок дефолтный (128к) $ fio --filename /tmp/test1.img --rw=write --bs=16k --size=200M --name=test ... gmelikov@minime:/tmp$ du --apparent-size ./test1.img 204800 ./test1.img gmelikov@minime:/tmp$ du ./test1.img 47197 ./test1.img

На lz4 я также проверил, не стал выкладывать, там один в один. Проверю на больших объемах сжимаемость.

https://www.youtube.com/watch?v=caUzFaLgoeA&t=187s

https://www.youtube.com/watch?v=caUzFaLgoeA&t=187s

Мощь Такое есть и в железом воплощении, кстати, вот пример на фото: 6 млн айопсов, 35 гиг в секунду и задержки ниже чем у Оптана - и зовётся оно Atto SiliconDisk

Мощь Такое есть и в железом воплощении, кстати, вот пример на фото: 6 млн айопсов, 35 гиг в секунду и задержки ниже чем у Оптана - и зовётся оно Atto SiliconDisk

О, это для видеомонтажа штука ))) типа буфера что ли быстрого 🤔

Мощь Такое есть и в железом воплощении, кстати, вот пример на фото: 6 млн айопсов, 35 гиг в секунду и задержки ниже чем у Оптана - и зовётся оно Atto SiliconDisk

Но похоже что в случае с zfs эту штуку заменит тупо много оперативы :))))🤷🏻‍♂️

Но похоже что в случае с zfs эту штуку заменит тупо много оперативы :))))🤷🏻‍♂️

Сброс с оперативы в пул всё равно нужен, а при большой нагрузке заметно замедлится запись. К тому же ресурс неограниченный у оперативы в этих модулях

Сброс с оперативы в пул всё равно нужен, а при большой нагрузке заметно замедлится запись. К тому же ресурс неограниченный у оперативы в этих модулях

А у нас типа ограничен ? ))) таже оператива🤔 запись воооще не волнует - речь о чтение .. я вот фиг знает - 512 … проще сервер расширить наверно до 700 или полтро теров - atto оч дорогин девайсы ((( ну или это способ увеличить скорости доступа, когда уже у себя оперативы максимум ))

А у нас типа ограничен ? ))) таже оператива🤔 запись воооще не волнует - речь о чтение .. я вот фиг знает - 512 … проще сервер расширить наверно до 700 или полтро теров - atto оч дорогин девайсы ((( ну или это способ увеличить скорости доступа, когда уже у себя оперативы максимум ))

Кого запись не волнует?)

Кого запись не волнует?)

В видео производстве

Т.е. в видеопроизводстве редко что-то пишется? Или же редко, но метко?)) Я полагаю, что объемы записанных данных в день там не малые.

Т.е. в видеопроизводстве редко что-то пишется? Или же редко, но метко?)) Я полагаю, что объемы записанных данных в день там не малые.

скорее всего процесс такой, что дампят данные с камеры, что не очень принципиально сколько занимает по времени, а потом при монтаже только чтение, пока финал не рендерится, что тоже не очень важно сколько времени происходит

Т.е. в видеопроизводстве редко что-то пишется? Или же редко, но метко?)) Я полагаю, что объемы записанных данных в день там не малые.

Никакие … маваалкий файл в пару мегов - проект , результат работы . Много пишите на стадии загрузки исходников в хранилище …👋Типа привезли несколько терабайт - вы их скопировали и работаете.

скорее всего процесс такой, что дампят данные с камеры, что не очень принципиально сколько занимает по времени, а потом при монтаже только чтение, пока финал не рендерится, что тоже не очень важно сколько времени происходит

Верно 👍 но рендер быстрый тоже нужен , когда пачку финалов отдать надо , но да , терпимо

Никакие … маваалкий файл в пару мегов - проект , результат работы . Много пишите на стадии загрузки исходников в хранилище …👋Типа привезли несколько терабайт - вы их скопировали и работаете.

Т.е. по окончании монтажа в хранилище не сохраняется какой-то видео файл?

Верно 👍 но рендер быстрый тоже нужен , когда пачку финалов отдать надо , но да , терпимо

ну рендер всё-таки обычно в проц и видимокарту упирается, нет?

Т.е. по окончании монтажа в хранилище не сохраняется какой-то видео файл?

Нет, только файл проекта. По нему вы всегда можете посчитать либо финальное видео жирное , в зависимости от тех требований , либо как правило маленький h264 просмотровый для творческий единиц на утверждение 👋

ну рендер всё-таки обычно в проц и видимокарту упирается, нет?

В скорость линейного чтения еще .. жирные непожатые исходники требуют быстрых дисков // хранилищ

Нет, только файл проекта. По нему вы всегда можете посчитать либо финальное видео жирное , в зависимости от тех требований , либо как правило маленький h264 просмотровый для творческий единиц на утверждение 👋

Буду знать. Тогда в видеомонтаже действительно мало толку, если весь необходимый контент помешается в оперативку.

Буду знать. Тогда в видеомонтаже действительно мало толку, если весь необходимый контент помешается в оперативку.

Ну прикол в том, что не влезет :((( исходники оч тяжелые ((то есть прои монтаже самом используют пересчитанные легкие файлы, а про фин подготовке уже переходят на исходник … к примеру исходник фильма может быть 40-50 тер, какой там в оперативку :((((

Но раздавать мелкие файлы на кучу станций вполне 🤔может пойти , или у звука … у них файлу маленькие но их оч много😱😱😱

Взять бы ее пощупать … оно похоже как тоже адаптивный кэш)) судя по описанию ))

Ну прикол в том, что не влезет :((( исходники оч тяжелые ((то есть прои монтаже самом используют пересчитанные легкие файлы, а про фин подготовке уже переходят на исходник … к примеру исходник фильма может быть 40-50 тер, какой там в оперативку :((((

У ddramdisk есть готовые модули на основе ddr3 объемом 2TB. Стоит всего 2000$

У ddramdisk есть готовые модули на основе ddr3 объемом 2TB. Стоит всего 2000$

О 😱это круто … где посмотреть ?😱

О 😱это круто … где посмотреть ?😱

https://ddramdisk.store/product/ram-disk-2t/

Нет, только файл проекта. По нему вы всегда можете посчитать либо финальное видео жирное , в зависимости от тех требований , либо как правило маленький h264 просмотровый для творческий единиц на утверждение 👋

А кеш куда девать? 4к видосы требуют терабайт кешированный данных чтобы можно нормально работать с видео

Про 8к и серьезную обработку страшно думать

А кеш куда девать? 4к видосы требуют терабайт кешированный данных чтобы можно нормально работать с видео

Кэш монтажная программа делает там , где скажете 🤷🏻‍♂️обычно внешний ssd , терабайт это вы загнули ))) короче немного не так все ))

Про 8к и серьезную обработку страшно думать

Вообще пофиг ))

Кэш монтажная программа делает там , где скажете 🤷🏻‍♂️обычно внешний ssd , терабайт это вы загнули ))) короче немного не так все ))

Нет желания спорить но не думаю что ссд на пару терабайт в серьезным кино производстве можно обойтись

О 😱это круто … где посмотреть ?😱

Только они без батарейного питания. Но есть модули для DDR4, которые с LiPo аккумом сменным и даже плашки обычные вставляются. Я посчитал, можно 16ю модулями набрать 1024Гб

Нет желания спорить но не думаю что ссд на пару терабайт в серьезным кино производстве можно обойтись

Можно 🤷🏻‍♂️не создаются там кэши на кучу всего поверьте 👋 системный диск толком не можем засрать два года )) а у него жалкий терабайт ))) и еще 700 свободно )))

Только они без батарейного питания. Но есть модули для DDR4, которые с LiPo аккумом сменным и даже плашки обычные вставляются. Я посчитал, можно 16ю модулями набрать 1024Гб

А куда это подрубать ? К серверу zfs прикрутить бы ))

Только они без батарейного питания. Но есть модули для DDR4, которые с LiPo аккумом сменным и даже плашки обычные вставляются. Я посчитал, можно 16ю модулями набрать 1024Гб

Кстати, они уже в PCI-E x8. На видео как раз этот модуль

А куда это подрубать ? К серверу zfs прикрутить бы ))

Так в ОС это как обычный NVMe накопитель.

Так в ОС это как обычный NVMe накопитель.

Ооо😱😱это модно супер arc2 сделать ?😱😱😱

Можно.

Ооо😱😱это модно супер arc2 сделать ?😱😱😱

Во все свободные слоты воткнуть тоже можно))

Во все свободные слоты воткнуть тоже можно))

Заманчиво 😱… но вот будет ли веселее , чем хороший u2 ssd

Заманчиво 😱… но вот будет ли веселее , чем хороший u2 ssd

Думаю, что в разы веселее, если узкое горлышко в нём

Можно 🤷🏻‍♂️не создаются там кэши на кучу всего поверьте 👋 системный диск толком не можем засрать два года )) а у него жалкий терабайт ))) и еще 700 свободно )))

Опаздал лет на 10 с каментом

Опаздал лет на 10 с каментом

Не понял …🤷🏻‍♂️

Думаю, что в разы веселее, если узкое горлышко в нём

Не … в нем вряд ли

Добрый день , подскажите пожалуйста как посмотреть текущее значение ashift?

Добрый день , подскажите пожалуйста как посмотреть текущее значение ashift?

Любые свойства можно посмотреть командами: zpool get all <pool> zfs get all <pool>/<dataset> Только ashift: zpool get ashift <pool>

Любые свойства можно посмотреть командами: zpool get all <pool> zfs get all <pool>/<dataset> Только ashift: zpool get ashift <pool>

Ааа прошу прощения, туплю))

Zpool же))

А дефолтное значение 9?

А дефолтное значение 9?

Кажется zfs выбирает его при создании пула на основании данных о дисках

Кажется zfs выбирает его при создании пула на основании данных о дисках

Это понятно, а как узнать что он выбрал?) по размеру сектора диска?)

Это понятно, а как узнать что он выбрал?) по размеру сектора диска?)

zdb -C <pool> | grep ashift

zdb -C <pool> | grep ashift

Спасибо)))

https://ddramdisk.store/product/ram-disk-2t/

Интересно , zfs это схавает как ssd pci ?🤔

Интересно , zfs это схавает как ssd pci ?🤔

Так я же выше писал, что для ОС это обычный NVMe

Вообще у них на главной странице расписано. Плюс на хабре есть статья за 21й год

Так я же выше писал, что для ОС это обычный NVMe

Для любой ?

Так я же выше писал, что для ОС это обычный NVMe

Вот такую хочу )))😱

Для любой ?

Во главе устройства (с DDR3) чип от NVMe накопителя Sandisk

Во главе устройства (с DDR3) чип от NVMe накопителя Sandisk

Оооо спасибо

Они обманули чип, чтобы он думал, что с nand работает

Вот такую хочу )))😱

В таком объем меньше будет, как я понял. По идее 512Гб

В таком объем меньше будет, как я понял. По идее 512Гб

Этот хватит 500-700 в сервер и еще 500 на этой штуке

Заявляют, что без внешнего питания аккумулятора хватит на год хранения инфы

Заявляют, что без внешнего питания аккумулятора хватит на год хранения инфы

Меня волнует как кэш))) объем все равно смешной для серьёзной работы , а вот чтение рандомное😱😱😱

Заявляют, что без внешнего питания аккумулятора хватит на год хранения инфы

Ну и это конечно же чушь) Даже если будет установлена одна плашка с энергопотреблением в 0.5Вт протянет она не больше суток

Ну и это конечно же чушь) Даже если будет установлена одна плашка с энергопотреблением в 0.5Вт протянет она не больше суток

когда оно работает, то питание с сервера идет. а когда сервер выключен, то нужно куда меньше мощности на поддержание заряда.

когда оно работает, то питание с сервера идет. а когда сервер выключен, то нужно куда меньше мощности на поддержание заряда.

По этому я и взял в 0.5Вт, а не 4Вт

можно взять хоть 0.05 Вт, сути того, что это чушь - не изменит)

Заявляют, что без внешнего питания аккумулятора хватит на год хранения инфы

В ддр разве стабильна для длительного хранения данных?

Как быстро там данные в кашу превратятся

Там регенерация вроде бы должна решать этот вопрос

У тебя компьютер ведь нечасто биты теряет