Vladislav
Мне нечего больше Вам добавить. Ответ на Ваш вопрос - после zpool upgrade Вы не можете делать даунгрейд
Vladislav
Они таки решились использовать OpenZFS https://www.youtube.com/watch?v=pLC0FUnko-M
Vladislav
да, они осилили только окошки
Vladislav
Сперва я хотел было узнать а что по отказоустойчивости, а потом увидел, что это для архивов
Vladislav
Кстати. Пока вчера обсуждали io_uring стало интересно. https://github.com/openzfs/zfs/issues/8716 Я смотрю он не особо планируется?
Vladislav
Компрессию на ZoL нельзя включить при создании пула? root@nvme-iser:/# zpool create -o ashift=12 -o compression=lz4 -o atime=off -o recordsize=64k nvme mirror /dev/nvme0n1 /dev/nvme1n1 mirror /dev/nvme3n1 /dev/nvme5n1 -f property 'compression' is not a valid pool property И гугл мне выдаёт только пост 15 летней давности
Wild_Wind
zpool create -o ashift=12 -O compression=lz4 -O atime=off -O recordsize=64k nvme mirror -f /dev/nvme0n1p3 /dev/sda6
Vladislav
The more you know https://www.reddit.com/r/zfs/comments/i37ks4/o_or_o/
Georg🎞️🎥
Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере
Wild_Wind
Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере
Ну так медиа и так пожата, более эффективными кодеками и жать смысла нет. А у вас сжатие lz4 стоит?
Georg🎞️🎥
Ну так медиа и так пожата, более эффективными кодеками и жать смысла нет. А у вас сжатие lz4 стоит?
Нет, сырая лежит, не пожатая Нет, все отключено, иначе не возможно в видео редакторах работать
Egor
Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере
Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)
Georg🎞️🎥
Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)
Ну закиньте не сериалы, а сырой материял с камер , откройте в видеоредакторе - тогда удивитесь Мы о разных вещах говорим с вами
Egor
Тем не менее миграцию на OpenZFS я не выполнял, пользуюсь пока встроенной в 12 FreeBSD
Vladislav
Тогда вопросов нет
Georg🎞️🎥
Тогда вопросов нет
Вы мне хотите сказать, мол перейди на ssd ? ))) но.. вы не сожмёте видео во первых, а во вторых - при хранении сотен теров, ssd мне не пл карману
Georg🎞️🎥
Медиа файлы разные бывают
Я специально уточнил - сырое видео , исходники , не мувки с сериалами ☝🏻вы невнимательно читали ))
Georg🎞️🎥
Да ладно?
Точно говорю, если дальше читать ))))
Vladislav
Там небось доступ по нетюнингованной самбе
Georg🎞️🎥
А типа если ее потюнить, процы сервера начнут что ли волшебно в онлайне распаковывать терабайты видео ? По вашей логике
Vladislav
Точно говорю, если дальше читать ))))
Я про вашу изначальную фразу
Georg🎞️🎥
Я про вашу изначальную фразу
Ну тут же вечно простыни переписок 👋
Andrey
Пока что одно
В другой слот воткнуть?
Vladislav
В другой слот воткнуть?
А) это не совсем с этим связано. При повышении размера блока соседние nvme диски растут по скорости (а трансендед нет) Б) все слоты pcie (кроме одного) и ещё множество периферии заведены на cpu1
Vladislav
/report
Vladislav
@gmelikov
Georg🎞️🎥
У вас сервак во что упирается? Судя по тексту только в канал
По моему вы не во мной ))) у меня не упирается в канал )
Aba
Посему компрессия действительно бессмысленна, хоть на самом деле и никак не повредит, если железо не днищенское
Georg🎞️🎥
мы уже выясняли вроде - у тебя не сырое видео
Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))
central
если формат не предпологает сжатия сам по себе то может zfs сможет их сжать, надо тестить
Wild_Wind
Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))
Я думал сырое, это просто сырой поток даннх, не сжатый никаким кодеком, как к примеру, тот же fraps снимает по умолчанию.
Georg🎞️🎥
видео в каком формате?
Arri Raw, r3d, Apple prores 4444
central
Arri Raw, r3d, Apple prores 4444
че то на монтажном, лучше просто протестить на ваших данных
Georg🎞️🎥
Viktor
Arri Raw, r3d, Apple prores 4444
braw ещё забыл и exr секвенции))
Georg🎞️🎥
braw ещё забыл и exr секвенции))
Braw это типа raw на сдачу )) exr сырые не храним - высчитываемся из исходников для определённого вида работ 👋
LordMerlin
Эти по идее должны жаться, но кмк хуже чем специализированным кодеком. Да и если скорость главное, не надо сжимать такое.
Georg🎞️🎥
Эти по идее должны жаться, но кмк хуже чем специализированным кодеком. Да и если скорость главное, не надо сжимать такое.
Нет, не жмётся … пересчитывается в более лёгкие с потерей - сжать, нет Ну на 0000 какую то процента не считаю сжатием
LordMerlin
Я имел ввиду сжатие самой ФС. Там по типу архивации процесс. Выискивание одинаковых кусков и замена на ссылки. Понятно, что в видео потоке сплошной хаос, но все же, пару процентов даже фильмы 7зип сжимает таки после Н264))
LordMerlin
Тем более что у вас там линейная скорость считывания наверное важна. Сплошными потоками. А сжатие больше на мелочевке хорошо добавляет скорости.
Владимир
хреновый профиль значит у этого H264
Vladislav
Вопрос. Пробовал на 20.04 (5.4) и на 22.04 (5.15). Кстати ZoL очень хорошо переживает мажорное обновление Есть диск NVMe (форматирован в 512б), который при randwrite direct=1, buf=0, inval=1, bs=8k, iodepth=32, выдаёт 1600 MiB/s Когда на него делается strip zpool: zpool create -o ashift=9 -O compression=lz4 -O atime=off -O recordsize=64k nvme /dev/nvme0n1 Я получаю 147MiB Когда делаю: zpool create -o ashift=9 -O compression=lz4 -O atime=off -O recordsize=8k nvme /dev/nvme0n1 Получаю: 349 MiB/s what the hell? Судя по гуглу - с этим кто-то сталкиваться, но ответы идут из разряда - у вас диск гавно
LordMerlin
хреновый профиль значит у этого H264
Просто он большой)))) BDRemux ))
LordMerlin
Не тольое, доступ случайно есть тоже
Но он только на поиск кадра, потом то оттуда поток тянется
LordMerlin
Получается преобладание линейного чтения
Δαρθ
George
Они таки решились использовать OpenZFS https://www.youtube.com/watch?v=pLC0FUnko-M
Они ж уже успели просрать один пул, т.к. Не следили за вылетами дисков, и собрать новый с учётом ошибок)
George
Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере
Конкретики бы, на каком io конкретно проблемы. Lz4 относительно бесплатен на сжатии несжимаемого, и такие блоки будут записаны несжатыми в итоге, т.к. Должны пожаться хотя бы на 12.5%
Georg🎞️🎥
Georg🎞️🎥
Конкретики бы, на каком io конкретно проблемы. Lz4 относительно бесплатен на сжатии несжимаемого, и такие блоки будут записаны несжатыми в итоге, т.к. Должны пожаться хотя бы на 12.5%
На стандартном. Проблем хранить нет - а вот работать в монтаже видео или со звуком - говорю о проф софте - прям боль. Пул на hdd, 50 шпинделей. Возможно ssd решит проблему , но для наших объёмов и из своего кармана на ssd не потянем поднять такой объём хранилища к сожалению. Я не погруженный в консоль пользователь - через гуй по верхам чутка ))👋
Georg🎞️🎥
100-200гб
Ну я не вспомню как у нас было, может около 10, но работать было боль ((( И видел было около 100тер
Georg🎞️🎥
чтение/запись каким блоком, синхронно/асинхронно начинает тормозить. Ну и есть ли запас по cpu на сервере, если вообще нет, то тогда понятно
Cpu вообще редко выше 8-10 процентов грузятся 🤷🏻‍♂️ их два. 128к блоки - надо б 1м поставить, как пауза будет 🤔
Δαρθ
а зфс жмет до распределения блока по дискам или после? если до то может начать упираться в цпу