Мне нечего больше Вам добавить. Ответ на Ваш вопрос - после zpool upgrade Вы не можете делать даунгрейд

Мне нечего больше Вам добавить. Ответ на Ваш вопрос - после zpool upgrade Вы не можете делать даунгрейд

Я это понял, да. Будем это учитывать при риск-менеджменте.

Они таки решились использовать OpenZFS https://www.youtube.com/watch?v=pLC0FUnko-M

Они таки решились использовать OpenZFS https://www.youtube.com/watch?v=pLC0FUnko-M

Трунас )) хехе

да, они осилили только окошки

Сперва я хотел было узнать а что по отказоустойчивости, а потом увидел, что это для архивов

Кстати. Пока вчера обсуждали io_uring стало интересно. https://github.com/openzfs/zfs/issues/8716 Я смотрю он не особо планируется?

Компрессию на ZoL нельзя включить при создании пула? root@nvme-iser:/# zpool create -o ashift=12 -o compression=lz4 -o atime=off -o recordsize=64k nvme mirror /dev/nvme0n1 /dev/nvme1n1 mirror /dev/nvme3n1 /dev/nvme5n1 -f property 'compression' is not a valid pool property И гугл мне выдаёт только пост 15 летней давности

Компрессию на ZoL нельзя включить при создании пула? root@nvme-iser:/# zpool create -o ashift=12 -o compression=lz4 -o atime=off -o recordsize=64k nvme mirror /dev/nvme0n1 /dev/nvme1n1 mirror /dev/nvme3n1 /dev/nvme5n1 -f property 'compression' is not a valid pool property И гугл мне выдаёт только пост 15 летней давности

Используй О-большое, а у тебя маленькая о.

zpool create -o ashift=12 -O compression=lz4 -O atime=off -O recordsize=64k nvme mirror -f /dev/nvme0n1p3 /dev/sda6

zpool create -o ashift=12 -O compression=lz4 -O atime=off -O recordsize=64k nvme mirror -f /dev/nvme0n1p3 /dev/sda6

Работает.

The more you know https://www.reddit.com/r/zfs/comments/i37ks4/o_or_o/

Компрессию на ZoL нельзя включить при создании пула? root@nvme-iser:/# zpool create -o ashift=12 -o compression=lz4 -o atime=off -o recordsize=64k nvme mirror /dev/nvme0n1 /dev/nvme1n1 mirror /dev/nvme3n1 /dev/nvme5n1 -f property 'compression' is not a valid pool property И гугл мне выдаёт только пост 15 летней давности

А не в ZoL можно сжатие на уровне всего пула включить? Я что-то как ни гуглил, находил только про сжатие на уровне каджого датасета.

Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере

Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере

Ну так медиа и так пожата, более эффективными кодеками и жать смысла нет. А у вас сжатие lz4 стоит?

Ну так медиа и так пожата, более эффективными кодеками и жать смысла нет. А у вас сжатие lz4 стоит?

Нет, сырая лежит, не пожатая Нет, все отключено, иначе не возможно в видео редакторах работать

Нет, сырая лежит, не пожатая Нет, все отключено, иначе не возможно в видео редакторах работать

Понятно.

А не в ZoL можно сжатие на уровне всего пула включить? Я что-то как ни гуглил, находил только про сжатие на уровне каджого датасета.

Я уточнить, потому что использую ZoL

Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере

Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)

Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)

Это называется ZFS на FreeBSD* И то и другое OpenZFS сейчас

Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)

Ну закиньте не сериалы, а сырой материял с камер , откройте в видеоредакторе - тогда удивитесь Мы о разных вещах говорим с вами

Тем не менее миграцию на OpenZFS я не выполнял, пользуюсь пока встроенной в 12 FreeBSD

Хз, у меня компрессия вкл на датасете с фильмами и сериалами - всё летает (правда там не zfs open а фряшная)

Кстати фильмы ваши уже пожаты в h264 и далее не сожмутся

Кстати фильмы ваши уже пожаты в h264 и далее не сожмутся

Я это прекрасно понимаю

Ну закиньте не сериалы, а сырой материял с камер , откройте в видеоредакторе - тогда удивитесь Мы о разных вещах говорим с вами

Эрм, а может Вы использовали HDD?

Эрм, а может Вы использовали HDD?

Да, 50 штук hdd

Тогда вопросов нет

Тогда вопросов нет

Вы мне хотите сказать, мол перейди на ssd ? ))) но.. вы не сожмёте видео во первых, а во вторых - при хранении сотен теров, ssd мне не пл карману

Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере

Медиа файлы разные бывают

Медиа файлы разные бывают

Я специально уточнил - сырое видео , исходники , не мувки с сериалами ☝🏻вы невнимательно читали ))

Я специально уточнил - сырое видео , исходники , не мувки с сериалами ☝🏻вы невнимательно читали ))

Да ладно?

Да ладно?

Точно говорю, если дальше читать ))))

Там небось доступ по нетюнингованной самбе

А типа если ее потюнить, процы сервера начнут что ли волшебно в онлайне распаковывать терабайты видео ? По вашей логике

Точно говорю, если дальше читать ))))

Я про вашу изначальную фразу

Я про вашу изначальную фразу

Ну тут же вечно простыни переписок 👋

А типа если ее потюнить, процы сервера начнут что ли волшебно в онлайне распаковывать терабайты видео ? По вашей логике

У вас сервак во что упирается? Судя по тексту только в канал

Пока что одно

В другой слот воткнуть?

В другой слот воткнуть?

А) это не совсем с этим связано. При повышении размера блока соседние nvme диски растут по скорости (а трансендед нет) Б) все слоты pcie (кроме одного) и ещё множество периферии заведены на cpu1

/report

@gmelikov

У вас сервак во что упирается? Судя по тексту только в канал

По моему вы не во мной ))) у меня не упирается в канал )

Я специально уточнил - сырое видео , исходники , не мувки с сериалами ☝🏻вы невнимательно читали ))

мы уже выясняли вроде - у тебя не сырое видео

Посему компрессия действительно бессмысленна, хоть на самом деле и никак не повредит, если железо не днищенское

мы уже выясняли вроде - у тебя не сырое видео

Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))

Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))

видео в каком формате?

Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))

вы там в видеопроизводствах можете что угодно и как угодно называть, сути это не изменит)

если формат не предпологает сжатия сам по себе то может zfs сможет их сжать, надо тестить

Так… в видео производстве такое видео зовут сырым ))) более качественного нет )) не цепляйся к формулировкам ) нет более сырого, чем это ))

Я думал сырое, это просто сырой поток даннх, не сжатый никаким кодеком, как к примеру, тот же fraps снимает по умолчанию.

видео в каком формате?

Arri Raw, r3d, Apple prores 4444

Arri Raw, r3d, Apple prores 4444

че то на монтажном, лучше просто протестить на ваших данных

че то на монтажном, лучше просто протестить на ваших данных

Что вы имеет ввиду ? Не совсем понял

Arri Raw, r3d, Apple prores 4444

braw ещё забыл и exr секвенции))

braw ещё забыл и exr секвенции))

Braw это типа raw на сдачу )) exr сырые не храним - высчитываемся из исходников для определённого вида работ 👋

Эти по идее должны жаться, но кмк хуже чем специализированным кодеком. Да и если скорость главное, не надо сжимать такое.

Эти по идее должны жаться, но кмк хуже чем специализированным кодеком. Да и если скорость главное, не надо сжимать такое.

Нет, не жмётся … пересчитывается в более лёгкие с потерей - сжать, нет Ну на 0000 какую то процента не считаю сжатием

Я имел ввиду сжатие самой ФС. Там по типу архивации процесс. Выискивание одинаковых кусков и замена на ссылки. Понятно, что в видео потоке сплошной хаос, но все же, пару процентов даже фильмы 7зип сжимает таки после Н264))

Тем более что у вас там линейная скорость считывания наверное важна. Сплошными потоками. А сжатие больше на мелочевке хорошо добавляет скорости.

Я имел ввиду сжатие самой ФС. Там по типу архивации процесс. Выискивание одинаковых кусков и замена на ссылки. Понятно, что в видео потоке сплошной хаос, но все же, пару процентов даже фильмы 7зип сжимает таки после Н264))

пару процентов это ты прям много сказал)

хреновый профиль значит у этого H264

Вопрос. Пробовал на 20.04 (5.4) и на 22.04 (5.15). Кстати ZoL очень хорошо переживает мажорное обновление Есть диск NVMe (форматирован в 512б), который при randwrite direct=1, buf=0, inval=1, bs=8k, iodepth=32, выдаёт 1600 MiB/s Когда на него делается strip zpool: zpool create -o ashift=9 -O compression=lz4 -O atime=off -O recordsize=64k nvme /dev/nvme0n1 Я получаю 147MiB Когда делаю: zpool create -o ashift=9 -O compression=lz4 -O atime=off -O recordsize=8k nvme /dev/nvme0n1 Получаю: 349 MiB/s what the hell? Судя по гуглу - с этим кто-то сталкиваться, но ответы идут из разряда - у вас диск гавно

хреновый профиль значит у этого H264

Просто он большой)))) BDRemux ))

Тем более что у вас там линейная скорость считывания наверное важна. Сплошными потоками. А сжатие больше на мелочевке хорошо добавляет скорости.

Не тольое, доступ случайно есть тоже

Не тольое, доступ случайно есть тоже

Но он только на поиск кадра, потом то оттуда поток тянется

Но он только на поиск кадра, потом то оттуда поток тянется

Видимо 🤷🏻‍♂️

Получается преобладание линейного чтения

Получается преобладание линейного чтения

Да

Ну так медиа и так пожата, более эффективными кодеками и жать смысла нет. А у вас сжатие lz4 стоит?

из опыта -- помойка с мрз и оггами жмётся еще процентов на 5-10 zstd

Они таки решились использовать OpenZFS https://www.youtube.com/watch?v=pLC0FUnko-M

Они ж уже успели просрать один пул, т.к. Не следили за вылетами дисков, и собрать новый с учётом ошибок)

Если кто будет пул делать под медиа файлы - компрессия - это ад, ничего не выиграешь особо, но скорости - дно. На hdd по крайней мере

Конкретики бы, на каком io конкретно проблемы. Lz4 относительно бесплатен на сжатии несжимаемого, и такие блоки будут записаны несжатыми в итоге, т.к. Должны пожаться хотя бы на 12.5%

из опыта -- помойка с мрз и оггами жмётся еще процентов на 5-10 zstd

А в терабайтах сколько это, ваша помойка ?

Конкретики бы, на каком io конкретно проблемы. Lz4 относительно бесплатен на сжатии несжимаемого, и такие блоки будут записаны несжатыми в итоге, т.к. Должны пожаться хотя бы на 12.5%

На стандартном. Проблем хранить нет - а вот работать в монтаже видео или со звуком - говорю о проф софте - прям боль. Пул на hdd, 50 шпинделей. Возможно ssd решит проблему , но для наших объёмов и из своего кармана на ssd не потянем поднять такой объём хранилища к сожалению. Я не погруженный в консоль пользователь - через гуй по верхам чутка ))👋

А в терабайтах сколько это, ваша помойка ?

100-200гб

100-200гб

Ну я не вспомню как у нас было, может около 10, но работать было боль ((( И видел было около 100тер

На стандартном. Проблем хранить нет - а вот работать в монтаже видео или со звуком - говорю о проф софте - прям боль. Пул на hdd, 50 шпинделей. Возможно ssd решит проблему , но для наших объёмов и из своего кармана на ssd не потянем поднять такой объём хранилища к сожалению. Я не погруженный в консоль пользователь - через гуй по верхам чутка ))👋

чтение/запись каким блоком, синхронно/асинхронно начинает тормозить. Ну и есть ли запас по cpu на сервере, если вообще нет, то тогда понятно

чтение/запись каким блоком, синхронно/асинхронно начинает тормозить. Ну и есть ли запас по cpu на сервере, если вообще нет, то тогда понятно

Cpu вообще редко выше 8-10 процентов грузятся 🤷🏻‍♂️ их два. 128к блоки - надо б 1м поставить, как пауза будет 🤔

Cpu вообще редко выше 8-10 процентов грузятся 🤷🏻‍♂️ их два. 128к блоки - надо б 1м поставить, как пауза будет 🤔

Зачем пауза? На лету меняется, новые данные с новым блоком запишутся

Зачем пауза? На лету меняется, новые данные с новым блоком запишутся

А старые б )))

а зфс жмет до распределения блока по дискам или после? если до то может начать упираться в цпу

На стандартном. Проблем хранить нет - а вот работать в монтаже видео или со звуком - говорю о проф софте - прям боль. Пул на hdd, 50 шпинделей. Возможно ssd решит проблему , но для наших объёмов и из своего кармана на ssd не потянем поднять такой объём хранилища к сожалению. Я не погруженный в консоль пользователь - через гуй по верхам чутка ))👋

А такой объём не обязательно, так как SSD можно использовать для ZIL