Georg🎞️🎥
Хм, я думал, исходники тоже пожатые
Ну массово конечно снимают сразу в h264 , но для серьёзной работы такой матерьял не используют
Ivan
Сырые исходники - как раз не пожаты или с минимальной компрессией, не путайте с видосиками с торентов
оффтоп вопрос: а почему не используются налету алгоритмы сжатия без потери качества ?
Georg🎞️🎥
Видимо, в CPU всё упёрлось
Видео файл не жмётся почти, то что вы описали - это сжатие с потерей , потом туда инфы не добавишь((( Рад помочь
Fedor
может пропустил, после отключения сжатия до скольки скорость выросла?
Georg🎞️🎥
оффтоп вопрос: а почему не используются налету алгоритмы сжатия без потери качества ?
На лету где ? Камеры и используют - Apple prores 4444 например , но он все равно намного тяжлее h264
Georg🎞️🎥
может пропустил, после отключения сжатия до скольки скорость выросла?
Я точно не вспомню, но прям в разы лучше стало 👋
edo1
я правильно понимаю, что на raidz2 при ashift=12 и не может быть asize=4k? но это данные, а метаданные у меня отдельно на зеркале лежат, почему там нет блоков с asize=4k?
edo1
обновил вывод zdb по ссылке, данных стало больше, но распределение принципиально не поменялось
George
я правильно понимаю, что на raidz2 при ashift=12 и не может быть asize=4k? но это данные, а метаданные у меня отдельно на зеркале лежат, почему там нет блоков с asize=4k?
про вывод zdb не готов анализировать, но на raidz2 при ashift=12 нужно записать 1 блок данных + 2 блока parity = 12КБ минимум
George
ashift=12, почему всего 28 блока размера 4к? https://cl1p.net/uqzudfoqdkt1t
погоди, а где ты увидел что 28 блоков всего?
George
block psize lsize asize size Count Size Cum. Count Size Cum. Count Size Cum. 512: 7.67M 3.84G 3.84G 7.67M 3.84G 3.84G 0 0 0 1K: 14.6M 16.6G 20.5G 14.6M 16.6G 20.5G 0 0 0 2K: 5.94M 15.3G 35.8G 5.94M 15.3G 35.8G 0 0 0 4K: 16.9M 81.5G 117G 8.53M 51.5G 87.3G 1.90K 7.61M 7.61M
George
вот тут их гора вроде же
edo1
ну пул наполняется, поэтому цифры изменились, но не пропорции
edo1
≈2к блоков 4к из ≈80кк блоков всего, как-то неправильно
edo1
про вывод zdb не готов анализировать, но на raidz2 при ashift=12 нужно записать 1 блок данных + 2 блока parity = 12КБ минимум
ну да, я про это и написал, что для данных понятно, почему нет блоков 4к. но почему их нет в метаданных?
edo1
вот директории: 17.3M 12.1G 1.80G 6.25G 370 6.74 0.39 ZFS directory они же должны были попасть на special vdev (в котором зеркало) и создать кучу блоков размером 4к, разве нет?
George
ну да, я про это и написал, что для данных понятно, почему нет блоков 4к. но почему их нет в метаданных?
пока не понял как ты определил размеры блоков меты. емнип Block Size Histogram это про данные, но тут меня стоит перепроверить
edo1
и меня вот эта строчка смущает: 2.45M 39.5G 9.90G 19.8G 8.09K 3.99 1.24 DMU dnode что dnode они такие жирные?
edo1
пока не понял как ты определил размеры блоков меты. емнип Block Size Histogram это про данные, но тут меня стоит перепроверить
хм, действительно гистрограмма только про данные. непонятно, зачем так, ну да ладно
edo1
тогда первый вопрос снимается
George
хм, действительно гистрограмма только про данные. непонятно, зачем так, ну да ладно
емнип мета не поблочно же хранится, а более эффективно, иначе бы была жопа по утилизации пространства
edo1
ну у меня жопа и есть, в общем-то ) https://cl1p.net/uqzcxjnihnqow утилизация special vdev в процентах куда больше, чем основного. куча мелких файлов, да. вот думаю, что с этим можно сделать
George
ну у меня жопа и есть, в общем-то ) https://cl1p.net/uqzcxjnihnqow утилизация special vdev в процентах куда больше, чем основного. куча мелких файлов, да. вот думаю, что с этим можно сделать
ну меньше 2% на мету в пуле, в целом это ожидаемо и средне для zfs сейчас. Или ты мелкие файлы на special хранишь и это стреляет?
edo1
нет, файлы не храню судя по выводу zdb, там как раз dnode+directory
George
кстати, вот разбор размера меты per file https://github.com/openzfs/zfs/issues/8771#issuecomment-495811601
George
и на нативном шифровании со сжатием начинаются нюансы, и мета занимает больше
edo1
ну меньше 2% на мету в пуле, в целом это ожидаемо и средне для zfs сейчас. Или ты мелкие файлы на special хранишь и это стреляет?
да нет, у меня обычно пул с метой вообще свободный, остаётся ешё место и на small_blocks. тут просто реально мелкие файлы, придётся на хранение в каком-нибудь zip переходить
edo1
сейчас по df на 1.3TB 80kk инод, то есть средний размер файла меньше 20кб
Alex
сейчас по df на 1.3TB 80kk инод, то есть средний размер файла меньше 20кб
https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954 По ссылке неплохой однострочный скрипт, который выдает гистограмму размеров файлов. Так что можно не средний размер
Δαρθ
Какой пробег смысл для мультимедиа включать компрессию, эти файлики и так пожаты
у меня помойку с мрз оггами и флаками процентов на 10 еще сжимает
Станислав
https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954 По ссылке неплохой однострочный скрипт, который выдает гистограмму размеров файлов. Так что можно не средний размер
Так и знал, что где-то есть готовое решение! Пол года назад долго и нудно искал, ничего толкового не нашел. Пришлось свой моноколесный придумывать
Mikhail
Привет
Mikhail
Есть ZFS пул - зеркало из 3 дисков. Приложение делает fdatasync. ZFS закончит syscall только когда все 3 зеркало будут записаны или хотя бы одно?
Georg🎞️🎥
каюсь был не прав, быстрее не стало.
Все равно 6гигабитный на будущее лучше - больше винтов навесите))
Алексей
каюсь был не прав, быстрее не стало.
В общем, ребята, раскошелился я сегодня с горя на твердотельный накопитель ADATA 250 ГБ M.2 ASWORDFISH-250G-C и переходник pci-e для него, воткнул это барахлище в сервак, зареплейсил дедуп девайс и продолжаю доливать второй прогон дедупликации (теперь я генерирую мусор с помощью /dev/zero | openssl в два потока и получается больше мусора в единицу времени) записано мусора ~26.8T размер DDT ~50.6G скорость генерации/записи мусора ~409МБ/сек скорость записи на dedup ~50МБ/сек скорость чтения на dedup ~19МБ/сек заполненность пула 64% фрагментация 0% утилизация dedup vdev ~90% результат прям бомбический
Ivan
Да, но похоже он начал проседать уже
а если дать ему передышку ?
Алексей
Дал передохнуть секунд десять, утилизация упала почти сразу. Сейчас дам полминуты ему
Алексей
Разогнался до 400
Алексей
Ну впринципе неплохо я думаю для совсем дешевого днища то
Shaker
Как и всяким Patriot burst, которые пишут про себя, что для серверов сделаны
Shaker
Мы все повыкидывали. Обходите эти диски стороной. Там не только проблема с кэшем.
Алексей
Но мне пойдёт
Shaker
периодически отваливается в работе
Shaker
и рандомные длительные таймауты
Алексей
Вот это уже критично
Shaker
В общем, все чего не надо при постоянной нагрузке
Shaker
рандомно регулярно в разных местах было
Алексей
sdd?
Shaker
sdd?
Это название устройства
Алексей
у меня оно называется как ни странно /dev/nvme0n1
Алексей
ясно
Shaker
А, ок. Могу еще поискать убитый nvme ;)
Shaker
То было ссд, но суть думаю та-же.
Алексей
спасибо я помониторю его постоянной нагрузкой)
Shaker
Из последнего было только Kingston A1000 с потерей данных
Krey
Вот это уже критично
поэтому настоящие серверные диски идут без всяких кэшей
Shaker
Ставь Optane , не ошибешься. А лучше сразу 4 шт, чтобы сразу interleaved и replicated с другими хостами.
Алексей
ага)
Алексей
в один удаленный хост под бакапы бакапов
Shaker
Тем более!
Shaker
У нас кстати на бэкапах тоже стоит оптан под кэши
Shaker
Т к оттуда развертывается сразу в бой по запросу
Алексей
это бэкап бэкапов оттуда ничего не развертывается
Shaker
Которые сейчас по 50к ? ))и то на бУ
У меня их ящик закуплен давно )) сую везде где можно )