Хм, я думал, исходники тоже пожатые

Ну массово конечно снимают сразу в h264 , но для серьёзной работы такой матерьял не используют

Сырые исходники - как раз не пожаты или с минимальной компрессией, не путайте с видосиками с торентов

Видимо, в CPU всё упёрлось

оффтоп вопрос: а почему не используются налету алгоритмы сжатия без потери качества ?

может пропустил, после отключения сжатия до скольки скорость выросла?

ashift=12, почему всего 28 блока размера 4к? https://cl1p.net/uqzudfoqdkt1t

я правильно понимаю, что на raidz2 при ashift=12 и не может быть asize=4k? но это данные, а метаданные у меня отдельно на зеркале лежат, почему там нет блоков с asize=4k?

ashift=12, почему всего 28 блока размера 4к? https://cl1p.net/uqzudfoqdkt1t

про вывод zdb не готов анализировать, но на raidz2 при ashift=12 нужно записать 1 блок данных + 2 блока parity = 12КБ минимум

ну да, я про это и написал, что для данных понятно, почему нет блоков 4к. но почему их нет в метаданных?

пока не понял как ты определил размеры блоков меты. емнип Block Size Histogram это про данные, но тут меня стоит перепроверить

и меня вот эта строчка смущает: 2.45M 39.5G 9.90G 19.8G 8.09K 3.99 1.24 DMU dnode что dnode они такие жирные?

хм, действительно гистрограмма только про данные. непонятно, зачем так, ну да ладно

ну у меня жопа и есть, в общем-то ) https://cl1p.net/uqzcxjnihnqow утилизация special vdev в процентах куда больше, чем основного. куча мелких файлов, да. вот думаю, что с этим можно сделать

ну меньше 2% на мету в пуле, в целом это ожидаемо и средне для zfs сейчас. Или ты мелкие файлы на special хранишь и это стреляет?

сейчас по df на 1.3TB 80kk инод, то есть средний размер файла меньше 20кб

Какой пробег смысл для мультимедиа включать компрессию, эти файлики и так пожаты

https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954 По ссылке неплохой однострочный скрипт, который выдает гистограмму размеров файлов. Так что можно не средний размер

Есть ZFS пул - зеркало из 3 дисков. Приложение делает fdatasync. ZFS закончит syscall только когда все 3 зеркало будут записаны или хотя бы одно?

sync в каком значение стоит?

В смысле , голословно??? Я вам рассказал - почему нет 8 дисков не выжрут sas1 подключение 😱Зачем проверять, когда понятно из спецификации Чтобы на 6 гигабитах увидеть - вам бы дисков 10-12 повестить🤷🏻‍♂️ Ну и да - на sas1 8 винтов hdd норм

каюсь был не прав, быстрее не стало.

каюсь был не прав, быстрее не стало.

В общем, ребята, раскошелился я сегодня с горя на твердотельный накопитель ADATA 250 ГБ M.2 ASWORDFISH-250G-C и переходник pci-e для него, воткнул это барахлище в сервак, зареплейсил дедуп девайс и продолжаю доливать второй прогон дедупликации (теперь я генерирую мусор с помощью /dev/zero | openssl в два потока и получается больше мусора в единицу времени) записано мусора ~26.8T размер DDT ~50.6G скорость генерации/записи мусора ~409МБ/сек скорость записи на dedup ~50МБ/сек скорость чтения на dedup ~19МБ/сек заполненность пула 64% фрагментация 0% утилизация dedup vdev ~90% результат прям бомбический

В общем, ребята, раскошелился я сегодня с горя на твердотельный накопитель ADATA 250 ГБ M.2 ASWORDFISH-250G-C и переходник pci-e для него, воткнул это барахлище в сервак, зареплейсил дедуп девайс и продолжаю доливать второй прогон дедупликации (теперь я генерирую мусор с помощью /dev/zero | openssl в два потока и получается больше мусора в единицу времени) записано мусора ~26.8T размер DDT ~50.6G скорость генерации/записи мусора ~409МБ/сек скорость записи на dedup ~50МБ/сек скорость чтения на dedup ~19МБ/сек заполненность пула 64% фрагментация 0% утилизация dedup vdev ~90% результат прям бомбический

Выходит, запись в пул увеличилась более чем в два раза только за счёт замены дедуп-девайса?

Да, но похоже он начал проседать уже

О, я знаю этот ССД, ставил такие в десктопы и ноуты в рамках тыжпрограммирования У него контроллер работает так, что до трети объёма памяти имитируют SLC, что хорошо Но с другой стороны нет DRAM-кэша. Интересно, это роляет ли в данном случае

Ну впринципе неплохо я думаю для совсем дешевого днища то

Такому диску не место в серверах

Мы все повыкидывали. Обходите эти диски стороной. Там не только проблема с кэшем.

В общем, ребята, раскошелился я сегодня с горя на твердотельный накопитель ADATA 250 ГБ M.2 ASWORDFISH-250G-C и переходник pci-e для него, воткнул это барахлище в сервак, зареплейсил дедуп девайс и продолжаю доливать второй прогон дедупликации (теперь я генерирую мусор с помощью /dev/zero | openssl в два потока и получается больше мусора в единицу времени) записано мусора ~26.8T размер DDT ~50.6G скорость генерации/записи мусора ~409МБ/сек скорость записи на dedup ~50МБ/сек скорость чтения на dedup ~19МБ/сек заполненность пула 64% фрагментация 0% утилизация dedup vdev ~90% результат прям бомбический

sdd?

у меня оно называется как ни странно /dev/nvme0n1

Вот это уже критично

Ставь Optane , не ошибешься. А лучше сразу 4 шт, чтобы сразу interleaved и replicated с другими хостами.

Которые сейчас по 50к ? ))и то на бУ