Fedor
Я процентов 70 у себя сделал занятыми - все прекрасно. До этого какие-то тормоза иногда бывали
Fedor
Данных
Ivan
всегда думал, что clear чисто косметическа операция
Fedor
У меня такое при извлечении л2арк бывало
Fedor
всегда думал, что clear чисто косметическа операция
Вроде как да, но фиг его знает - надо сорцы читать
Fedor
У меня потребности в такой команде не возникало ещё.
Ivan
У меня такое при извлечении л2арк бывало
ну там скорее ожидаемо, что есть чему подвиснуть.
Ivan
У меня потребности в такой команде не возникало ещё.
просто хотел оценить это проблема разовая была или постоянная. получается постоянная, т.к. ошибки опять начали расти и опять fault.
Ivan
родная тулза не признает ssd. а смарт признает.
Autumn
родная тулза не признает ssd. а смарт признает.
под виндой не пробовал? у меня похожая шняга была с самсунговским ынтерпрайзным ссд, в линухе их утиль ничего толкового о ссд не могла сказать, зато подкину в винду и все сразу стало видно и износ и состояние и температура.
Autumn
соседний девайс нормально определяется тулзой.
Понятно, тогда возможно что в ссдшка медленно умирает, а температурный режим в норме? Перегрева нет?
Autumn
Тогда норма. Ну я бы замену ссд делал. По гарантии, вроде была инфа что она еще есть.
Владимир
Всем доброго дня. Хочу разобраться в настройке компрессии у пула 'compression' must be one of 'on | off | lzjb | gzip | gzip-[1-9] | zle | lz4 | zstd | zstd-[1-19] | zstd-fast-[1-10,20,30,40,50,60,70,80,90,100,500,1000]' Есть список допустимых вариантов, а где бы почитать про то как они работают. Хочу выбрать самое сильное сжатие.
Владимир
Наверное попробую каждый в деле), делаю пул для хранения видео, да знаю что видео уже ужатый формат, но речь идёт про такие объёмы что хочется сэкономить)
Владимир
Владимир
даже банальный гзип его ужал
Ivan
даже банальный гзип его ужал
из-за лишнего гига с терабайта есть смысл париться ?
Владимир
# du -sh ./* 1,2G ./gzip-1_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-2_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-3_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-4_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-5_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-6_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip-7_ОкружающийМир_2класс_16урок.mp4 784M ./gzip-8_ОкружающийМир_2класс_16урок.mp4 1,2G ./gzip_ОкружающийМир_2класс_16урок.mp4 1,3G ./lzjb_ОкружающийМир_2класс_16урок.mp4
Владимир
я думаю стоит
Владимир
сейчас все остальные проверю
Владимир
в хранилище хъранятся оригиналы, и к ним ещё набиваются ужатые на разные разрешения
Владимир
но хранить надо все варианты
Fedor
Можно сделать несколько хранилищ на разных датасетах, если объём ввода-вывода большой будет
Fedor
Экономия цпу чтобы не жать то что пожато
Владимир
Экономия цпу чтобы не жать то что пожато
там двойной кеш перед видео))
Владимир
до него в идеальном случае редко будут обращения доходить
Владимир
так что я пока не парюсь на счёт этого
Autumn
уже сжал
импасибл, я пробовал на датасетах с видео и картинками жать, ничего оно не жало, там что то странное с самим видео, надо в ролике кодек глянуть
Владимир
вообще сам так думал
Ivan
обсужу с тем кто за него отвечает
думаю просто заюзал параметры по дефолту из рандомной софтины.
Владимир
думаю просто заюзал параметры по дефолту из рандомной софтины.
да, уточнил, так и есть, решили потестировать сжатие в хранилище на плотность и производительность, и пока временно так решить вопрос, а потом вырубать сжатие и конвертировать видеозаписи
Владимир
я провёл тест и протестировал как читается файл с разным типом сжатия и оказалось что определённые типы сжатия быстрее чем без сжатия
Владимир
zstd-8 read 0m0,587s zstd-7 read 0m0,590s zstd-5 read 0m0,623s zstd-fast-500 read 0m0,641s zstd-4 read 0m0,650s zstd-6 read 0m0,650s zstd-fast-5 read 0m0,650s off read 0m0,659s zstd-fast-7 read 0m0,659s zstd-fast-9 read 0m0,663s zstd-1 read 0m0,667s zstd-fast-6 read 0m0,667s zstd-fast-3 read 0m0,670s zstd-3 read 0m0,671s lz4 read 0m0,676s zstd-fast-4 read 0m0,676s zstd-fast-100 read 0m0,677s zstd-fast-70 read 0m0,677s zstd-fast-30 read 0m0,681s zstd-fast-40 read 0m0,682s zstd-fast-50 read 0m0,682s zstd-fast-80 read 0m0,684s zstd-fast-1000 read 0m0,685s zstd read 0m0,685s zle read 0m0,689s zstd-fast-90 read 0m0,692s zstd-fast-60 read 0m0,693s zstd-fast-2 read 0m0,698s zstd-fast-10 read 0m0,703s lzjb read 0m0,710s zstd-fast-8 read 0m0,710s on read 0m0,723s zstd-2 read 0m0,726s zstd-fast-1 read 0m0,729s zstd-fast-20 read 0m0,738s gzip-7 read 0m0,823s gzip-2 read 0m0,877s gzip read 0m0,884s gzip-6 read 0m0,896s gzip-4 read 0m0,900s gzip-5 read 0m0,905s gzip-9 read 0m0,911s gzip-1 read 0m0,924s gzip-8 read 0m0,942s zstd-9 read 0m1,547s zstd-19 read 0m1,736s zstd-18 read 0m1,795s gzip-3 read 0m1,815s zstd-16 read 0m2,177s zstd-17 read 0m2,444s zstd-11 read 0m3,213s zstd-15 read 0m3,656s zstd-14 read 0m3,716s zstd-12 read 0m3,844s zstd-13 read 0m4,102s zstd-10 read 0m4,676s
Владимир
zstd-8 - оказался самым производительным
Autumn
zstd-8 - оказался самым производительным
на чем был тест - шпиндели, ссд, память ядра ЦП?
Владимир
HDD
Autumn
SAS
О! Спасибо, приму к сведению.
Владимир
О! Спасибо, приму к сведению.
Я могу просто скрипт кинуть который протестирует это у тебя))
Autumn
Я могу просто скрипт кинуть который протестирует это у тебя))
у меня сейчас нет железа подходящего, сам бы протестировал =)
Autumn
особенно интересует идеальные условия на нвме ссд
Autumn
Я могу просто скрипт кинуть который протестирует это у тебя))
а тест был на каком пуле? было бы классно увидеть разницу на страйке, зеркале, raidz1,2
Владимир
Мирор с одним вдев
Autumn
интересно, есть ли отличия от работы сжатия в зависимости от типа пула
Владимир
перетестирую)
Ivan
перетестирую)
т.е. наверно стоит перед каждым тестом запускать сброс кэша
Владимир
и сбрасывать не прийдётся)
Autumn
я его тупо выключу
Тоже вариант, нужен чистый результат, я думал что это после сброса. Я понимаю что тут задача про чтение, но еще важна и запись, писать со сжатем сложнее чем читать.
Владимир
Тоже вариант, нужен чистый результат, я думал что это после сброса. Я понимаю что тут задача про чтение, но еще важна и запись, писать со сжатем сложнее чем читать.
gzip-5 write 0m0,502s gzip-6 write 0m0,517s gzip-9 write 0m0,518s gzip-8 write 0m0,522s gzip-3 write 0m0,524s gzip-7 write 0m0,525s gzip-1 write 0m0,532s gzip-4 write 0m0,539s gzip-2 write 0m0,545s zle write 0m0,567s lzjb write 0m0,581s gzip write 0m0,582s lz4 write 0m0,620s on write 0m0,644s zstd-fast-10 write 0m0,684s zstd-1 write 0m0,687s zstd-fast-20 write 0m0,689s off write 0m0,692s zstd-fast-60 write 0m0,692s zstd-fast-8 write 0m0,697s zstd-fast-40 write 0m0,699s zstd-fast-70 write 0m0,700s zstd-fast-500 write 0m0,703s zstd-fast-9 write 0m0,706s zstd-fast-1000 write 0m0,712s zstd-fast-1 write 0m0,712s zstd-fast-2 write 0m0,716s zstd-fast-30 write 0m0,718s zstd-fast-50 write 0m0,718s zstd-fast-90 write 0m0,721s zstd-fast-3 write 0m0,722s zstd-fast-100 write 0m0,744s zstd write 0m0,744s zstd-2 write 0m0,745s zstd-17 write 0m0,753s zstd-fast-4 write 0m0,754s zstd-fast-7 write 0m0,764s zstd-19 write 0m0,767s zstd-fast-80 write 0m0,775s zstd-fast-5 write 0m0,793s zstd-16 write 0m0,803s zstd-18 write 0m0,813s zstd-3 write 0m0,817s zstd-4 write 0m0,905s zstd-5 write 0m1,766s zstd-6 write 0m1,850s zstd-7 write 0m1,934s zstd-8 write 0m1,986s zstd-9 write 0m2,849s zstd-11 write 0m3,037s zstd-13 write 0m3,113s zstd-10 write 0m3,170s zstd-12 write 0m3,399s zstd-14 write 0m3,439s zstd-15 write 0m3,505s zstd-fast-6 write 0m4,440s
Владимир
вот запись
Autumn
я так понял писать надо одни раз
если это такие разовые куски, а если данные постоянно обновляются
Ivan
думаю на максимальных частотах скорость чтения должна быть лучше у более пожатых данных
Ivan
тк тупо меньше данных надо с дисков читать
Владимир
сколько с zstd тестовые данные занимают ?
разница в районе погрешности
Autumn
тут вообще надо рисовать эталонный стенд и условия для теста, где будут указаны и уровень энергосбережения, и отсутствие кеша и не только скорость сжатия/распаковки но и степень сжатия, иначе самый быстрый и самый медленный алгоритмы ничего не стоят без показателей степени компрессии, учитывать тип данных ... короче нет в жизни счастья =)
George
ага
для read-most кейса самое зубастое сжатие вам норм зайдёт, если он не смог сжать хотя бы 12.5% - запишет несжатым, а на декомпрессии у того же zstd скорость особо не зависит от настроек сжатия
George
(только я надеюсь когда-нибудь выпилить этот дефолтный коэффициент в 12.5%)
Владимир
а можно подробнее?)
George
если он не смог сжать хотя бы 12.5% - запишет несжатым
в целом я всё рассказал, сейчас идёт проверка при сжатии что удалось уменьшить размер блока хотя бы на 12.5%. Вот тут попытки его изменить https://github.com/openzfs/zfs/pull/9416
George
там же можно увидеть дифф по доке