Но qat очень мало в каком проце есть (
ага, но отдельной pci-e платой идёт
George
Eugen
- lz4 ускорило запись на диск на 17% и сэкономило 17% места.
- zstd сэкономило 29% места
Получается zstd лучше жмет но слегка медленнее чем без сжатия, lz4 и сжимает и "ускоряет"
George
Я просто до этого момента думал что коль сжатие на лету и проц справляется, то инфа записывается меньшими кусками, и читается так же, то есть IOpsы должны вырасти
сжатие сжимаемых данных экономит количество IO операций, а вот успеем ли мы записать больше иопсов на тот же носитель - только если время cpu на 1 IO операцию меньше чем задержка от операции на самом носителе
Eugen
НУ пока что для себя вижу картину такую, если хочется не много взбодрить диск и даже чуть уменьшить инфу то выбор в пользу lz4
Evgenii
не использовать сжатие вообще нет никакого смысла. Поэтому по умолчанию используется lz4 (on=lz4)
Eugen
Я думал zstd по дефолту стоит)
George
не использовать сжатие вообще нет никакого смысла. Поэтому по умолчанию используется lz4 (on=lz4)
lz4 по дефолту на самом деле имеет смысл включать, но не другие
George
тот же zstd медленнее всё равно
Evgenii
Я думал zstd по дефолту стоит)
zstd - очень свежая штука. Это самый новый алгоритм сжатия из всех и он медленнее. Но это золотая середина скорость\эффективность
Eugen
zstd - очень свежая штука. Это самый новый алгоритм сжатия из всех и он медленнее. Но это золотая середина скорость\эффективность
Я просто за него когда читал, там вроде было что он слегка лучше жмет+быстрее
Eugen
,Оказалось все не так радужно
Evgenii
нигде не написано что он быстрее, ни в одном тесте
Eugen
меня с толку сбило видимо то что там есть степени сжатия
central
везде пишут что он самый идеальный по соотношения ресурсы к сжатию
Evgenii
это так.. но это сложно использовать.
- на Proxmox я не использую его потому, что lz4 значительно быстрее и потребляет меньше CPU
- на Proxmox Backup Server я не использую его потому, что данные там уже сжаты и дедуплицированы на уровне приложения. Коэффициэнт сжатия lz4 = 3% - это ничто. А значит нет смысла нагружать сервер и замедлять CPU и IO включая zstd
George
Я просто за него когда читал, там вроде было что он слегка лучше жмет+быстрее
у zstd и lz4 один автор, но у них разные цели, lz4 - про максимальную скорость с адекватным сжатием, zstd - замена zip с отличной скоростью (но не с целью быть самым быстрым)
Art
у zstd и lz4 один автор, но у них разные цели, lz4 - про максимальную скорость с адекватным сжатием, zstd - замена zip с отличной скоростью (но не с целью быть самым быстрым)
Для ненагруженных файлохранилок получается zstd хорошо подходит?
Evgenii
Для ненагруженных файлохранилок получается zstd хорошо подходит?
если данные не сжаты внутри, на уровне приложения, то подходит
Владимир
Тут много условностей
Зависимость от проца, производительности пула и собственно типа данных которые мы льём.
К примеру я тестировал производительность записи бекапов в проксмоксе... которые уже zstd, так вот быстрее всего оказалось вообще без компрессии, с учётом того что данные уже ужаты компрессия не хило отнимала время не давая при этом ни уменьшения веса(существенного), ни прочих преимуществ, а только недостатки
Evgenii
На PBS вообще лучше отключить сжатие, странно что ребята из Proxmox этого не сделали...
Владимир
ну в данном конкретном случае я не про PBS, а про бекапы средствами проксмокса, но в целом да, и там оно не имеет смысла
Владимир
это только замедляет создание бекапа
Владимир
ну и кушает ресурсы
Nick
ну это если диски крутящиеся...
Nick
ага, но отдельной pci-e платой идёт
которую очень не всегда есть возможность вставить, безотносительно цены (
Art
которую очень не всегда есть возможность вставить, безотносительно цены (
Вспоминаются древние шутки про аппаратный ускоритель для WinRAR )
Δαρθ
zstd - очень свежая штука. Это самый новый алгоритм сжатия из всех и он медленнее. Но это золотая середина скорость\эффективность
ну ващето он быстрее гзипа при таких же степенях сжатия. причем сильно быстрее
Δαρθ
нигде не написано что он быстрее, ни в одном тесте
огоспаде, а проверить? гзип -- тормоз тормозов. что в зфс, что в бтрфс, что если файлы жать.
например, гзип ниасиливает даже со скоростью винта (не ссд) работать, в то время как зстд -- легко
Evgenii
огоспаде, а проверить? гзип -- тормоз тормозов. что в зфс, что в бтрфс, что если файлы жать.
например, гзип ниасиливает даже со скоростью винта (не ссд) работать, в то время как зстд -- легко
так а зачем о gzip вообще разговаривать, если есть lz4. Вы придумываете сферического коня в вакууме
Δαρθ
так а зачем о gzip вообще разговаривать, если есть lz4. Вы придумываете сферического коня в вакууме
ну всё же, пока не было зстд, гзип позволял получать сжатие лучше (и медленнее) чем лз4
Δαρθ
появился зстд -- в гзипе смысл пропал ВООБЩЕ
Evgenii
ну.. сейчас узнаем насколько gzip лучше жмет лучше lz4
Eugen
Тут еще интересный момент, сколько ресурсов забирает zstd и lz4, не получается ли так что lz4 жмет быстрее но и ест ресурсов больше при этом
Δαρθ
вряд ли. лз4 вроде без стадии хафмана,в отличие от зстд
central
Тут еще интересный момент, сколько ресурсов забирает zstd и lz4, не получается ли так что lz4 жмет быстрее но и ест ресурсов больше при этом
lz4 ЕМНИП если не укладывется во время просто пишет как есть без сжатия, не
Δαρθ
он в принципе не может при этом жрать больше ресурсов (проца)
Evgenii
Тут еще интересный момент, сколько ресурсов забирает zstd и lz4, не получается ли так что lz4 жмет быстрее но и ест ресурсов больше при этом
lz4 потребляет чуть меньше cpu, точно не больше. Я наблюдал графики, точных измерений не делал
Владимир
Вы оказались правы, gzip жмет лучше чем lz4, на уровне zstd.. но так медленно..
так медленно это не то слово
Владимир
Провёл тесты по записи файла таблицы Postgresql весом 541017 байт
zstd-fast-2 0m5,792s 272933
gzip-1 0m5,929s 272989
Вот zfs в данном случае оказался и производительнее и плотнее
это я молчу за более сильные гзипы
gzip-6 0m14,020s 272973
ТО есть тупее раза в 3 и всё равно не плотнее zstd
Владимир
у меня ещё ни с одним типом данных, нии с одним процом и любой производительностью пул не показал что гзип в выигрыше, он всегда просирает
Владимир
дно)
Владимир
причём по всем фронтам и по плотности и по скорости
Eugen
раньше альтернатив не было, а сейчас мы может утверждать что дно)
Владимир
раньше альтернатив не было, а сейчас мы может утверждать что дно)
ну там мы же сейчас живём), зачем судить о том что раньше было)
Δαρθ
у меня ещё ни с одним типом данных, нии с одним процом и любой производительностью пул не показал что гзип в выигрыше, он всегда просирает
о чём и речь. я удивляюсь почему его ещё не выпилили из ZFS (из доки для начала, оставить тлько для обратной совместимости если нужно)
central
блет не тот чат
Владимир
Владимир
эти старпёры ещё им пользуются и хвастаются этим ещё))
Владимир
на хабре есть их статья на эту тему)
Δαρθ
эти старпёры ещё им пользуются и хвастаются этим ещё))
как только все обновились до новой версии сабжа, тут же можно в опциях монтирования ставить zstd. старые блоки будут так уж и быть распаковываться гзипом, зато все новые будут зстд, быстрее и лучше
Владимир
как только все обновились до новой версии сабжа, тут же можно в опциях монтирования ставить zstd. старые блоки будут так уж и быть распаковываться гзипом, зато все новые будут зстд, быстрее и лучше
намекаешь что статья такая старая и про те времена когда не было zstd?
Δαρθ
намекаешь что статья такая старая и про те времена когда не было zstd?
хз о какой статье речь )
но вполне может быть
Владимир
https://habr.com/ru/company/citymobil/blog/492172/
Владимир
13 марта 2020
Владимир
вроде zstd уже было
Δαρθ
мож из помойки достали статью хз. но по факту не сделали ещё такого процессора, чтоб gzip работал быстрее жесткого диска (не говоря уже про ссд), т.е. он всегда будет дополнительный тормоз
Evgenii
https://habr.com/ru/company/citymobil/blog/492172/
зависит от версии их zfs многие до сих пор на 0.8 сидят
Evgenii
и периодически спрашивают в этом чате "уже пора обновляться или еще не пора?"
Владимир
))
Владимир
ещё рано))
Владимир
гзип топ)
Evgenii
а потом грустят, когда узнают, что нужно сначала обновить ядро linux (ubuntu 20.04 LTS работает только на 0.8, а не LTS в ставить бессмысленно)
Evgenii
благо следующий LTS через 4 месяца. Не долго осталось
central
благо следующий LTS через 4 месяца. Не долго осталось
и еще пол года, на посмотреть готова ли она для прода
Δαρθ
и периодически спрашивают в этом чате "уже пора обновляться или еще не пора?"
для сидящих на убунте 20.04 есть хак.
ставите hwe или как его там ядро, 5.11. с ним приедет сабж 2.0.2
Δαρθ
а потом грустят, когда узнают, что нужно сначала обновить ядро linux (ubuntu 20.04 LTS работает только на 0.8, а не LTS в ставить бессмысленно)
обновить ядро сильно же проще чем юзерспейсом перейти на новую версию
Nick
lz4 ЕМНИП если не укладывется во время просто пишет как есть без сжатия, не
неверно, он не сжимает если по оценке алгоритма получится слишком маленькое сжатие
Nick
Провёл тесты по записи файла таблицы Postgresql весом 541017 байт
zstd-fast-2 0m5,792s 272933
gzip-1 0m5,929s 272989
Вот zfs в данном случае оказался и производительнее и плотнее
это я молчу за более сильные гзипы
gzip-6 0m14,020s 272973
ТО есть тупее раза в 3 и всё равно не плотнее zstd
как что сжимает отлично показывает lzbench - https://github.com/inikep/lzbench
Nick
мож из помойки достали статью хз. но по факту не сделали ещё такого процессора, чтоб gzip работал быстрее жесткого диска (не говоря уже про ссд), т.е. он всегда будет дополнительный тормоз
быстрее или не быстрее, но при оффлоадинге на Intel QAT - прямо хорошо. Минус - QAT встроен только в какие-то древние атомы для дисковых полок и немножко в Xeon D, в нормальные сервера только через отдельную плату, которая в реальной жизни чтобы влезла при водяном охлаждении - требует использование 4u корпусов
Nick
последний Xeon D был сделан выпущен 6 лет назад при этом и для более массовых задач они от атомов недалеко ушли, крое как для дисковых полок и иот они не очень применимы
George
для сидящих на убунте 20.04 есть хак.
ставите hwe или как его там ядро, 5.11. с ним приедет сабж 2.0.2
Ну а юзерспейс кто обновит то. Самому собрать или ppa ещё есть, а не hwe
Δαρθ
Ну а юзерспейс кто обновит то. Самому собрать или ppa ещё есть, а не hwe
а, ну да... всё время забываю...
Δαρθ
hwe ядро вроде из основной репы убунты ставится, а не из отдельных ppa
Nick
для сидящих на убунте 20.04 есть хак.
ставите hwe или как его там ядро, 5.11. с ним приедет сабж 2.0.2
а еще лучше не страдать и поставить zfs из ppa jonathonf и жить со всем свежим
Nick
вместе с hwe 5.11 все становится резко шустрее и безглючнее
Nick
а в сочетании с 5.4 я регулярно ловил странные баги например с подвисающим zfs send
Nick
на всех последних версиях zfs
Roman
а потом грустят, когда узнают, что нужно сначала обновить ядро linux (ubuntu 20.04 LTS работает только на 0.8, а не LTS в ставить бессмысленно)
Вот только убунтовская 0.8 сильно отличается от ванильной. Они много чего бэкпортируют