Что такое смартосовцы не знаю
https://www.joyent.com/smartos
Эта компания поглотила добрую часть бывших сановцев.
А до бабла они жаднее даже Майков.
Лишнего слова по почте не отпишут, пока не купишь контракт.
Alexander
Dmitry
Алексей
Я обнаружил проблему во время передачи инкрементных снимков зашифрованных томов.
Если после репликации на удаленную систему, выполнить наследование ключа (zfs change-key -i) для целевого датасета, то следующий инкрементный снимок сломает том.
Ключи везде один и тот же!
zfs 2.0.4
Вот шаги для воспроизведения
https://docs.google.com/document/d/1rKAZa7lldMHe3hjdK1Rv3pc_Xj4ZgtQnr3718z49ljQ/edit#heading=h.n4ec21qgxfky
я такую проблему обнаружил и не на зашифрованных, тоже инкрементом
Evgenii
я такую проблему обнаружил и не на зашифрованных, тоже инкрементом
А вот это странно. Как воспроизвести?
Evgenii
https://github.com/openzfs/zfs/issues/12123
Наконец оформил и отправил проблему с шифрованием. Воспроизводится стабильно.
Ivan
https://github.com/openzfs/zfs/issues/12123
Наконец оформил и отправил проблему с шифрованием. Воспроизводится стабильно.
а зачем грузить ключ во время репликации ?
Evgenii
в смысле? Я гружу ключ на приемнике, чтобы получить доступ к переданным данным.
Это хорошо работает, пока я не пытаюсь унаследовать ключ на приемнике от родителя. (ключи везде одинаковые) Похоже там какой то баг.
Причем после наследования ключа все продолжает хорошо работать, но только до момента приема следующей инкрементной реплики.
Я могу обойтись без этого действия, но эту проблему лучше исправить, т.к. она приведет к потерянным данным. Многие люди могут пострадать, полагаясь на бэкап, который не работает.
Свойство zfs говорит, что ключ загружен, но датасет не доступен к монтированию. При попытке повторной пересылки в 3е место - мы узнаем что ключ все таки не загружен.
После повторной пересылки в 3е место через -w - мы не можем загрузить ключ (старый ключ не подходит)
Evgenii
Я нашел похожую проблему. Завели 20 дней назад. Действия другие, но результат похожий.
https://github.com/openzfs/zfs/issues/12000
werter
есть там smr или нет
Fedor
Скорее всего, нет
werter
еще раз
ни железные ни софтовые рейды работать КОРРЕКТНО с smr на данный момент НЕ МОГУТ
если есть пруфы на обратное - милости прошу
Василий
Я прочитал часть про сторадж и не удержался))
Василий
Какашка этот ваш смр
central
ну хз, у меня не было проблем
The
Добрый день, чат. Есть zfs на single hdd.
При этом потоковая запись нагружает диск на ~50%.
Понятно, что ZIL и перепозиционирование головки, но... Есть ли возможность как-то это потюнить ценой коленей?
sync=off и logbias=throughput пока не сильно помогли.
central
что за hdd?
The
Обычный 2.5 wd black, без зонной записи.
nikolay
nikolay
в каких единицах
The
sar -dp
nikolay
iops, mb/s?
The
TIME: tps rkB/s wkB/s dkB/s areq-sz aqu-sz await %util DEV
03:44:42 PM 83.20 141.60 33536.00 0.00 404.78 3.72 44.67 41.00 sdc
The
Можно по saturation понять, что как-то оно не очень. При этом cat выдаст в 2-3 раза большие цифры.
nikolay
и что именно тут хотите снизить? await?
nikolay
не вижу saturation если честно.. диск нигде в максимум не упирается, отклик 40 ms - ну так и диск вроде как десктопный..
nikolay
по пулу можно смотреть командой zpool iostat -v -l
The
central
Как-то ещё печальнее стало на душе :)
у вас есть проблема из-за низкой производительности? если нет то и делать в общем то ничего не надо вы уже там где хотите
The
и что именно тут хотите снизить? await?
Хочу, грубо говоря, как с conventional FS, отключить барьеры/фсинки и лить со скоростью, близкой к disk seq write.
The
The
Читайте выше.
central
желание очень быстро записывать данные на диск, это не проблема а хотелка, которая решается покупкой nvme
nikolay
nikolay
Хочу, грубо говоря, как с conventional FS, отключить барьеры/фсинки и лить со скоростью, близкой к disk seq write.
гм.. а если тупо dd запустить?
nikolay
сколько выдаст?
nikolay
и что будет при этом показывать zpool iostat?
The
желание очень быстро записывать данные на диск, это не проблема а хотелка, которая решается покупкой nvme
Есть такие вещи, как программые ограничения и tunables.
nikolay
Хочу, грубо говоря, как с conventional FS, отключить барьеры/фсинки и лить со скоростью, близкой к disk seq write.
mount с опцией nobarriers мне помогал пару раз всего, обычно околонулевой эффект..
nikolay
ну вот, это примерно максимум, на который способен этот диск.
The
А если dd в файл на zfs, то то, что я выше предоставил.
nikolay
если вам надо писать в поток большим блоком (а у вас areq-sz = 400кб), то поменяйте для датасета recordsize на, например, 1 Мб
nikolay
ну и ashift какой ставили при создании пула?
The
recordsize?
zpool create -f data23 -o ashift=13 -O recordsize=1024k -O acltype=posixacl -O canmount=off -O dnodesize=legacy -O normalization=formD -O relatime=on -O xattr=sa -R /mnt/data -O dedup=off /dev/sda
The
nikolay
а зачем на hdd делать ashift=13? это же не 4k native диск? я бы поставил ashift=9 для начала
nikolay
по остальному - не знаю что опция normalization=formD
nikolay
disk wait у вас по какой-то причине существенно меньше чем total wait. вот это странно для пула из одного диска..
The
а зачем на hdd делать ashift=13? это же не 4k native диск? я бы поставил ashift=9 для начала
Диск для бэкапов, почему бы и не сделать крупный блок? 13 это вообще 8К ;)
nikolay
на уровне диска размер сектора 512байт, мисконфигуринг..
The
Больше не считается мисконфигом.
The
Точнее, зависит от юзкейса, но тут тупой sequential.
nikolay
ну тогда хз.. я могу только на уровне файла проверить, но это не референсно вашему кейсу будет.
Alexey
Всем привет, поделитесь пожалуйста своим мнением и опытом по поводу использования функции deduplication + compression на ZFS (у меня Proxmox и поверх ZFS используется DRBD)
Fedor
дедупликация и компрессия гарантированно увеличат время отклика при записи.
дедупликация очень требовательна к объему памяти.
Василий
дедупликация и компрессия гарантированно увеличат время отклика при записи.
дедупликация очень требовательна к объему памяти.
По компрессии не все так однозначно. Объем данных падает для записи. И на быстрых процессорах, компрессия может дать выигрыш, а вот нормально работающую дедубликацию, я не видел, при таких объёмах озу, которую она хочет, дешевле ставить больше дисков и не париться с ней
Владимир
Всем привет, поделитесь пожалуйста своим мнением и опытом по поводу использования функции deduplication + compression на ZFS (у меня Proxmox и поверх ZFS используется DRBD)
у меня негативный опыт дедупликации в zfs, у меня это приводило к тому что рос LA в нагрузке и всё тупило, причём довольно ощутимо.
Fedor
По компрессии не все так однозначно. Объем данных падает для записи. И на быстрых процессорах, компрессия может дать выигрыш, а вот нормально работающую дедубликацию, я не видел, при таких объёмах озу, которую она хочет, дешевле ставить больше дисков и не париться с ней
с компрессией у меня проявлялось на больших ио с быстрыми дисками. например, в норме 1-3 на ио, с компрессией - 20-50.
Владимир
дедупликация и компрессия гарантированно увеличат время отклика при записи.
дедупликация очень требовательна к объему памяти.
а вот чисто компрессия, если мы говорим про LZ4 на моей практике оказалась производительнее чем без компрессии
Fedor
ну может в диски не упирался.
Владимир
По компрессии не все так однозначно. Объем данных падает для записи. И на быстрых процессорах, компрессия может дать выигрыш, а вот нормально работающую дедубликацию, я не видел, при таких объёмах озу, которую она хочет, дешевле ставить больше дисков и не париться с ней
и да, у меня процы в основном высокочастотные, то есть которые быстро выполняют операции компрессии и декомпрессии, возможно поэтому у меня так.
Alexey
Интересно спасибо!
Василий
Дедуп, в реализации зфс, маркетинговое говно. Дикие тормоза или дикий жер памяти, а экономия, у меня юрьев 50% ни разу не получалась
Владимир
у меня кстати дедуп всё ложил когда я докеробразы в виртуалке пересобирал), ну то есть в докеробразах же дохренища совпадений и когда дедуп начинал работать 2-3 параллельные сборки и казалось бы мощный сервак лежит целиком))
Alexey
😳