Станислав
Чтение Q1 T1 вон как взлетело)
Aleks
актуальную запись смотри, еще сжатие может быть и 30гигов ваще не тест )
Vladislav
synapse
Щас потестил под вендой, ну и чудес не появилось :/ значит какой-то кеш юзается, либо что-то в truenas из коробки криво настроено, либо fio под truenas не как нужно работает
synapse
synapse
в винде вот такое
Aleks
он только закончил arc заполнять, а у тя тест закончился и средняя скорость как была, так и не упала
Станислав
Aleks
ну тогда возрадуйся чё, чудеса случаются 🤷♂️
Vladislav
Станислав
А если не среднюю скорость выводить, а в процессе смотреть как пишет? Может запись в кэш насколько высокая, что так усредняет...
Станислав
Ivan
юзал вот эту штуку https://github.com/xlucn/fio-cdm
Станислав
Ivan
Ivan
зато бот не возбудится
synapse
Плюс я менял эти параметры, но мне это не помогло, все же у меня 1 диск, а не raidz как у парня в посте
httpc://www.reddit.com/r/zfs/comments/cjck6g/slow_read_but_fast_write_performance/
Vladislav
synapse
blktrace
оно тоже не идет с системой, как же я отвык от bsd ))
ладно главное я понял, что проблема не в дисках и если надоест ковырять то можно какой нибудь omv водрузить и возможно оно более адекватное из коробки. спасибо за помощь всем!
Vladislav
Δαρθ
что именно показывается в zpool list в колонке FRAG? фрагментация чего? как рассчитана?
Джимми
товарищи, а можно сделать downgrade версии пула? ранее был создан пул версии зфс 2.2.3, а сейчас пытаюсь импортировать этот пул, но версия зфс в системе 2.1.11
Y
Dmitry
Dmitry
что именно показывается в zpool list в колонке FRAG? фрагментация чего? как рассчитана?
Колонка FRAG в выводе команды zpool list показывает уровень фрагментации в пуле ZFS. Под фрагментацией здесь понимается размещение данных в хранилище таким образом, что они не образуют непрерывную последовательность, что потенциально может повлиять на производительность. Это особенно актуально для механических жестких дисков, поскольку для доступа к данным требуется больше операций поиска. Значение фрагментации представлено в процентах и указывает на то, насколько фрагментировано распределение данных внутри пула.
Фрагментация является важным показателем для понимания характеристик здоровья и производительности пула ZFS, особенно после интенсивного использования или множества циклов записи, удаления и создания снимков. Высокий процент фрагментации может указывать на то, что пул может потребовать оптимизации или что будущие операции записи могут выполняться медленнее из-за увеличенной сложности поиска непрерывных блоков свободного пространства.
Стоит отметить, что ZFS спроектирован так, чтобы эффективно справляться с определенным уровнем фрагментации, особенно в системах с SSD, где влияние фрагментации менее заметно, чем на традиционных вращающихся дисках. ZFS использует различные стратегии для снижения влияния фрагментации, включая сложные алгоритмы выделения пространства и использование ARC (Adaptive Replacement Cache) и L2ARC (Level 2 Adaptive Replacement Cache) для улучшения производительности чтения.
Расчет показателя фрагментации основывается на внутренней структуре и расположении данных в пуле, учитывая распределение используемого и свободного пространства и насколько непрерывны блоки свободного пространства. Этот расчет, вероятно, достаточно сложен и основан на метаданных пула, описывающих состояние файловой системы.
central
Колонка FRAG в выводе команды zpool list показывает уровень фрагментации в пуле ZFS. Под фрагментацией здесь понимается размещение данных в хранилище таким образом, что они не образуют непрерывную последовательность, что потенциально может повлиять на производительность. Это особенно актуально для механических жестких дисков, поскольку для доступа к данным требуется больше операций поиска. Значение фрагментации представлено в процентах и указывает на то, насколько фрагментировано распределение данных внутри пула.
Фрагментация является важным показателем для понимания характеристик здоровья и производительности пула ZFS, особенно после интенсивного использования или множества циклов записи, удаления и создания снимков. Высокий процент фрагментации может указывать на то, что пул может потребовать оптимизации или что будущие операции записи могут выполняться медленнее из-за увеличенной сложности поиска непрерывных блоков свободного пространства.
Стоит отметить, что ZFS спроектирован так, чтобы эффективно справляться с определенным уровнем фрагментации, особенно в системах с SSD, где влияние фрагментации менее заметно, чем на традиционных вращающихся дисках. ZFS использует различные стратегии для снижения влияния фрагментации, включая сложные алгоритмы выделения пространства и использование ARC (Adaptive Replacement Cache) и L2ARC (Level 2 Adaptive Replacement Cache) для улучшения производительности чтения.
Расчет показателя фрагментации основывается на внутренней структуре и расположении данных в пуле, учитывая распределение используемого и свободного пространства и насколько непрерывны блоки свободного пространства. Этот расчет, вероятно, достаточно сложен и основан на метаданных пула, описывающих состояние файловой системы.
chatgpt?
Dmitry
Dmitry
Да, я просто не знаю, как объяснить что такое фрагментация, если человек не понимает концепт фрагментации
central
Fedor
Лучше ответы от чатгпт сюда не пересылать.
Fedor
Она вполне может ошибаться в мелочах
Dmitry
ну так обьяснение неверное
Предложи пожалуйста свой вариант, в принципе все что написал chatgpt сходится с моим пониманием фрагментации и как это работает в ZFS. Но я юзер, а не разработчик, возможно я не прав.
Fedor
https://utcc.utoronto.ca/~cks/space/blog/solaris/ZFSZpoolFragmentationMeaning
central
central
если в классических ФС мы говорим о фрагментации данных, то в случае zfs об фрагментации свободного места, потому что сами данные в CoW фрагментированы с самого начала, это неразрывно связано с тем как copy on write работает
Dmitry
Логично, но чем больее фрагментировано свободное место, тем больше времени нужно будет потратьить на впихивание новых записей.
Dmitry
Именно по этому mirror на обычных HDD превращает пул в тыкву через какое-то время
Dmitry
Ну или если в пуле один диск =)
central
если есть свободное место хотя бы 10 процентов zfs более чем эфективно сможет записать данные и ни в какую тыкву пул не превратиться
Dmitry
Я как минимум три раза об это спотыкался (север с почтой, и два сервера с видеонаблюдением)
Fedor
Исчерпарие любого ресурса, например свободного пространства, будет аффектить производительеость в любой фс, когда он превышает некоторый пороговый параметр.
Fedor
А вот что там в фоне пишет и почему аффектит, уже надо смотреть на месте
Dmitry
Какой-то у вас тут токсичный чатик 🤔
Fedor
Fedor
Vladislav
А ладно, он уже не ответит и не прочитает
Δαρθ
central
central
/report
Group Butler
/report
Reported to 1 admin(s)
Юрий
Вопрос: если есть зеркало из пары партиций, можно ли как-то расширить пул на весь диск? Например выкинуть 2-ю партицию, форматнуть и сделать тоже самое с 1-й? Или может ещё какой вариант
Юрий
riv
Ещё проще это сделать с посмощью gparted - он может не только растягивать партиции (тем же методом), но и перемещать её начало (методом перемещения всех данных путем копирования блоков смещая вслед за началом партиции). Но будте осторожны, если моргнет свет, эта операция убъет даные.
riv
Почти. Имел ввиду отдать диски полностью под управление zfs, без партиций
Ну подумайте сами, у вас же партиция занимает совсем не много места, имеет ли смысл заморачитвася ради пары мегобайт, чтобы отдать весь диск, а не партицию на весь диск?
zfs когда создается на веь диск, всеравно размечивает его в gpt и создает две партиции, одну из которых растягивает на весь диск.
Юрий
Aleks
Станислав
Aleks
откусить от начала раздела 2гб. данные, которые там были просто переместятся в конец. gparted и подобные будут последовательно смещать все блоки раздела в конец
Станислав
Я приведу пример с ext4, как я делал. Сначала ужимал до минимума, для этого вначале выполняется дефрагментация. Потом уменьшал раздел до размера ФС. И уже эти данные можно было двигать с помощью gparted, тогда всё происходит максимально быстро. Думаю, что Акронис также делает. Так что тут скорее не в утилитах дело, а в том, что вы не нашли нужную. Тот же загрузочный акронис как раз под линуксом работает и кто знает какие утилиты использует)
Станислав
Под нужной я имел ввиду ту, которая сама всё выполняет, как акронис
Aleks
то есть время на дефрагментацию мы не считаем ) да и зачем она мне нужна, если нужно всего лишь несколько гб в начале диска ) переместить эти гб на свободное место в разделе - быстро. дефграментировать и перемещать весь раздел - совсем нет
central
дефрагментация zfs это что то новенькое
Aleks
мы тут вообще про изменение размера фс говорили )
Станислав
то есть время на дефрагментацию мы не считаем ) да и зачем она мне нужна, если нужно всего лишь несколько гб в начале диска ) переместить эти гб на свободное место в разделе - быстро. дефграментировать и перемещать весь раздел - совсем нет
Это не та дефрагментация, где максимально последовательно нужно разместить файлы. Просто чтобы не так размазано было, если ФС когда-то заполнялась на большую часть. Просто в моем кеёсе не стояла задача сотни гигабайт переместить, но может и для такого есть решения в Линукс. Опять же, я отметил, что вы не нашли инструмент. Мне кажется, что даже не искали, а просто попробовали пару вариантов)
Снова же, смотря какая ФС. В ZFS вообще нет дефрагментации, только обходными путями достичь можно
Aleks
в zfs и уменьшения размера нет, так что тут неактуально )
Станислав
А перемещение данных с начала раздела куда-то в другое место - это как раз тот функционал, который используют инструменты по дефрагментации
Станислав
в zfs и уменьшения размера нет, так что тут неактуально )
Смотря какой пул...
Был 2Гб:
root@pc:/tmp/RAMDISK# zpool list testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 1.88G 128K 1.87G - - 0% 0% 1.00x ONLINE -
Записал на него чуть данных:
root@pc:/testpool# du -h haos_ova-10.5.qcow2
440M haos_ova-10.5.qcow2
Пул вырос до 3Гб:
root@pc:/testpool# zpool list testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 2.81G 447M 2.38G - - 0% 15% 1.00x ONLINE -
Финт ушами:
root@pc:/testpool# zpool list -v testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 960M 447M 513M - - 9% 46% 1.00x ONLINE -
indirect-0 - - - - - - - - ONLINE
mirror-1 960M 447M 513M - - 9% 46.5% - ONLINE
/tmp/RAMDISK/file2-1 1G - - - - - - - ONLINE
/tmp/RAMDISK/file2-2 1G - - - - - - - ONLINE
Станислав
Т.е. если зеркало, то, немного обходным путем, уменьшить можно
Ivan
Господа, на xfs опять пропали данные при потере питания. Что делоть ?
Алексей
xfs?
central