Igor
это после ребута сбрасывается!
George
это после ребута сбрасывается!
пропиши чтоб не сбрасывалось :) https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/ZFS%20on%20Linux%20Module%20Parameters.html#zfs-on-linux-module-parameters
Igor
спасибо
Igor
понял
Igor
юзаю такой рекорд ибо файлы по 2.4мега. миллионы
George
ну и фрагментация меньше в теории
George
George
плюс если сжатие включено, оно успешно сожмёт разницу в последнем блоке для случая, если у файла больше одного блока
Igor
riv
Хороший диск 7500RPM дает в худшем случае 100IOPS на случайном доступе, а в лучшем 400IOPS (за один оборот, он может сделать несколько операций), с другой стороны, его линейная скорость в среднем около 100МБ/сек. А значит, что при блоках в от 128К до 1МБ, влияние фрагментации на скорость не значительное.
Но зато, при чтении, и записи всегда придется считывать и записывать огромные блоки.
Просто я тестировал на больших файлах и пришел к выводу, что больше 128к не имеет смысла. Во и интересуюсь, какие именно плюшки выстрелили в таком сценарии?
Igor
Igor
я так понял юзается все на 100%?
Igor
не я, это делал Krey в своей феноменальной исследовательской работе. Я просто мимикрирую и доверяю его опыту
George
Хороший диск 7500RPM дает в худшем случае 100IOPS на случайном доступе, а в лучшем 400IOPS (за один оборот, он может сделать несколько операций), с другой стороны, его линейная скорость в среднем около 100МБ/сек. А значит, что при блоках в от 128К до 1МБ, влияние фрагментации на скорость не значительное.
Но зато, при чтении, и записи всегда придется считывать и записывать огромные блоки.
Просто я тестировал на больших файлах и пришел к выводу, что больше 128к не имеет смысла. Во и интересуюсь, какие именно плюшки выстрелили в таком сценарии?
ну я выше написал, что смысл есть только если гарантированно таким же блоком или бОльшим доступ осуществляется. Либо когда сжатие важнее эффективности доступа
George
если доступ меньшим блоком, то дефолтные 128К отлично ложатся на физику hdd
Nikolay
George
"удаление" раздела из таблицы разделов gpt не приводит к обнулению значений непосредственно блоков
George
George
Nikolay
У меня глупый вопрос: сделал я разделы под спец и слог. Но ни под какую ФС не форматирую их. Когда добавлю в пул, разделы автоматом станут zfs ? или их обязательно предварительно под что-то надо форматнуть ?
Qwerty
@gmelikov Поставил на ресильвер свой пул
8.92G resilvered, 0.52% done, 14:27:51 to go
George
George
Qwerty
Qwerty
Ну и я бы не сказал что черепашья скорость
scan: resilver in progress since Wed Sep 23 09:15:00 2020
2.04T scanned at 4.14G/s, 70.4G issued at 143M/s, 7.17T total
16.6G resilvered, 0.96% done, 14:27:01 to go
George
Qwerty
Я ожидал худшего от SMR дисков
George
медленно станет после 50% где-то)
riv
riv
Я ожидал худшего от SMR дисков
Заполните диск до отказа и удалите часть данных, потом повторите тест. Я боюсь, что результат может быть в разы, а то и на порядок хуже.
Qwerty
George
50% ресильвера?
ага, когда "issued" дойдёт до 100% от размера, то начнётся самый больной этап ресильвера
Qwerty
Qwerty
Это мне нужно пул забивать
ValkraS
Всем доброго, Вопрос.
При создании zvol для виртуалки нужно указывать дополнительные параметры или достаточно по умолчания значений?
ashift=13
VM - Windows guest
Перерыл уже много ресурсов - ответа не нашел (
ValkraS
"zfs create -V 1T rpool/vms" к примеру?
George
George
George
George
в ntfs можно размер блока изменить при желании
George
но, опять же, надо тестить, у меня такой статистики нет, не держу винду
ValkraS
ValkraS
ValkraS
ValkraS
riv
ValkraS
Nikolay
Добавил slog и special. Получил такие результаты. Мне опять кажется что мало 😄 Хотя синхронная была на уровне 4 Мб/с , а случайная вроде не изменилась. Для hdd пула большего ожидать уже нельзя ?🤔
Nikolay
Nikolay
Nikolay
Nikolay
Nikolay
Nikolay
Просто ваши тесты смотришь - 300-400 Мб/с 🤔
riv
Ещё бы atop во время теста и конфигурацию пула.
Вангую, что на синхронной записи всё уперлось в slog ssd perfomance. Почему бы под эту нагрузку, требующую полностью синхронную запись, не сделать просто ssd-пул?
С моей точки зрения, zfs спроектирована не для того, чтобы мерить синхронную запись. Все ухищрения с CoW и журналами, slod, special и т.д., дающие серьёзный оверхед, но позволяют опереться на writeback и безопасно* увеличить длинну очередей к дискам. При этом, случайная запись становится более линейной и многократно возрастает производиьельность.
special нужен, чтобы случайная запись стала почти полностью линейной и чтобы разгрузить vdev-ы пула от случайных операций с метаданными, а slog чтобы улучшить латентность и сделать так, чтобы синхронные операции не ухудшали производительность пула для других клиентов.
Эти тесты, на мой взгляд, не показывают результаты от реальной нагрузки в реальных ситуациях. По тому, что в реальности у вас будет смесь небольшого количества синхронных операций и остальные будут фактически в режиме writeback CoW, что драматически повышает быстродействие.
* - безопасно, значит не разрушится при сбое, но не синхронные операции могут откатится к более раннему, но консистентному состоянию.
Сергей
Сергей
Ещё бы atop во время теста и конфигурацию пула.
Вангую, что на синхронной записи всё уперлось в slog ssd perfomance. Почему бы под эту нагрузку, требующую полностью синхронную запись, не сделать просто ssd-пул?
С моей точки зрения, zfs спроектирована не для того, чтобы мерить синхронную запись. Все ухищрения с CoW и журналами, slod, special и т.д., дающие серьёзный оверхед, но позволяют опереться на writeback и безопасно* увеличить длинну очередей к дискам. При этом, случайная запись становится более линейной и многократно возрастает производиьельность.
special нужен, чтобы случайная запись стала почти полностью линейной и чтобы разгрузить vdev-ы пула от случайных операций с метаданными, а slog чтобы улучшить латентность и сделать так, чтобы синхронные операции не ухудшали производительность пула для других клиентов.
Эти тесты, на мой взгляд, не показывают результаты от реальной нагрузки в реальных ситуациях. По тому, что в реальности у вас будет смесь небольшого количества синхронных операций и остальные будут фактически в режиме writeback CoW, что драматически повышает быстродействие.
* - безопасно, значит не разрушится при сбое, но не синхронные операции могут откатится к более раннему, но консистентному состоянию.
zfs очень хорошо подходит для СУБД и хранения образов ВМ. В этих обоих вариантах синхронная запись очень важна.
Nikolay
Ещё бы atop во время теста и конфигурацию пула.
Вангую, что на синхронной записи всё уперлось в slog ssd perfomance. Почему бы под эту нагрузку, требующую полностью синхронную запись, не сделать просто ssd-пул?
С моей точки зрения, zfs спроектирована не для того, чтобы мерить синхронную запись. Все ухищрения с CoW и журналами, slod, special и т.д., дающие серьёзный оверхед, но позволяют опереться на writeback и безопасно* увеличить длинну очередей к дискам. При этом, случайная запись становится более линейной и многократно возрастает производиьельность.
special нужен, чтобы случайная запись стала почти полностью линейной и чтобы разгрузить vdev-ы пула от случайных операций с метаданными, а slog чтобы улучшить латентность и сделать так, чтобы синхронные операции не ухудшали производительность пула для других клиентов.
Эти тесты, на мой взгляд, не показывают результаты от реальной нагрузки в реальных ситуациях. По тому, что в реальности у вас будет смесь небольшого количества синхронных операций и остальные будут фактически в режиме writeback CoW, что драматически повышает быстродействие.
* - безопасно, значит не разрушится при сбое, но не синхронные операции могут откатится к более раннему, но консистентному состоянию.
Подскажите, пожалуйста, что (как) именно требуется atop запускать, что показать. Я им никогда не пользовался просто.
Nikolay
Я не гонюсь за пиковой скоростью, но интересно на сколько быстрее с слог меняется запись.