Аватарку смени значит

Это временно, аватарка это Питер, это навсегда

Правильно. Потому что это зависит от -Какие NVMe -Сколько настроено памяти на arc -Выключён ли повторяемый буфер FIO -В рандомные ли участки пишет каждая из job fio или они пишут друг поверх друга (и всё это красиво ложится в буфер) и т.д.

Ну вот пошла конкретика, будем посмотреть.

t1q1 и t1q128 или чего поинтереснее потыкать?

Щас скину

Это временно, аватарка это Питер, это навсегда

Ты мне не рассказывай что Питер это навсегда. Пять лет в деревне живу, до сих пор руки чешутся кого-нибудь расчленить и в Обводный скинуть.

t1q1 и t1q128 или чего поинтереснее потыкать?

Если не жалко то минут по 10 надо, ну а там смотрите параметр -runtime fio -name=test -ioengine=libaio -direct=1 -randrepeat=0 -rw=randwrite -bs=4k -numjobs=1 -iodepth=128 -group_reporting -runtime=600 --time_based -filename=/dev/zvol/pnvf/pve/vm-100007-disk-0 и fio -name=test -ioengine=libaio -direct=1 -randrepeat=0 -rw=randwrite -bs=4k -numjobs=4 -iodepth=128 -group_reporting -runtime=600 --time_based -filename=/dev/zvol/pnvf/pve/vm-100007-disk-0 Volume размером 256GB У меня Arc 16GB на этом серваке

ИНтересует какая у вас загрузка по CPU и при каких IOPS

https://pastebin.com/B9N0LGgN два дешманских в зеркале 4 тб ссд НА проц нагрузка 10-15 % intel 13500

в 4 тут уже проц 25% в среднем https://pastebin.com/FrR9LBwH

в 4 тут уже проц 25% в среднем https://pastebin.com/FrR9LBwH

Один такой процессор? https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+W-1350+%40+3.30GHz

И сколько у вас Arc?

это не серверный проц это именно i5-13500 )

Ну вот как бэ пошли вопросы, а какая конфигурация, а сколько этот параметр, а как тут настроено)))))

под арк все отдано, что не в виртуалках.

под арк все отдано, что не в виртуалках.

Ну сколько конкретно в гигабайтах ?

получается 38 гигов свободно

тут вроде арк не должен влиять на запись, на сколько знаю.

тут вроде арк не должен влиять на запись, на сколько знаю.

Как бы мы сейчас тестируем не синхронную запись, поэтому он все кладет в Arc и выталкивает на vdev в асинхронном режиме, так что объем Arc влияет. Тут конечно сложно понять насколько это влияет на разницу в тестах. Я попробую нивелировать разницу, докину кэш.

тут вроде арк не должен влиять на запись, на сколько знаю.

если не трудно скиньте вывод #cat /proc/spl/kstat/zfs/arcstats | grep -E -w 'c_min|c_max|size'

Как бы мы сейчас тестируем не синхронную запись, поэтому он все кладет в Arc и выталкивает на vdev в асинхронном режиме, так что объем Arc влияет. Тут конечно сложно понять насколько это влияет на разницу в тестах. Я попробую нивелировать разницу, докину кэш.

А ещё можно глянуть top и понять какой процесс кушает CPU

А ещё можно глянуть top и понять какой процесс кушает CPU

Ща и до top дойдем :)

Ща и до top дойдем :)

С этого надо начинать А не доходить

Вместо того, чтобы сразу посмотреть нужные данные ты решил проверять как ZFS себя ведёт в принципиально другой среде, на принципиально другой частоте с совершенно другим количеством ядер с совершенно другими дисками

И что тебе это даст?

c_min 4 4213299584 c_max 4 107374182400 size 4 4787445976

И что тебе это даст?

Мы все любим fio конечно версия может отличаться, не в идеальных условиях, но меня и не беспокоит разница в проценты меня беспокоит разница в разы. НА моем компе никаких процессов кроме fio и системных нет, допускаю, что что-то может пойти не так, но я уже этот фокус несколько раз повторял, поэтому результат мне не кажется сомнительным. Поскольку мы оцениваем производительность как бы с верху, по данным Nik у него картина куда приятней чем у меня. У него рост наблюдается при переходе к 4 воркерам, у меня такого нет, поскольку видимо CPU все, ну щас посмотрим, приценимся так сказать

c_min 4 4213299584 c_max 4 107374182400 size 4 4787445976

Да, нормально у вас там памяти :) 100GB максимальная загрузка кэша

вероятно это было давно) Тк последнее время большая часть у виртуалок

вероятно это было давно) Тк последнее время большая часть у виртуалок

Ну с памятью как в жизни: кто первым встал того и тапки. Главное чтобы ZFS не завладел памятью раньше, а то VM запускаться перестанут.

Ну с памятью как в жизни: кто первым встал того и тапки. Главное чтобы ZFS не завладел памятью раньше, а то VM запускаться перестанут.

Нет?

вероятно это было давно) Тк последнее время большая часть у виртуалок

Да, забыл уточнить у Вас же тонкие диски?

Да, забыл уточнить у Вас же тонкие диски?

да

Нет?

Это вопрос или утверждение?

Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning

Это вопрос или утверждение?

Это намёк, что стоит почитать

Ну с памятью как в жизни: кто первым встал того и тапки. Главное чтобы ZFS не завладел памятью раньше, а то VM запускаться перестанут.

везде прописан zfs_arc_sys_free

да и по умолчанию он вроде бы 1% от объема или около того

Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning

Я кстати в свое время пытался найти возможность освободить Arc, может подскажете есть ли команда заставляющая ZFS это сделать?

Я кстати в свое время пытался найти возможность освободить Arc, может подскажете есть ли команда заставляющая ZFS это сделать?

Да, есть

Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning

Я не пользуюсь общей памятью для VM не люблю сложные зависимости между ресурсами. Но это дело вкуса конечно.

Да, есть

Это секрет фирмы?

Это секрет фирмы?

В смысле? Что ты спросил, на то я и ответил

Есть ли она? Есть

Есть ли она? Есть

Поделитесь пожалуйста :)

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html

Я может не понял, но при чем здесь параметры модуля ядра? или их можно как-то в динамике поправить, не перегружая систему?

да и по умолчанию он вроде бы 1% от объема или около того

Пойду спать, завтра еще ручки подергаю посмотрим что получится. Огромное спасибо за содействие.

Я может не понял, но при чем здесь параметры модуля ядра? или их можно как-то в динамике поправить, не перегружая систему?

Ахуеть как много ты узнаешь если просто почитаешь эту страничку

Ахуеть как много ты узнаешь если просто почитаешь эту страничку

Я правильно понимаю, что если он уже сожрал Arc обратно он его не вернет, ну то ест ь может когда нибудь вернет, если захочет. :) zfs_arc_max can be changed dynamically with some caveats. It cannot be set back to 0 while running and reducing it below the current ARC size will not cause the ARC to shrink without memory pressure to induce shrinking.

Ахуеть как много ты узнаешь если просто почитаешь эту страничку

И да можешь дальше кидать в меня ссаными тряпками, мне не стыдно если я что-то не знаю, особенно про ZFS "Админ это хобби, а так я программист" ;)

И да можешь дальше кидать в меня ссаными тряпками, мне не стыдно если я что-то не знаю, особенно про ZFS "Админ это хобби, а так я программист" ;)

Стыдно не потратить 5 минут, чтобы прочитать 2 статьи на Хабре, а не "не знаю zfs"

Я правильно понимаю, что если он уже сожрал Arc обратно он его не вернет, ну то ест ь может когда нибудь вернет, если захочет. :) zfs_arc_max can be changed dynamically with some caveats. It cannot be set back to 0 while running and reducing it below the current ARC size will not cause the ARC to shrink without memory pressure to induce shrinking.

А теперь прогугли запрос, что кинул

Я правильно понимаю, что если он уже сожрал Arc обратно он его не вернет, ну то ест ь может когда нибудь вернет, если захочет. :) zfs_arc_max can be changed dynamically with some caveats. It cannot be set back to 0 while running and reducing it below the current ARC size will not cause the ARC to shrink without memory pressure to induce shrinking.

Как минимум, начиная с 2.1 это уже не так: шринкается исправно и очень быстро

Стыдно не потратить 5 минут, чтобы прочитать 2 статьи на Хабре, а не "не знаю zfs"

Сколько не читай - все равно не понятно. Слишком сложная. Я вообще считаю что такие вещи должны сами разруливаться. С тебя исправное железо и верное администрирование. Иначе грань между хорошим софтом и плохим софтом стирается. Любой будет говорить - хаха, не прочитал, значит код норм.

Представляешь ты устанавливаешь софт типа браузера. При краше его за место признания проблемы тебя отправляют курить документацию? Если настройки дефолтные, а железо исправное - это баг 100% без исключений.

Как минимум, начиная с 2.1 это уже не так: шринкается исправно и очень быстро

Ошибка в документации?

Сколько не читай - все равно не понятно. Слишком сложная. Я вообще считаю что такие вещи должны сами разруливаться. С тебя исправное железо и верное администрирование. Иначе грань между хорошим софтом и плохим софтом стирается. Любой будет говорить - хаха, не прочитал, значит код норм.

А как может быть верное администрирование, если ты систему не понимаешь?

А как может быть верное администрирование, если ты систему не понимаешь?

Опять размытая граница. Что такое "понимание"? У тебя браузер работает? Ты полностью понимаешь как он работает?

Ошибка в документации?

Скорее, просто не исправили. Раньше требовалось ещё в drop_caches писать, чтобы память освободить Недавно вводил ещё одну ноду proxmox 7.2 в кластер, забыл оттюнить модули — был приятно удивлен

Представляешь ты устанавливаешь софт типа браузера. При краше его за место признания проблемы тебя отправляют курить документацию? Если настройки дефолтные, а железо исправное - это баг 100% без исключений.

Некорректная аналогия. Браузер в принципе предназначен для использования не квалифицированными людьми. Инструменты администрирования — наоборот

Некорректная аналогия. Браузер в принципе предназначен для использования не квалифицированными людьми. Инструменты администрирования — наоборот

Ничего не меняется. Я не должен понимать всех дебрей. С точки зрения использования ФС - я пользователь. Точно такой же, как и пользователь браузера. Потому что это не моя зона ответственности.

Опять размытая граница. Что такое "понимание"? У тебя браузер работает? Ты полностью понимаешь как он работает?

В детялях я боюсь не существует такого человека. Но если браузер пожрал память, то я буду выяснять, какие вкладки этим страдают, например.

Ничего не меняется. Я не должен понимать всех дебрей. С точки зрения использования ФС - я пользователь. Точно такой же, как и пользователь браузера. Потому что это не моя зона ответственности.

Позвоните своему сисадмину (С)

Позвоните своему сисадмину (С)

Звонил вам выше по чату несколько недель назад. Вы не знаете что делать.

Ничего не меняется. Я не должен понимать всех дебрей. С точки зрения использования ФС - я пользователь. Точно такой же, как и пользователь браузера. Потому что это не моя зона ответственности.

Тогда следует и поступать как пользователь: пользоваться, терпеть и молчать

Звонил вам выше по чату несколько недель назад. Вы не знаете что делать.

Да лень просто всем. Тыж денег не платишь, а хочешь халявы

Поэтому копай не копай. Если есть баги - ссылать на волшебную документацию смысла нет. Одно дело, когда ты полез зная что делая и изменил настройки и занялся тюнингом. Другой вопрос, когда у тебя соблюдены все требования и тебе говорят - что ты что то делаешь не так и что то не умеешь.

Поэтому копай не копай. Если есть баги - ссылать на волшебную документацию смысла нет. Одно дело, когда ты полез зная что делая и изменил настройки и занялся тюнингом. Другой вопрос, когда у тебя соблюдены все требования и тебе говорят - что ты что то делаешь не так и что то не умеешь.

У всех работает, у тебя не работает. Интересный у тебя вывод ;)

Да лень просто всем. Тыж денег не платишь, а хочешь халявы

Это вообще смешно даже. Прекрасная ФС. Прекрасная! Лучшая реклама.

Это вообще смешно даже. Прекрасная ФС. Прекрасная! Лучшая реклама.

Если тебе нужен запорожец возить картофан с дачи, то не бери шагающий экскаватор, блин, особенно не зная как им управлять

Скорее, просто не исправили. Раньше требовалось ещё в drop_caches писать, чтобы память освободить Недавно вводил ещё одну ноду proxmox 7.2 в кластер, забыл оттюнить модули — был приятно удивлен

Да любопытно, когда я последний раз гуглил, а это было давно, ответ был нет, перегружайте ноду, но может я не догуглил конечно. Кстати в 8.3 уже при инсталляции они автоматом пишут /etc/modprobe.d/zfs.conf ограничивают 16GB помоему, но можно любое поставить в опциях установщика.

У всех работает, у тебя не работает. Интересный у тебя вывод ;)

Пока. И у меня работала. На самом деле за 5 лет использования багов и всяких странностей ужасное количество я нашел. И все эти баги я нашел в issue. Половина без решений. Это факт. А у вас - документация.

Если тебе нужен запорожец возить картофан с дачи, то не бери шагающий экскаватор, блин, особенно не зная как им управлять

Нет. Полная ерунда. Мы говорим о том, что экскаватор может копать, а он перестает копать, ты дергаешь за рычаг, но у тебя колесо внезапно отваливается.

В том то и прикол, что где то работает, где то нет. Нет никакой стабильности и нет понимания что на что влияет. Если нагрузки серьезной нет - вроде все отлично. Начинаем юзать нормально функции и пошло поехало, не знаешь где наступишь на мину, которая висит в issue. А там я как начинаю думать о возврате, читаю - стращно.

Значит не используй зфс, если тебе не нравится. Ради каких суперфич оно вообще было выбрано?

Да лень просто всем. Тыж денег не платишь, а хочешь халявы

Перейдем в практическое русло. 1) Сколько стоит Ваша консультация в виде развернутой рекомендации, которая сработает? 2) Сколько стоит тюнинг пула под нагрузку (включая твикинг ОС)?

Значит не используй зфс, если тебе не нравится. Ради каких суперфич оно вообще было выбрано?

Да мне говорили как здорово со снапшотами, с этими снапшотами и возникли проблемы. Поэтому юзаю xfs. Смысла в этом нет. Программные снапшоты прекрасно работают на ssd, смысла 0.

Да мне говорили как здорово со снапшотами, с этими снапшотами и возникли проблемы. Поэтому юзаю xfs. Смысла в этом нет. Программные снапшоты прекрасно работают на ssd, смысла 0.

Со снапшотами в целом хорошо. Но они же не только у зфс есть?

Со снапшотами в целом хорошо. Но они же не только у зфс есть?

Я потестил и не увидел никакого особого буста в сравнении с qcow. relink на xfs работает замечательно. Сжатие оказалось бесполезной херней - 5, 10% максимум.

По прежнему какой дедик не купишь - там mdadm и xfs. ZFS ниразу не встретил. Хостеры что то не уверены