Pavel
Аватарку смени значит
Это временно, аватарка это Питер, это навсегда
sexst
Это временно, аватарка это Питер, это навсегда
Ты мне не рассказывай что Питер это навсегда. Пять лет в деревне живу, до сих пор руки чешутся кого-нибудь расчленить и в Обводный скинуть.
Pavel
t1q1 и t1q128 или чего поинтереснее потыкать?
Если не жалко то минут по 10 надо, ну а там смотрите параметр -runtime fio -name=test -ioengine=libaio -direct=1 -randrepeat=0 -rw=randwrite -bs=4k -numjobs=1 -iodepth=128 -group_reporting -runtime=600 --time_based -filename=/dev/zvol/pnvf/pve/vm-100007-disk-0 и fio -name=test -ioengine=libaio -direct=1 -randrepeat=0 -rw=randwrite -bs=4k -numjobs=4 -iodepth=128 -group_reporting -runtime=600 --time_based -filename=/dev/zvol/pnvf/pve/vm-100007-disk-0 Volume размером 256GB У меня Arc 16GB на этом серваке
Pavel
ИНтересует какая у вас загрузка по CPU и при каких IOPS
Nik
https://pastebin.com/B9N0LGgN два дешманских в зеркале 4 тб ссд НА проц нагрузка 10-15 % intel 13500
Nik
в 4 тут уже проц 25% в среднем https://pastebin.com/FrR9LBwH
Pavel
в 4 тут уже проц 25% в среднем https://pastebin.com/FrR9LBwH
Один такой процессор? https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+W-1350+%40+3.30GHz
Pavel
И сколько у вас Arc?
Nik
это не серверный проц это именно i5-13500 )
Vladislav
Ну вот как бэ пошли вопросы, а какая конфигурация, а сколько этот параметр, а как тут настроено)))))
Nik
под арк все отдано, что не в виртуалках.
Pavel
под арк все отдано, что не в виртуалках.
Ну сколько конкретно в гигабайтах ?
Nik
получается 38 гигов свободно
Nik
тут вроде арк не должен влиять на запись, на сколько знаю.
Pavel
тут вроде арк не должен влиять на запись, на сколько знаю.
Как бы мы сейчас тестируем не синхронную запись, поэтому он все кладет в Arc и выталкивает на vdev в асинхронном режиме, так что объем Arc влияет. Тут конечно сложно понять насколько это влияет на разницу в тестах. Я попробую нивелировать разницу, докину кэш.
Pavel
тут вроде арк не должен влиять на запись, на сколько знаю.
если не трудно скиньте вывод #cat /proc/spl/kstat/zfs/arcstats | grep -E -w 'c_min|c_max|size'
Vladislav
Ща и до top дойдем :)
С этого надо начинать А не доходить
Vladislav
Вместо того, чтобы сразу посмотреть нужные данные ты решил проверять как ZFS себя ведёт в принципиально другой среде, на принципиально другой частоте с совершенно другим количеством ядер с совершенно другими дисками
Vladislav
И что тебе это даст?
Nik
c_min 4 4213299584 c_max 4 107374182400 size 4 4787445976
Pavel
И что тебе это даст?
Мы все любим fio конечно версия может отличаться, не в идеальных условиях, но меня и не беспокоит разница в проценты меня беспокоит разница в разы. НА моем компе никаких процессов кроме fio и системных нет, допускаю, что что-то может пойти не так, но я уже этот фокус несколько раз повторял, поэтому результат мне не кажется сомнительным. Поскольку мы оцениваем производительность как бы с верху, по данным Nik у него картина куда приятней чем у меня. У него рост наблюдается при переходе к 4 воркерам, у меня такого нет, поскольку видимо CPU все, ну щас посмотрим, приценимся так сказать
Pavel
c_min 4 4213299584 c_max 4 107374182400 size 4 4787445976
Да, нормально у вас там памяти :) 100GB максимальная загрузка кэша
Nik
вероятно это было давно) Тк последнее время большая часть у виртуалок
Pavel
вероятно это было давно) Тк последнее время большая часть у виртуалок
Ну с памятью как в жизни: кто первым встал того и тапки. Главное чтобы ZFS не завладел памятью раньше, а то VM запускаться перестанут.
Pavel
Нет?
Это вопрос или утверждение?
Vladislav
Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning
Vladislav
Это вопрос или утверждение?
Это намёк, что стоит почитать
Nik
да и по умолчанию он вроде бы 1% от объема или около того
Pavel
Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning
Я кстати в свое время пытался найти возможность освободить Arc, может подскажете есть ли команда заставляющая ZFS это сделать?
Pavel
Ты не поверишь, но arc умеет динамически уменьшаться А память VM может быть ballooning
Я не пользуюсь общей памятью для VM не люблю сложные зависимости между ресурсами. Но это дело вкуса конечно.
Pavel
Да, есть
Это секрет фирмы?
Vladislav
Это секрет фирмы?
В смысле? Что ты спросил, на то я и ответил
Vladislav
Есть ли она? Есть
Pavel
Есть ли она? Есть
Поделитесь пожалуйста :)
Vladislav
Vladislav
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html
Pavel
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html
Я может не понял, но при чем здесь параметры модуля ядра? или их можно как-то в динамике поправить, не перегружая систему?
Pavel
да и по умолчанию он вроде бы 1% от объема или около того
Пойду спать, завтра еще ручки подергаю посмотрим что получится. Огромное спасибо за содействие.
Pavel
Ахуеть как много ты узнаешь если просто почитаешь эту страничку
Я правильно понимаю, что если он уже сожрал Arc обратно он его не вернет, ну то ест ь может когда нибудь вернет, если захочет. :) zfs_arc_max can be changed dynamically with some caveats. It cannot be set back to 0 while running and reducing it below the current ARC size will not cause the ARC to shrink without memory pressure to induce shrinking.
Pavel
Ахуеть как много ты узнаешь если просто почитаешь эту страничку
И да можешь дальше кидать в меня ссаными тряпками, мне не стыдно если я что-то не знаю, особенно про ZFS "Админ это хобби, а так я программист" ;)
Dexex
Стыдно не потратить 5 минут, чтобы прочитать 2 статьи на Хабре, а не "не знаю zfs"
Сколько не читай - все равно не понятно. Слишком сложная. Я вообще считаю что такие вещи должны сами разруливаться. С тебя исправное железо и верное администрирование. Иначе грань между хорошим софтом и плохим софтом стирается. Любой будет говорить - хаха, не прочитал, значит код норм.
Dexex
Представляешь ты устанавливаешь софт типа браузера. При краше его за место признания проблемы тебя отправляют курить документацию? Если настройки дефолтные, а железо исправное - это баг 100% без исключений.
Dexex
А как может быть верное администрирование, если ты систему не понимаешь?
Опять размытая граница. Что такое "понимание"? У тебя браузер работает? Ты полностью понимаешь как он работает?
Khajiit
Ошибка в документации?
Скорее, просто не исправили. Раньше требовалось ещё в drop_caches писать, чтобы память освободить Недавно вводил ещё одну ноду proxmox 7.2 в кластер, забыл оттюнить модули — был приятно удивлен
Khajiit
Представляешь ты устанавливаешь софт типа браузера. При краше его за место признания проблемы тебя отправляют курить документацию? Если настройки дефолтные, а железо исправное - это баг 100% без исключений.
Некорректная аналогия. Браузер в принципе предназначен для использования не квалифицированными людьми. Инструменты администрирования — наоборот
Dexex
Некорректная аналогия. Браузер в принципе предназначен для использования не квалифицированными людьми. Инструменты администрирования — наоборот
Ничего не меняется. Я не должен понимать всех дебрей. С точки зрения использования ФС - я пользователь. Точно такой же, как и пользователь браузера. Потому что это не моя зона ответственности.
Artem
Опять размытая граница. Что такое "понимание"? У тебя браузер работает? Ты полностью понимаешь как он работает?
В детялях я боюсь не существует такого человека. Но если браузер пожрал память, то я буду выяснять, какие вкладки этим страдают, например.
Dexex
Позвоните своему сисадмину (С)
Звонил вам выше по чату несколько недель назад. Вы не знаете что делать.
Artem
Звонил вам выше по чату несколько недель назад. Вы не знаете что делать.
Да лень просто всем. Тыж денег не платишь, а хочешь халявы
Dexex
Поэтому копай не копай. Если есть баги - ссылать на волшебную документацию смысла нет. Одно дело, когда ты полез зная что делая и изменил настройки и занялся тюнингом. Другой вопрос, когда у тебя соблюдены все требования и тебе говорят - что ты что то делаешь не так и что то не умеешь.
Dexex
Да лень просто всем. Тыж денег не платишь, а хочешь халявы
Это вообще смешно даже. Прекрасная ФС. Прекрасная! Лучшая реклама.
Artem
Это вообще смешно даже. Прекрасная ФС. Прекрасная! Лучшая реклама.
Если тебе нужен запорожец возить картофан с дачи, то не бери шагающий экскаватор, блин, особенно не зная как им управлять
Pavel
Скорее, просто не исправили. Раньше требовалось ещё в drop_caches писать, чтобы память освободить Недавно вводил ещё одну ноду proxmox 7.2 в кластер, забыл оттюнить модули — был приятно удивлен
Да любопытно, когда я последний раз гуглил, а это было давно, ответ был нет, перегружайте ноду, но может я не догуглил конечно. Кстати в 8.3 уже при инсталляции они автоматом пишут /etc/modprobe.d/zfs.conf ограничивают 16GB помоему, но можно любое поставить в опциях установщика.
Dexex
У всех работает, у тебя не работает. Интересный у тебя вывод ;)
Пока. И у меня работала. На самом деле за 5 лет использования багов и всяких странностей ужасное количество я нашел. И все эти баги я нашел в issue. Половина без решений. Это факт. А у вас - документация.
Dexex
Если тебе нужен запорожец возить картофан с дачи, то не бери шагающий экскаватор, блин, особенно не зная как им управлять
Нет. Полная ерунда. Мы говорим о том, что экскаватор может копать, а он перестает копать, ты дергаешь за рычаг, но у тебя колесо внезапно отваливается.
Dexex
В том то и прикол, что где то работает, где то нет. Нет никакой стабильности и нет понимания что на что влияет. Если нагрузки серьезной нет - вроде все отлично. Начинаем юзать нормально функции и пошло поехало, не знаешь где наступишь на мину, которая висит в issue. А там я как начинаю думать о возврате, читаю - стращно.
Artem
Значит не используй зфс, если тебе не нравится. Ради каких суперфич оно вообще было выбрано?
Pavel
Да лень просто всем. Тыж денег не платишь, а хочешь халявы
Перейдем в практическое русло. 1) Сколько стоит Ваша консультация в виде развернутой рекомендации, которая сработает? 2) Сколько стоит тюнинг пула под нагрузку (включая твикинг ОС)?
Dexex
Значит не используй зфс, если тебе не нравится. Ради каких суперфич оно вообще было выбрано?
Да мне говорили как здорово со снапшотами, с этими снапшотами и возникли проблемы. Поэтому юзаю xfs. Смысла в этом нет. Программные снапшоты прекрасно работают на ssd, смысла 0.
Dexex
Со снапшотами в целом хорошо. Но они же не только у зфс есть?
Я потестил и не увидел никакого особого буста в сравнении с qcow. relink на xfs работает замечательно. Сжатие оказалось бесполезной херней - 5, 10% максимум.
Dexex
По прежнему какой дедик не купишь - там mdadm и xfs. ZFS ниразу не встретил. Хостеры что то не уверены