Не надоканонизировать фря

или надо?)

В дефолтный настройках только в путь. Сплошь и рядом такое

Так всё равно на эту область памяти висит claim, не важно свободная она или нет

Так всё равно на эту область памяти висит claim, не важно свободная она или нет

я тебя не понял

я тебя не понял

ZFS аллоцирует кусок памяти под ARC, и KVM не может от него отхватить KVM, так как он зарезервирован ARC, неважно полностью он заполнен или нет

ZFS аллоцирует кусок памяти под ARC, и KVM не может от него отхватить KVM, так как он зарезервирован ARC, неважно полностью он заполнен или нет

нет

нет

Что "нет"?

Ты не понял

Можно указать сколько держать памяти свободной, и тогда память не алоцирована zfs

и её может взять кто угодно

а как её взяли и свободной нет zfs снова отдаёт память чтобы всегда держать нужный объём свободным

/sys/module/zfs/parameters/zfs_arc_sys_free

в дефолте оно 0, а значит zfs моет скушать всю ОЗУ и тогда ядро начнёт кикать процессы

ZFS аллоцирует кусок памяти под ARC, и KVM не может от него отхватить KVM, так как он зарезервирован ARC, неважно полностью он заполнен или нет

у ARC нет резервирования ОЗУ неиспользуемой, окромя совсем базовых минимумов. zfs_arc_max ограничивает сверху сколько памяти МОЖЕТ быть максимально использовано. Плюс ZFS подписан в ядре на запрос освобождения памяти когда её не хватает, и в этой ситуации не моментально, но отдаст сколько попросят

(запрос памяти от pagecache ЕМНИП тоже не моментальный, безотносительно zfs)

в дефолте оно 0, а значит zfs моет скушать всю ОЗУ и тогда ядро начнёт кикать процессы

Ядро не будет убивать процессы, т.к. zfs потребляет память под кеш и в случае необходимости кеш без проблем высвобождается.

Ядро не будет убивать процессы, т.к. zfs потребляет память под кеш и в случае необходимости кеш без проблем высвобождается.

Я тоже так думал, а на деле ядро валит процессы по оом

Это факт

Арк кеш в этом плане меня сильно разочаровал

Я тоже так думал, а на деле ядро валит процессы по оом

Истинная правда, сам сталкивался с этим.

Я тоже так думал, а на деле ядро валит процессы по оом

Я не думаю и не предполагаю, я знаю. И проверял лично. А по поводу оом - это уже к нему вопросы и к его алгоритмам.

Забиваем кеш, запускам процесс который жрет память - смотрим как кеш высвобождается.

Забиваем кеш, запускам процесс который жрет память - смотрим как кеш высвобождается.

Забивал кеш на 70гб из 128гб, запуска виртуалки, и ядро кикало виртуалки которая съела 30гб

Факт

Если не ставить минимально свободный объем ОЗУ арк кешу срать

Он не воспринимается как то что может быть высвобождено

Забивал кеш на 70гб из 128гб, запуска виртуалки, и ядро кикало виртуалки которая съела 30гб

забивал кеш, запускал питоновский скрипт который жрет много памяти, видел как высвобождается арк, факт

Забивал кеш на 70гб из 128гб, запуска виртуалки, и ядро кикало виртуалки которая съела 30гб

ну так оом приходит раньше полного окончания памяти, забил всё - здрасьте. И свапа нет, видимо?)

забивал кеш, запускал питоновский скрипт который жрет много памяти, видел как высвобождается арк, факт

Какая ос, какая версия зфс? Настройки минимально свободной ОЗУ сделаны?

т.е. съесть всё и пока кеш освобождается оом может успеть, да

Какая ос, какая версия зфс? Настройки минимально свободной ОЗУ сделаны?

Стоковая конфигурация фряхи, объем озу был в 16гб

ну так оом приходит раньше полного окончания памяти, забил всё - здрасьте. И свапа нет, видимо?)

Конечно свапа нет, на кой он нужен??? Чтобы свапить когда зфс сожрал все?

Бред

Конечно свапа нет, на кой он нужен??? Чтобы свапить когда зфс сожрал все?

вот от моего коллеги на почитать, там ещё и продолжение есть https://habr.com/ru/post/540104/

ну так оом приходит раньше полного окончания памяти, забил всё - здрасьте. И свапа нет, видимо?)

Вопрос, с точки зрения ядра arc кэш не тождественен файловому кэшу? Т.е. ядро не считает эту память высвобождаемой?

и оом когда памяти мало и ещё не освободили - нормален

Стоковая конфигурация фряхи, объем озу был в 16гб

Либо он выдаёт память постепенно либо там другая логика нежели в линукс

вот от моего коллеги на почитать, там ещё и продолжение есть https://habr.com/ru/post/540104/

Я знаю что такое свап

Забивал кеш на 70гб из 128гб, запуска виртуалки, и ядро кикало виртуалки которая съела 30гб

Особенно красиво не на квм, а на lxc под pve, шиш поймешь потом, чего процессы померают

Он мне не нужен, у меня достаточно ОЗУ чтобы его не использовать

Вопрос, с точки зрения ядра arc кэш не тождественен файловому кэшу? Т.е. ядро не считает эту память высвобождаемой?

в линуксе - не полностью тождественен пока, там есть сложности, но это не сильно к вопросу относится этому, освобождение кеша в принципе операция не моментальная

Это я ещё молчу как балун нг работает если арк кеш не обуздать)

В итоге все виртуалки будут на минимальном объёме, зато зфс сыт

в линуксе - не полностью тождественен пока, там есть сложности, но это не сильно к вопросу относится этому, освобождение кеша в принципе операция не моментальная

Пока? А есть варианты что ZFS нативно в ядро примут или какие иные варианты?

в линуксе - не полностью тождественен пока, там есть сложности, но это не сильно к вопросу относится этому, освобождение кеша в принципе операция не моментальная

Что-то с пейдж кешем ядра я ниразу не сталкивался с проблемами)

Повторюсь, если установить в зфс минимальный объем свободной памяти все работает хорошо

Но в стоке хрень полная

Пока? А есть варианты что ZFS нативно в ядро примут или какие иные варианты?

в состав ядра ему пока не светит

в состав ядра ему пока не светит

Ну он уже работает как модуль

Что-то с пейдж кешем ядра я ниразу не сталкивался с проблемами)

Сорри, не удержался

Сорри, не удержался

Он ведь даже в хтопе не жёлтым, а зелёным, как обычная юзер память

Сильно сбивает с толку когда не понимаешь это

Он ведь даже в хтопе не жёлтым, а зелёным, как обычная юзер память

но это не значит что этот кеш доступен моментально

а кему хочет память сразу и одним запросом

но это не значит что этот кеш доступен моментально

Пейджкеш доступен моментально

Я лично не раз видел как жёлтая полоса забита до конца, запускаем большой процесс и ничего не кикает

Пейджкеш доступен моментально

nope

Никогда, ниразу

Всегда прям безотказно

в самом простом случае пейджкеш может содержать грязные данные которые ещё не сброшены на диск

Я не первый день наблюдаю за этим

Даже не первый год

в самом простом случае пейджкеш может содержать грязные данные которые ещё не сброшены на диск

Не надо в крайности)

Я понимаю что условности есть

С зфс же вообще даже без условностей это не работает

Пейджкеш доступен моментально

ну это крайность

В зфс нормальное поведение только в случае если попросить зфс держать свободным какой-то объем озу

И то я бы не сказал это идеал ным инструментом, но в целом норм

root@foton:~# zfs -V zfs-2.1.2-pve1 zfs-kmod-2.1.2-pve1 root@foton:~# free -m total used free shared buff/cache available Mem: 32009 28346 2868 59 794 3173 Swap: 0 0 0 root@foton:~# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% size c avail 00:14:19 0 0 0 0 0 0 0 0 0 6.0G 6.0G 2.0G root@foton:~# stress -m 1 --vm-bytes 6000M -t 10 --vm-keep stress: info: [65277] dispatching hogs: 0 cpu, 0 io, 1 vm, 0 hdd stress: info: [65277] successful run completed in 10s root@foton:~# arcstat time read miss miss% dmis dm% pmis pm% mmis mm% size c avail 00:14:40 6 1 17 1 17 0 0 1 25 2.8G 2.9G 6.1G root@foton:~# free -m total used free shared buff/cache available Mem: 32009 24425 7254 59 328 7138 Swap: 0 0 0 root@foton:~# grep oom /proc/vmstat oom_kill 0

Я ведь не придумываю)

по arc только options zfs zfs_arc_max=6442450944 менялся

и кстати, свапа нет)

по arc только options zfs zfs_arc_max=6442450944 менялся

Ну то есть не дефолт)

Ну то есть не дефолт)

ну так смотри что размер ARC и уменьшился

Вот и я меняю только параметр для поддержания свободной озу

И всё работает

А на случай если не успеет у меня есть самописный скрипт который рубит кеш

В таком ключе все без проблем

К слову на более чем половине установок все работает корректно, ну не считая балуна))))

Оом случается там где есть процессы которые любят кушать)

К слову на более чем половине установок все работает корректно, ну не считая балуна))))

Я про дефолт