George
Проксмокс не показывает верные цифры
тут объявили охоту на ведьм и свободную память в linux
Fedor
😁 типа того)
Fedor
Сисцтл конечно можно подкрутить многое
Fedor
Но все таки лучше не надо 😁
Алексей
Ну я подумаю, просто надо же пощупать
Алексей
Я сам себе васю начинаю напоминать из соседнего чата
Алексей
Алексей
и в то же время
Алексей
Алексей
отожрал рам после ресива снапшота с другого хоста
Алексей
и не отпускает
Алексей
ну, если пнуть, отдаст конечно, но нафига он это барахло держит
Сергей
а как у вас пул собран?
Сергей
может он не успевает всё на диски сбрасывать? io delay у вас непомерно высокий между 19:50 и 20:20
Алексей
снапшот лтлся сутки назад
Сергей
arcstat что говорит?
Fedor
Сисцтл -а греп зфс
Fedor
И ещё греп мем
Алексей
а как у вас пул собран?
просто 4 отдельных харда каждый в своем пуле, без ибзбыточностей
Алексей
arcstat что говорит?
там много всего
Алексей
ну точнее мало
Алексей
спутал с arc_summary
Сергей
там 13G заняты под arc cache.
Алексей
да, вижу
Алексей
но арк точно в метадате
Алексей
многовато чето, нет?
Сергей
поэтому если очень жалко под кэширование содержимого дисков (харды ведь?), то огранчитьте arc_max_size
Fedor
половина оперативки вроде обычно уходит
Алексей
Сергей
многовато чето, нет?
если память "простаивает", то почему многовато?
Алексей
но хочется контроллировать
Сергей
оно умное, само отдаст память в хост при необходимости
Алексей
знаю, и отдает
Алексей
скажем так, окей
Алексей
есть кейс
Сергей
как в линуксе делается не знаю, увы
/etc/modprobe.d/zfs.conf​ : options zfs zfs_arc_max=
Fedor
👍
Алексей
мне нужно кэшировать контейнеры (приложения) и не нужно кэшировать холодные данные для этих контейнеров
Сергей
знаю, и отдает
ну Георгий же правильно пошутил - охота на свободную память)). Я вот наоборот переживаю когда много памяти свободной на хосте
Алексей
а у меня получается я залил снапшот и у меня весь арк (хорошо половина) опустошился
Алексей
я не хочу его опять греть, он должен мне бытть при деле
Сергей
покажите zfs list -t all -o type,name,used,avail,compressratio,logbias,sync,atime,primarycache,secondarycache
Алексей
X
хм у меня primarycash all
Сергей
хм у меня primarycash all
у меня тоже. не переживайте))
Сергей
atime где-то используете?
Алексей
приложения в containers
Алексей
там сейчас все отключено, только потому что весь пул containers целиком это рам диск
Алексей
планируется специфическую часть приложения, которая сейчас находится в медленных пулах поместить в отдельные датасеты и там уже включить кэш
Алексей
тогда в пулах останутся только реально холодные данные под которые только метадата нужна
Сергей
там сейчас все отключено, только потому что весь пул containers целиком это рам диск
судя по zfs у вас для контейнеров отключено всё кэширование, а для холодных данных включена мета. Ну и заодно atime. Это так и планировалось?
Алексей
(просто чтобы понимать объем холодных данных это несколько десятков тб
Сергей
atime возможно пропустил остальное верно
просто ранее вы писали что контейнеры нужно кэшировать, а холодные данные - нет. тут как бы наоборот
X
тоесть приложения отключен кэш.... но он же их в памяти держить в RAM///
Алексей
ну оговорился, да. контейнеры полностью в оперативке. но часть данных которые сейчас в пулах (на хардах нужно кэшировать) вынести их на отдельный датасет с кэшем, т.к в раму они не влезут
Алексей
полностью
X
а обьем позвольте спросить конетйнеров?
Алексей
выделенно 4гб на все (но с учетом дедупликация плюс сжатие занято примерно гига 3)
Сергей
ну у меня пока складывается ощущение что у вас arcstat показывает что вы кэшем меты своих ТБайт заняли. попробуйте вообще на всех пулах отключить кэширование и посмотрите будет ли у вас arcstat показывать рост можно сделать: sync; echo 3 > /proc/sys/vm/drop_caches; sync сбросите все кэши на диск
Алексей
во
Алексей
спасибо Сергей, попробую
Сергей
у вас на zfs dedup включен?
Алексей
включен только в пуле containers
X
хм а вот обязательно отключать atime ?
Алексей
я сделал sync=off
Сергей
включен только в пуле containers
он весьма прожорлив до памяти
Алексей
так что атайм мне кажется уже побоку
Сергей
хм а вот обязательно отключать atime ?
если в приложениях не используется, то смысл?
X
нет , я просто взагали спросил...
Алексей
он весьма прожорлив до памяти
да, но до того как я залил датасет памяти было свободно полно
Сергей
так что атайм мне кажется уже побоку
каждый "чих" на файл- пишет в пул изменение.
X
чих то чих, а разве в стандартном вараенте не пишется? допусти когда чтото запускается