я бы рекомендовал своп, гигов 16-32 на ноде

это очень плохой вариант. Сервер толстый, начнет писаться в своп - закончатся чищенные блоки на ссд. Закончатся блоки - при новых попытках записать все встанет раком. Даже если под это сделать вообще отдельный ссд, я проверял.

да, intel s3610 тоже встает раком. и s3700

сильно позже, чем обычные диски, но таки тоже

если сделать рейд зеркало из двух ссд и на него положить свап - тогда это почти работает. Почти - потому что иногда, хотя уже и редко, оно тоже начинает тупить и тогда снова всё

я правильно понимаю, что единственная ручка, которую можно покрутить это vfs_cache_pressure по сути?

Ну там ещё есть горстка NUMA крутилок

в итоге печально, но запускать по крону echo 1 > /proc/sys/vm/drop_caches пока работает лучше всего

Тебе же надо память уменьшить

дентри у меня на 50 мегабайт. кешед - на 60 гигабайт. толку мне от уменьшения дентри?

тогда увы

cat /proc/meminfo | egrep -i "cache|dirty" Cached: 64354796 kB SwapCached: 0 kB Dirty: 39804 kB

поставлю вопрос иначе. Я хочу, чтобы когда памяти нет - отстреливался дисковый кеш, а не запущенные процессы. Как???

Всё ещё не понимаю. Если у тебя нет свопа, то единственное что может "отстреливаться" это заммапленый .text, который и есть cached.

Всё ещё не понимаю. Если у тебя нет свопа, то единственное что может "отстреливаться" это заммапленый .text, который и есть cached.

а в реальности происходит: [13023247.775976] OOM kill in rage task 127705 (httpd) score 9 in ub 601 [13023247.776060] OOM kill in rage task 125147 (httpd) score 9 in ub 601 [13023247.776145] OOM killer in rage, 16 tasks killed in ub 601 [13023247.776191] Out of memory in UB 601: OOM killed process 127827 (php-fpm56) score 8 vm:930224kB, rss:76348kB, swap:0kB

без свопа опасно, с ним более-менее ОК будет

По мне так наоборот - стопящаяся система хуже той что умирает по ООМ время от времени

и чтобы веселее - cat /proc/user_beancounters дает по нулям failcnt

ну т.е. это наверное тогда баг опенвз, а не линукса в целом, но мне от этого не легче

vm.min_free_kbytes пробовал поднимать? ну или прости госпади vm.compact_memory по крону, если ядро говно

моя проблема в том, что кэш занимает 20-30-40% озу и сервер начинает свопиться. выключить своп?

очень напоминает пробелму с vm.zone_reclaim_mode

дентри у меня на 50 мегабайт. кешед - на 60 гигабайт. толку мне от уменьшения дентри?

А dirty? Хотя, там процент от памяти. Но порезать cached никак. Только o_direct или fadvise/madvise

А dirty? Хотя, там процент от памяти. Но порезать cached никак. Только o_direct или fadvise/madvise

cat /proc/meminfo | egrep -i "cache|dirty" Cached: 64354796 kB SwapCached: 0 kB Dirty: 39804 kB

cat /proc/meminfo | egrep -i "cache|dirty" Cached: 64354796 kB SwapCached: 0 kB Dirty: 39804 kB

Логично.

Ты странного хочешь от mm

vm.min_free_kbytes пробовал поднимать? ну или прости госпади vm.compact_memory по крону, если ядро говно

пробовал, про vm.compact_memory сейчас почитаю

Available only when CONFIG_COMPACTION is set и я не знаю как там у опенвз, но включил, посмотрим завтра что будет

но по описанию - вряд ли оно что-то меняет для моей проблемы

ну его нужно переодически дёргать, чтоб он дефрагментировал страницы - результат будет в % cat /proc/buddyinfo Node 0, zone DMA 0 0 1 1 0 1 1 0 1 1 3 Node 0, zone DMA32 3753 680 591 1152 225 272 254 189 134 96 40 Node 0, zone Normal 147109 87475 46182 19590 8260 3596 1528 644 219 41 1 Node 1, zone Normal 186493 96649 34493 24677 10216 3266 1012 208 9 0 0

cat /proc/buddyinfo Node 0, zone DMA 2 0 1 2 1 1 0 0 1 1 3 Node 0, zone DMA32 13322 11257 9427 7666 5884 3872 2154 769 178 30 1 Node 0, zone Normal 546 288 255 32 7 147 4676 1735 0 0 1

но я что-то затрудняюсь сделать какие-то выводы из этой таблицы

после сжатия cat /proc/buddyinfo Node 0, zone DMA 2 0 1 2 1 1 0 0 1 1 3 Node 0, zone DMA32 166 1165 835 502 1014 971 536 217 54 9 1 Node 0, zone Normal 84126 10184 3030 1086 239 141 85 1075 4 1 1

но я всегда думал, что аллокатор если что - возьмет несколько кусков, и oom для такого маленького процесса как nginx ну уж никак не должен случаться

ну, оно зависит от того кто просит - если само ядро, то весьма вероятно ему последовательный участок нужен

он забирает своп потому что у тебя не хватает памяти на процессы а не на файловый кеш

ну, оно зависит от того кто просит - если само ядро, то весьма вероятно ему последовательный участок нужен

что-то я логики не понимаю - судя по тому что у меня получилось выше - сжатие сделало хуже - кучу маленьких блоков по 4 килобайта

он забирает своп потому что у тебя не хватает памяти на процессы а не на файловый кеш

у меня нет свапа

мы так жаву запускали я помню

с drop_cache по крону

лет 10 назад

у тя ядро тех времен?)

а vm.min_free_kbytes попробовал?

у тя ядро тех времен?)

типа того. опенвз

ну выше тут уже обсуждали, vm.min_free_kbytes = 1000000

и что, не свободно столько?

сейчас не воспроизвести, нагрузка уже спала, днем посмотрю что будет

не вычищается cached?

и что, не свободно столько?

нагрузка спала, свободно 3 гига

не вычищается cached?

нет

я бы предложил обновить ядро нооо

и это опять же на ноде, внутри контейнера этим не порулить

да я бы с радостью )

возможно то что ты на ноде правишь игнорируют то чего там контейнеры накешировали)

дроп кеш - дропает всем

А мож этот кеш кем то активно юзает и он не может быть вытолкан ?

дропкеш же выталкивает

Там же вроде в меминфо анон анрек есть

ну и да, активно юзается, тысячи сайтов

Он выталкивает то что рек.

но после дроп кеша он обратно растет медленно

А

Понял

Беда :(

днем минут 20 на сервере с 32 гига памяти и около часа на сервере с 128

дроп кеш - дропает всем

Можно не всем.

Но надо знать fd

Ну или какие именно файлы в кеше

Но все равно это решение не той задачи, кмк

лет 10 назад я для пообных говнохаков package'ил vmtouch https://github.com/hoytech/vmtouch/commit/3c8071b67965fa5945904933d051b24a0a9d71d1

лет 10 назад я для пообных говнохаков package'ил vmtouch https://github.com/hoytech/vmtouch/commit/3c8071b67965fa5945904933d051b24a0a9d71d1

FADV_DONTNEED ?

Угу, но в основном это для админов было чтоб понимать какие куски поисковой базы в памяти, через mincore

но можно было и в скрипты которые логи парсят запихивать, чтобы логами cached не смывать

ERROR: S client not available

(но потом появились cgroup'ы и вся эта магия перестала быть нужной)

Айтишники Урала, на конференции UWDC-2017 в Челябинске в конце мая будет секция по Devops, вдруг кому интересно? Есть чатик конференции, присоединяйтесь: https://t.me/uwdcconf

Про UWDC-2017 поддержу. Кстати, если есть интерес в том, чтобы что-то рассказать и получить признание и славу))), пишите мне или Олегу.

ну на них любая архитектура ложится по большому счёту. с оговоркой, что для некоторых целей дедики дешевле чем инстансы.

не любая. у них сети ущербные- ни мультикаста, ни роутинга нормального. если в основе продукта тесная интеграция с сетями, то взлетает сложно и муторно

моя проблема в том, что кэш занимает 20-30-40% озу и сервер начинает свопиться. выключить своп?

проверьте что у б вас vm.zone_reclaim_mode=0 стояло в sysctl

Был недавно в Яндексе. Заговорили про sre и devops. В общем оказалось, что sre - это админы, научившиеся программировать, а devops - это программисты, пытающиеся админить.

как всё плохо-то

Был недавно в Яндексе. Заговорили про sre и devops. В общем оказалось, что sre - это админы, научившиеся программировать, а devops - это программисты, пытающиеся админить.

Ну так-то да)

ну SRE это изначально програмисты которых заставили админить, не?

а тогда в чём отличие от девопсов?

А разве там не наоборот

тем, что devops'ы пишут/деплоят свой софт, а не ифраструктуру?

проверьте что у б вас vm.zone_reclaim_mode=0 стояло в sysctl

увы, так и стоит

а тогда в чём отличие от девопсов?

в том, что девопсов не существует?

очень напоминает пробелму с vm.zone_reclaim_mode

спасибо за совет, но нет (по крайней мере похоже, что нет, сейчас проснусь и разберусь до конца)

Был недавно в Яндексе. Заговорили про sre и devops. В общем оказалось, что sre - это админы, научившиеся программировать, а devops - это программисты, пытающиеся админить.

Норм, да Еще девопс имхо это подход, при котором админы говорят разработчикам "хочешь эту нестабильную штуку в прод? Окей, только в контейнер ее и ревлизуем как микросервис" ))

Ладно, оффтоп, люди серьезную проблему же обсуждают)

Норм, да Еще девопс имхо это подход, при котором админы говорят разработчикам "хочешь эту нестабильную штуку в прод? Окей, только в контейнер ее и ревлизуем как микросервис" ))

никогда у вас не будет девопса если одни указывают другим что делать

Ну вот, а у меня розовые мечты)

Вообще идея в том, что подход нужно всем принять Тогда это не указвние, а следование подходу

опять кому то что то нужно принимать как веру

а вы крестоносец такой

никогда у вас не будет девопса если одни указывают другим что делать

В любом проекте должен быть диктатор, иначе получается SaltStack =)

лидер с авторитетом возможно

диктатор нет

Диктаторы есть во всех нормальных проектах - в линуксе есть Linus, во FreeBSD есть Core team, в OpenBSD есть de Raadt

опять кому то что то нужно принимать как веру

М, а расскажете, как правильней?

неа, у меня всё ещё хуже

(к слову о OpenBSD, не могу не вбросить: http://cvsweb.openbsd.org/cgi-bin/cvsweb/src/usr.bin/mg/Attic/theo.c?rev=1.152&content-type=text/x-cvsweb-markup -- листать до static const char *talk[] = { ... })

Диктаторы есть во всех нормальных проектах - в линуксе есть Linus, во FreeBSD есть Core team, в OpenBSD есть de Raadt

вы приводите ситуацию когда диктатор +\- адекватен относительно того, чего хочет комьюнити проекта

THEO АДЕКВАТЕН?!

там скорее комьюнити находит тот проект в котором ей уютно