Mikhail [azalio]
Посмотрю как там теперь
Andrew
Определенно деньгами и плюхами заманили сволочи :D
Mikhail [azalio]
Определенно деньгами и плюхами заманили сволочи :D
Ну там ещё и люди из яндекса появились
Andrew
Угу, знаю-знаю...
G72K
Апеллирование к авторитетам не есть конструктивная дискуссия
Andor
он не к авторитетам аппелирует, а к информации в статье вроде бы
Sergei
Да какая разница :) Я просто к кому что есть конторы большие где в каких-то местах есть гента
в мейлру или в гейдев-студиях, которые купило мейлру?
Andor
или я не так прочитал?
G72K
он не к авторитетам аппелирует, а к информации в статье вроде бы
Я прочитал "даже разработчик сгруп говорит своп это хорошо"
Andrew
Сначала надо прочитать статью, и еще раз подумать.
Andor
это вывод из всей статьи или из заголовка?
G72K
Сначала надо прочитать статью, и еще раз подумать.
Давайте без наставлений, статью читал когда она вышла.
Andrew
Ну отлично тогда.
Andrew
Вы буквоедством собрались заниматься или что-то конструктивное скажете?
G72K
Статья не говорит о потере предсказуемости системы
G72K
Еще не говррит о локах в mm подсистеме, когда вовремя свопа даже minor page fault ждет диска
G72K
Но предсказуемость самое главное. Вся суть свопа в том , что когда кто-то разжирел, кто-то страдает причем не обязательно тот, кто жиреет.
G72K
В кубе не бывает состояния равновесия, когда все разложилось на диск и остается как есть. Всегда что то меняется, в таких условиях надежно отгрузить на диск только не нужное алгоритмов не придумали.
G72K
Особенно плохо если дергают туда сюда жирный kubelet
G72K
Весь куб построен на том , что под получит столько сколько запросил в requests, может получить больше, но вот сколько в requests запросил, столько точно будет. Своп ломает это, "получить" памяти из свопа приятного мало.
Vadim
G72K
Про requests в кубе? :)
Maksim
Sergei
только кубелет не гипервизор
Sergei
и libvirt (квм) например умеет лочить всю память, выделенную домену
Vadim
Про requests в кубе? :)
хорошо, давайте вслух прочитаем части про memory.low. Как это можно применить к кубернетесу?
G72K
хорошо, давайте вслух прочитаем части про memory.low. Как это можно применить к кубернетесу?
Куб разве с Cgroup2 живет?
Andor
куб про это не в курсе вроде, это задача докера/ркт/етц
G72K
хорошо, давайте вслух прочитаем части про memory.low. Как это можно применить к кубернетесу?
"cgroup v2 has a tunable per-cgroup in the form of memory.low, which allows us to tell the kernel to prefer other applications for reclaim below a certain threshold of memory used. This allows us to not prevent the kernel from swapping out parts of our application, but prefer to reclaim from other applications under memory contention. " т.е. "мы подкрутим у себя,чтобы страдали другие" ?
Vadim
"cgroup v2 has a tunable per-cgroup in the form of memory.low, which allows us to tell the kernel to prefer other applications for reclaim below a certain threshold of memory used. This allows us to not prevent the kernel from swapping out parts of our application, but prefer to reclaim from other applications under memory contention. " т.е. "мы подкрутим у себя,чтобы страдали другие" ?
да. А какие варианты - оставить на усмотрение OOM killer'а?
Andor
скор оом-киллеру крутить!
Vadim
пусть оно лучше свапнет мне баш, чем СЛУЧАЙНО мне весь etcd
Andor
скажите где взять метрику про куберовские requests?
Andor
https://github.com/kubernetes/kubernetes/issues/40214 ага, нигде
Andor
как сказать начальству, что если у нас sum(container_spec_memory_limit_bytes) > sum(machine_memory_bytes), то рано или поздно нам будет жопа?
One
так и скажи
Andrew
Просто сообщить формально это и ждать жопы.
Andrew
А когда она настанет - сказать -я же блять говорил!
One
тебя для этого и держать
Andrew
Вот тут вот смотрите, говорил!
Andor
ну это уже сделано
One
служебку напиши =)
One
чтоб контраст был с говорением
Andor
ну я в служебном чяте написал
Andrew
Неее
Andrew
чат не подходит.
One
или выпили лишние контейнеры нахрен и скажи - "Местов более нетути!"
Andrew
Таск трекер есть?
Создаешь таску с уведомлением руководства, описываешь ситуацию и пути решения. Все.
Andor
ну да, так и сделаю
Andrew
Ну или письмом на мыло с CC.
Sergey
На имя генерального директора донос. Считаю долгом комсомольца доложить, что sum(container_spec_memory_limit_bytes) > sum(machine_memory_bytes)
Sergey
И в ФСБ копию
Sergei
а у вас ещё нет специальной апишки, которая на выходе генерирует бумажное письмо, а хендлером к ней присобачена секретарша?
One
Хуйню не лечим, а пиздец неизлечим =)
Andor
не, кажется он уже понял в чём проблема
Andor
и чем нам это грозит
One
срочно прицепляй раздел свопа, kubelet его шатай )
Andor
был бы ещё своп для cpu
Andor
с ними та же фигня
Sergey
для CPU есть оверкоммитмент
Sergey
для памяти кстати тоже :)
Andor
да ну нахер
Andrew
Оверкомит в подавляющем большинстве случаев, это плохо.
G72K
пусть оно лучше свапнет мне баш, чем СЛУЧАЙНО мне весь etcd
Может лучше пусть оно вообще не своими? Мои претензии к свопу, что страдают невинные приложения от аппетитов проблемных. Заставлять куски кода, которые не рассчитаны на задержки ждать до единиц миллисекунд нельзя назвать хорошим решением. Скажем жаве, full GC приходит и всем и так несладко, а если придется еще и из свопа по указателям ходить то совсем жопа
Andrew
Ждал этого коммента )
Sergei
Оверкомит в подавляющем большинстве случаев, это плохо.
а вы vm.overcommit имеете в виду или оверселлинг?
Andrew
О
Andrew
правильный вопрос )
Andrew
Конечно же оверселлинг.
Sergei
а то вы вроде адекватный
Sergey
У меня был кластер в 10 раз по CPU переподписанный :) Небольшой правда, но ниче, вертелось. От нагрузки зависит - если там batch-задачи ETL-ные раз в 10 минут запускаются, то оно вообщем-то и пофиг
One
vm.overcommit=2
One
браузеры не разжиреют
G72K
vm.overcommit=2
Когда Go не умел vfork это было единственным способом оживить докер , когда он даже Docker ps не мог сделать :)
G72K
Нет =1 :)))
Sergei
let the srach begin
Viacheslav
Мне прям неловко, одним вопросом столько розжига 🙂