Fess
Всем привет
Fess
Подскажите, с версией Docker 17.09.0-ce Kuber норм работает?
Dmitrii
У меня 17.09/17.12 в кластере, вроде ок
Viacheslav
Вопрос: а зачем kubespray требует, что бы везде был отключен swap? Ведь со свапом лучше, чем без него
Dmitry
Вопрос: а зачем kubespray требует, что бы везде был отключен swap? Ведь со свапом лучше, чем без него
swap - весёлый источник неожиданных тормозов
Старый
Viacheslav
Ну это как "не буду варежки брать, а то вдруг руки отморожу. пусть будут в карманах"
Viacheslav
Толстый троллинг
при чем тут троллинг? я реально не понимаю мотивов, ибо весь мой опыт говорит, что линуксы со свопом живут лучше, чем без свопа
Dmitry
Anonymous
Многие используют своп как ручку: умирать процессам быстрее и веселее либо медленно и печально, кому что нужно бывает.
Старый
при чем тут троллинг? я реально не понимаю мотивов, ибо весь мой опыт говорит, что линуксы со свопом живут лучше, чем без свопа
У вас очень странный опыт, я без свопа живу уже года 4 вообще и не вижу с него давно смысла, а бд и докер хосты от Свапа вообще тупят
Aleksey
Не говоря уже про java
Etki
джава-то как от всего остального отличается?
Aleksey
Вот зря я про джаву написал - сейчас начнется...))
Maksim
Скажем так, живя в виртуальном окружении на VM от VMware или KVM смысла во свопе 0 -)
Andor
самое прикольное, что на вопрос никто не ответил
Andor
и начали свои впечатления рассказывать
Andor
Aleksey
самое прикольное, что на вопрос никто не ответил
Тормозит, течет и глючит - ну что ещё про своп сказать
Eugene
Известная бага, гуглите пул реквесты в куб по grpc 1.7.5 и оттуда до issue где пишут о зависаниях apiserver при рестарте etcd. Другой путь к той же баге - гуглить как ковбои из Monzo куб роняли
Я вчера кажется как раз на это issue и натыкался когда пытался выгуглить решение проблемы.
https://github.com/kubernetes/kubernetes/issues/47131
Но, как я понимаю, решения то и нет для стабильной версии куба. И бэкпортировать решение они не планируют.
Unfortunately, the PR introduces a lot of change. It bumps the versions of multiple major dependencies (etcd, docker, containerd, grpc, ...). I do not believe it is well suited for backport to stable kubernetes branches at this time. After 1.10 is released and this has had some time to bake in production, I'd be open to revisiting this, but for now let's limit it to k8s 1.10.
Andor
Тормозит, течет и глючит - ну что ещё про своп сказать
вопрос был не про своп, а про kubespray, не?
Eugene
Я просто не пойму, я особый счастливчик, что с таким столкнулся или никто широко просто не использует HA для api в кубернетесе?
Viacheslav
Ну в общем и целом я понял аргументацию. Для 99%, кто разворачивает кубики в облаках, своп действительно вреден.
Eugene
Как решать то такое на текущей версии.
Max
Eugene
Я использую
и вы с проблемой залипания api не сталкивались при отключении одного из etcd серверов?
Maksim
Если честно почему Kubespray требует отклчения свапа я не знаю, могу сказать, почему это не обходимо в виртуальном окружении esxi и kvm -) Думаю в Докере смысл тот же
Vadim
Вопрос: а зачем kubespray требует, что бы везде был отключен swap? Ведь со свапом лучше, чем без него
kubelet_fail_swap_on, https://github.com/kubernetes-incubator/kubespray/blob/master/roles/kubernetes/node/defaults/main.yml
Viacheslav
kubelet_fail_swap_on, https://github.com/kubernetes-incubator/kubespray/blob/master/roles/kubernetes/node/defaults/main.yml
как отключить я знаю. мне сама логика удивила
Max
и вы с проблемой залипания api не сталкивались при отключении одного из etcd серверов?
Сталкивались) правда когда две ноды из трех падают
Vlad
Kubespray требует отключения swap потому-что это требует kubelet. Почему это требует кубер: https://serverfault.com/questions/881517/why-disable-swap-on-kubernetes
Eugene
Сталкивались) правда когда две ноды из трех падают
ну две из трех - это же ридонли уже у самого etcd начинается, а у меня проблема когда всего одна из трех падает и сам етцд пашет на отлично, а тупят сам апи сервера куба, (точнее etcd клиенты включенные в них)
Viacheslav
Kubespray требует отключения swap потому-что это требует kubelet. Почему это требует кубер: https://serverfault.com/questions/881517/why-disable-swap-on-kubernetes
Хм, а вот это логично. Хотя я как-то не сталкивался ...
Andor
@kiltum "админы локалхоста и прочие мамкины девопсы не умеют настраивать своп, поэтому мы будем требовать его выключать"
Viacheslav
@kiltum "админы локалхоста и прочие мамкины девопсы не умеют настраивать своп, поэтому мы будем требовать его выключать"
Аполитичное и не толерантное высказывание! 🙂
Dmitry
@kiltum "админы локалхоста и прочие мамкины девопсы не умеют настраивать своп, поэтому мы будем требовать его выключать"
Нынче память стоит не так дорого, чтоб смотреть в сторону медленного swap на диске. Просто некоторые умеют сайзинг железа подбирать, чтоб не требовались костыли потом в виде swap
Andor
да-да
Andrew
Нынче память стоит не так дорого, чтоб смотреть в сторону медленного swap на диске. Просто некоторые умеют сайзинг железа подбирать, чтоб не требовались костыли потом в виде swap
https://habrahabr.ru/company/flant/blog/348324/
Просто оставлю это здесь.
Dmitry
«По своей сути swap — это экстренная память; запасное пространство для случаев, когда система на какое-то время нуждается в большем количестве физической памяти, чем доступно в RAM. Она считается «плохой» в том смысле, что медленная и неэффективная, и если системе постоянно требуется использовать swap, очевидно, ей не хватает памяти. [..] Если у вас достаточно RAM для удовлетворения всех потребностей и вы не ожидаете её превышения, вы можете прекрасно работать и без swap-пространства».
не противоречит тому, что накосячили с сайзингам
Andrew
Ну, swap НЕ костыль определенно.
Dmitry
orly?
По своей сути swap — это экстренная память; запасное пространство для случаев, когда система на какое-то время нуждается в большем количестве физической памяти, чем доступно в RAM
Andrew
Ну прочитайте целиком статью, это ж несложно.
Maksim
Ну прочитайте целиком статью, это ж несложно.
Статья интересная, но в ней не рассматрвиается аспект виртуализации....
Dmitry
т.е. менее культурно: в случае факапа по потреблению памяти у тебя не упадёт всё, а будет деградация производительности
Maksim
Могу сказать, как Одмин vSphere и KVM с 10 летним стажем, swap для виртуалки = зло гипервизору
Dmitry
если ты контейнерам ограничил корректно память, то контейнеры будут убиты лимитами cgroup и не смогут воспользоваться свапом
Andor
вы можете не поверить, но в cgroup можно и swap настраивать для групп
Andrew
т.е. менее культурно: в случае факапа по потреблению памяти у тебя не упадёт всё, а будет деградация производительности
Вы тут решили декларировать общеизвестные истины? :)
Или может скорее стереотипы тех, кто не понимает как работает виртуальная память? :)
Dmitry
вы можете не поверить, но в cgroup можно и swap настраивать для групп
зачем? апгрейд сервера или +1 к кластеру решат проблему до её появления
Dmitry
а если неправильный сайзинг, у тебя есть шанс что редко используемый сервис может оказаться в swap, а значит кроме как на хелс-чеки оперативно ответить не сможет
Dmitry
если у тебя SOHO - то цена SLA ниже чем RAM с резервом
Dmitry
недавно имел дело с гипервизором, в котором накрутили больше виртуалок по оперативке, чем было реальной - в итоге не все могли работать одновременно, не говоря уже о дикой просадке по производительности дисковой подсистемы, насилуемой swap (некоторые машины там редко использовали, поэтому во благо популярных гипервизор отправил их в swap)
Andor
Чо прям гипервизор в своп отправил?
G72K
https://habrahabr.ru/company/flant/blog/348324/
Просто оставлю это здесь.
своп костыль. дисковый ввод-вывод ожидаемо долгий и программа к нему готова. схватить дисковую активность в случайном месте программы гораздо хуже, особенно если локи взяты. отключение свопа ведет к предсказуемому поведению, а значит хорошо
Andrew
Яснопонятно...
One
One
или гипер не дал бы ВМ создать?
Dmitry
без свопа все бы хлопнулось и ага
уж лучше видеть проблему сразу, чем пытаться подпереть костылями
One
Слово "костыли" используется сейчас, скоре чем как эмоция, чем разумный аргумент, в большинстве случаев
One
человеку не нравится - костыли, значт
Maksim
недавно имел дело с гипервизором, в котором накрутили больше виртуалок по оперативке, чем было реальной - в итоге не все могли работать одновременно, не говоря уже о дикой просадке по производительности дисковой подсистемы, насилуемой swap (некоторые машины там редко использовали, поэтому во благо популярных гипервизор отправил их в swap)
А прикинь когда Память в Гипервизоре занята тем самым 40 Гб свапом!!, потому что умный гипервизор вычислил, что виртуалка его кушает и разместил усебя в RAM, что бы виртуалочке было по быстрее
Andor
недавно имел дело с гипервизором, в котором накрутили больше виртуалок по оперативке, чем было реальной - в итоге не все могли работать одновременно, не говоря уже о дикой просадке по производительности дисковой подсистемы, насилуемой swap (некоторые машины там редко использовали, поэтому во благо популярных гипервизор отправил их в swap)
Мне кажется или пробема в этом кейсе - не в наличии свопа?
Maksim
Использование свапа на BAre Matal серверах вполне себе оправдо, и это логичный инструмен для взрывной активности, оданко нужно расчитывать память так, что бы свап не использовался.
Dmitry
Слово "костыли" используется сейчас, скоре чем как эмоция, чем разумный аргумент, в большинстве случаев
сейчас весь прод без swap - cgroup настроены так, чтоб в сумме после потребления максимальной памяти ещё осталось место под систему... даже используемый очень редко сервис там всегда будет в оперативке
Andor
сейчас весь прод без swap - cgroup настроены так, чтоб в сумме после потребления максимальной памяти ещё осталось место под систему... даже используемый очень редко сервис там всегда будет в оперативке
В этой ситуации своп вам не помешает вообще ни разу
Andrew
А правильно настроенный swappiness и cgroup еще и улучшит работу с памятью, сделает её более эффективной.
Andor
ну и не поможет 😂
В общем аргумент в духе "вот я своп выключил и ресурсы распределил без оверпровижнинга и у меня всё классно"
Andor
И своп опять ни при чём
Dmitry
И своп опять ни при чём
и ведь дествительно настроив всё корректно он совсем непричём - не используется, а значит рудимент
Andrew
Меня умиляют люди, настолько уверенные в своих знаниях.