что там за жесть ?

А есть где-то мануал как локально поднять kubespray на вагранте? Чтобы на ноуте взлетело. Я вроде когда-то видел видео, где один индус подобное делал. Но сейчас не могу найти. А в kubespray нет папочки vagrant/config.rb.default или подобного шаблона

что там за жесть ?

Ну, мы еще systemd внутри контейнеров гоняли. Что тоже не есть тру вей. Но постоянно ложило digitalocean. Локально тоже иногда докер ложил систему. Там было много всяких фишек. Но самая главная, которая запомнилась: запустить docker-compose.yml, потом подправить этот файлик и попробовать через докер-композе остановить контейнеры. В обще, если хочется заморочиться, то крайне советую)))

Или не нужен vagrant/config.rb ? Я просто уже не сильно и помню как вагрант конфигурится? Но что-то не вижу, чтобы что-то из конфига бралось.

что там за жесть ?

Не то чтобы жесть, но и не сахар. Помимо очевидных вещей в духе организации отказоустойчивости своими силами (деплой двух виртуалок с докер компосе), отсуствия сервис дискавери и единой шины логов, docker-compose регулярно подглючивал при редеплое контейнера (не мог консистентно потушить старый stateless контейнер). Имел с таким дело на latest centos7 чуть более года назад.

А новый вагрант на старый vb не сядет, да?

Ну, вот кто рубишные проекты продвигает в стандарты разработки? Нужно сразу говорить: "Нет, дорогой, переведи-ка на Go или хотя бы на python, а потом приходи"))

может быть вам в девпос_ру или клауд_флуд?

может быть вам в девпос_ру или клауд_флуд?

сорри, просто крик души)

может быть вам в девпос_ру или клауд_флуд?

А как на клауд флуд попасть?

А при запуске kubespray на vagrant тачках, ansible дергается внутри какой-то из них, правильно? Просто выдало ошибку https://dpaste.de/Df4z/raw . Или это на локальной тачке дернулся плейбук?

https://dpaste.de/7a5j/raw - правильно ли я понимаю, что master в kubespray не работает?

У кого-нибудь был положительный опыт запуска kubespray на vagrant тачках? На какой версии получилось? Потому что с версией HEAD detached at v2.3.0 тоже есть проблемы....

Расстрелять все инсталлеры. Поднять пять демонов и прописать их друг в друга должен уметь каждый

Расстрелять все инсталлеры. Поднять пять демонов и прописать их друг в друга должен уметь каждый

не надо :) если все будут уметь – как мы с вами будем зарабатывать?

Кто знает - можно ли использовать перменные в volumes? что-то вроде такого volumes: - name: data hostPath: path: /opt/cluster/$HOSTNAME чтоб монтировалась папка и именем пода

так точно не взлетит

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

не надо :) если все будут уметь – как мы с вами будем зарабатывать?

легко

из своего опыта скажу что в документации кубера нет описаний подобной практики, там наоборот стараются размазать поды равномерно по всем нодам

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

Ну по умолчанию шедулер желает с точностью до наоборот.

смотри как можно сделать, дело в том что шедулер не знает сколько ресурсов займет под, эти ресурсы указываешь ты сам в конфиге, тогда если их ты сам указываешь ты можешь сам и указать конкретную ноду где запустить этот под

@dmitrz Но есть кейсы с автоскейлингом и есть priority функция MostRequestedPriority. Проблема в том, что она работает немного не так как надо. Она сначала размажет несолько подов по всем нодам, а потом пойдёт добивать ноды.

Кто знает - можно ли использовать перменные в volumes? что-то вроде такого volumes: - name: data hostPath: path: /opt/cluster/$HOSTNAME чтоб монтировалась папка и именем пода

Есит PR на эту тему, элита кубернетеса блокирует как обычно. Номер сейчас не скажу, ищите по downards API subpath, можете высказаться, вдруг прозреют (вряд ли)

@dmitrz У меня просто автоскейлинг нод работает. Хочется оптимизировать потребление и не сжигать деньги.

а нельзя его сделать средствами самого облака?

чтоб когда на виртуалки заканчивались ресурсы запускалась новая, и там кубелет автоматом добавляет ее в кластер

и вот новые поды запускаются на новой ноде

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

Вам нужно скормит свой конфиг планировщику и там выкрутить вес функции "выбирать ноду где максимальное потребление" на максимум. Примеры конфигурации и список функций можно посмотреть в коде

чтоб когда на виртуалки заканчивались ресурсы запускалась новая, и там кубелет автоматом добавляет ее в кластер

Он так и хочет.,,детали как добиться не важны.

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

а какая вам разница? для оптимизации достаточно просто считать среднюю нагрузку, а не одну максимальную. вот средняя превисила 85-90% тогда и разворачивать новое. А где оно там находится - какая разница?

а какая вам разница? для оптимизации достаточно просто считать среднюю нагрузку, а не одну максимальную. вот средняя превисила 85-90% тогда и разворачивать новое. А где оно там находится - какая разница?

До того,как оно дойдет до 95 на всех, оно будет 50 на всех, и в это время 50% денег сгорает

а зачем разворачивать новую ноду на 50% ?

Поды на статичны

есть 10 нод, все загружены на 20%, грузятся на 30-40 и т.д. до 95 в среднем. В этом случае добавляем еще одну ноду, и среднее значение проседает

есть 10 нод, все загружены на 20%, грузятся на 30-40 и т.д. до 95 в среднем. В этом случае добавляем еще одну ноду, и среднее значение проседает

Вот,вместо 10 с загрузкой 50% хотят 6 с загрузкой 90%

так уберите 4 лишние и будет вам то что вы хотите

остальные поды ведь поднимутся автоматом на других нодах, их нагрузка вырастет

что не так? просто считаем именно среднюю нагрузку по всему кластеру

автоскейлинг ведь должен на что-то опираться, так?)

автоскейлинг ведь должен на что-то опираться, так?)

Чем плотнее упакованы поды в ноде, тем меньше цена кластера, это,аксиома. Дефолтный планировщик не старается упаковывать поды на нодах плотно.

Я согласен что не старается, но если у него варианта нет он их что, запускать перестанет?

Нет, всё работает прекрасно, когда происходит scale up. И scale down отрабатывает отлично. Проблема вот в чём: у меня в некоторых случаях поднимается, например 200 подов. По выставленным реквестам им нужно 4 ноды. Они поднимаются и всё круто. Но потом, если фигачить каждый раз по 10 подов, например, они будут размазываться по всем машинам. У google cluster autoscaler политики такие, что там scale down происходит с 10 минутным запаздыванием. Когда есть хоть какая-то нагрзука на ноду — таймер сбрасывается. И получается так, что когда у меня сначала проходит задача с большой нагрузкой, то запускается большой кластер, но когда у меня маленькие задачки, мне достаточно одной ноды. Но по вышеописанной причине scale down не происходит. Только когда в течение 10 минут не происходит никаких действий и подов вообще нет.

Вам нужно скормит свой конфиг планировщику и там выкрутить вес функции "выбирать ноду где максимальное потребление" на максимум. Примеры конфигурации и список функций можно посмотреть в коде

Увы, оно не работает как ожидается. Он сначала размажет по минимуму поды на все ноды, а только потом начинает забивать до отказа по одной.

Увы, оно не работает как ожидается. Он сначала размажет по минимуму поды на все ноды, а только потом начинает забивать до отказа по одной.

Вы пробовали? С подкрученым конфигом?

Вы пробовали? С подкрученым конфигом?

Да, пробовал. У меня правда проблемка, что всё крутится в GKE и там явно нельзя передать полиси. Поэтому собирал scheduler сам и запускал поды с собственным, прокинув полиси.

Единственная причина по которой задранный в небеса приоритет не срабатывает, это то что,какой-то предикат блокирует выбор

Включите отладку, —v=4, должно быть видно

@rossmohax О, кстати, как вариант. За --v=4 отдельное спасибище.

Радость: в hyperkube вернули /bin/bash

А есть вообще какая-нибудь дока, как развернуть kubernetes на виртуалках ubuntu 16.04 ?

А есть вообще какая-нибудь дока, как развернуть kubernetes на виртуалках ubuntu 16.04 ?

в доках куба не нашел?

в доках куба не нашел?

Нет. Нашел только нормальный видос, но для rhel https://www.youtube.com/watch?v=lTyKeNRopqY

http://containertutorials.com/get_started_kubernetes/index.html

http://containertutorials.com/get_started_kubernetes/index.html

спасибо. Посмотрю

http://containertutorials.com/get_started_kubernetes/index.html

Нет. Это что-то не то. Тут просто вариант как поставить нечто, вроде minikube. А полного мана как в том видео нет? Блин, я реально не понимаю как это все разраворачивают? Ручками что ли клепают все без заготовок?

если использовать поиск по чату, то вылезут - kubernetes the hard way - kubespray - evil martians chef cookbook - kops и прочее

если использовать поиск по чату, то вылезут - kubernetes the hard way - kubespray - evil martians chef cookbook - kops и прочее

kubernetes the hard way - там только установка только базового варианта (если речь об этом https://github.com/kelseyhightower/kubernetes-the-hard-way) - kubespray - vagrant версия не работает. Описывал выше. Не пробовал еще описывать через свой инвентори, но смысл, мне кажется будет тот же. Плейбук то один. - evil martians chef cookbook - ну, как бы не мануал, а кукбук. Т.е. трудно найти и понять какие вещи базовые и нужны обязательно, а какие опционально. И не видно как запускать на виртуалках. - kops - еще не юзал. Но тоже не вижу там мануалов. (https://github.com/kubernetes/kops - если речь об этом). И не видно как запускать на виртуалках.

что такое не базовый вариант?

что такое не базовый вариант?

Ну, такой же, как и у kubespray на вагранте, например. 3 виртуалки. 1 мастер, 2 ноды.

kubernetes the hard way - там только установка только базового варианта (если речь об этом https://github.com/kelseyhightower/kubernetes-the-hard-way) - kubespray - vagrant версия не работает. Описывал выше. Не пробовал еще описывать через свой инвентори, но смысл, мне кажется будет тот же. Плейбук то один. - evil martians chef cookbook - ну, как бы не мануал, а кукбук. Т.е. трудно найти и понять какие вещи базовые и нужны обязательно, а какие опционально. И не видно как запускать на виртуалках. - kops - еще не юзал. Но тоже не вижу там мануалов. (https://github.com/kubernetes/kops - если речь об этом). И не видно как запускать на виртуалках.

kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

марсианский кук самый приличный, не без тараканов, но он хотя бы работает

марсианский кук самый приличный, не без тараканов, но он хотя бы работает

А что за марсианский кук?

kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

что значит с weave не работает? у меня работает

причем "искаропки" :) т.е. просто в конфиге параметр поменял

марсианский кук самый приличный, не без тараканов, но он хотя бы работает

А дока есть? Просто в тексте описано ТЗ по этому марсианскому кукбуку?

нет, доки нет, но при минимальном знании шефа разобраться несложно + автор кукбука нормально реагирует на вопросы.

что значит с weave не работает? у меня работает

ну вот у меня любая попытка его настроить кончалась багами, причем всегда разными. я три дня провозился, мне это надоело и я перешел на марсианский кукбук. Чему очень рад

Блин. Жесть какая-то. Придется делать как на видео у индуса на centos, наверное.

Только плохо, что этот индус все в текст не выложил.

а вам надо в прод или так, пальцем потыкать? Если второе - kubeadm в помощь

он вообще не требует приложения мозга

https://devopsmates.com/part-1-kubernetes-introduction-installation/ - вот в тексте, то что на видео, если кому интересно. #kubernetes #virtualbox #centos #fulldoc

а вам надо в прод или так, пальцем потыкать? Если второе - kubeadm в помощь

Понять как на проде развернуть. Если потыкать, то и minikube хватит

Понять как на проде развернуть. Если потыкать, то и minikube хватит

тогда выбираете способ деплоя который вам зрительно близок и начинаете собирать баги. они будут ВЕЗДЕ

тогда выбираете способ деплоя который вам зрительно близок и начинаете собирать баги. они будут ВЕЗДЕ

Ну, возможно. Но должно быть уже какое-то решение по багам, а не как с kubespray

kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

пруфы плиз что kubespray запрещает privileged вижу у apiserver --allow-privileged=true и у kubelet # Should this cluster be allowed to run privileged docker containers KUBE_ALLOW_PRIV="--allow-privileged=true"

я с кубспреем работал пол-года назад. Тогда было запрещено

Ну, возможно. Но должно быть уже какое-то решение по багам, а не как с kubespray

оно и есть. Ставите то, что вам подходит, собираете баги, учитесь их лечить. И так по кругу

я с кубспреем работал пол-года назад. Тогда было запрещено

в общем priviledged можно по дефолту из коробки