Киньте в меня мануалом как поднять несколько docker registry для kubernetes, пожалуйста.

можно, например, вот так - https://github.com/kubernetes/charts/tree/master/stable/artifactory

спасибо. Посмотрю

господа, тут есть люди бросившие сварм ? если есть почему бросили и перешли на кубернетис?

господа, тут есть люди бросившие сварм ? если есть почему бросили и перешли на кубернетис?

я старый сварм (который не мод) и не бросал

тот который старый скучен.

тот который старый скучен.

вам шашечки или ехать?

это недостаточно альтернативный вопрос.

чем старый сварм скучен?

чего в нем не хватает?

тем что никак не относится к заданному вопросу.

в вопросе нет разделения на сварм стэндэлон и сварм мод (который свармкит)

мне ответ на вопрос а не полемику. спасибо.

херовая реализация рафт протокола в сварм моде, когда при большом колличестве нод выбор нового лидера занимал порядка 40 минут

колличество нод было чуть меньше 100

такой ответ устроит?

да. можно ссылку ?

при чем самих мастеров было 3

это тупо свое внутренее тестирование было

у людей еще были приколы, когда из трех мастеров выпадало два и калстер вообще развалилвался

хотя один мастер был еще жив

у них выбор мастера не заканчивался

на сколько я помню, даже ишью было на эту тему

мне просто кубер удобнее юзать нежели сварм

вот я как раз про ишью. ибо в докере часто бывает что то то не поняли и сделали не так. или есть граничные условия почему оно ведет себя так а не иначе

вот я как раз про ишью. ибо в докере часто бывает что то то не поняли и сделали не так. или есть граничные условия почему оно ведет себя так а не иначе

ну сугубо мое мнение - то что выпало 2 ноды из трех и выбор мастера не заканчивается, как бы следует из рафт протокола

хотя у докера есть фича спромоутить воркер в мастер

плюс был момент с увеличением шедулинга с ростом колличества сервисов в кластере

это я видел по ишью на гитхабе

господа, тут есть люди бросившие сварм ? если есть почему бросили и перешли на кубернетис?

есть, это я. Он катастрофически работает даже на тестовых нагрузках

можно чуть больше букв ?

он крайне нестабильно работал у меня: постоянно происходили перевыборы мастера, падали ноды. Очень сильно жрался проц на сетевых взаимодействиях, вообще меж-нодная сеть работала очень плохо

плохо это медленно или плохо это потери ?

медленно и потери. и проц жрется очень

господа, тут есть люди бросившие сварм ? если есть почему бросили и перешли на кубернетис?

Я могу сказать почему мы бросили docker-compose ))) Вот там где жесть была)

что там за жесть ?

А есть где-то мануал как локально поднять kubespray на вагранте? Чтобы на ноуте взлетело. Я вроде когда-то видел видео, где один индус подобное делал. Но сейчас не могу найти. А в kubespray нет папочки vagrant/config.rb.default или подобного шаблона

что там за жесть ?

Ну, мы еще systemd внутри контейнеров гоняли. Что тоже не есть тру вей. Но постоянно ложило digitalocean. Локально тоже иногда докер ложил систему. Там было много всяких фишек. Но самая главная, которая запомнилась: запустить docker-compose.yml, потом подправить этот файлик и попробовать через докер-композе остановить контейнеры. В обще, если хочется заморочиться, то крайне советую)))

Или не нужен vagrant/config.rb ? Я просто уже не сильно и помню как вагрант конфигурится? Но что-то не вижу, чтобы что-то из конфига бралось.

что там за жесть ?

Не то чтобы жесть, но и не сахар. Помимо очевидных вещей в духе организации отказоустойчивости своими силами (деплой двух виртуалок с докер компосе), отсуствия сервис дискавери и единой шины логов, docker-compose регулярно подглючивал при редеплое контейнера (не мог консистентно потушить старый stateless контейнер). Имел с таким дело на latest centos7 чуть более года назад.

А новый вагрант на старый vb не сядет, да?

Ну, вот кто рубишные проекты продвигает в стандарты разработки? Нужно сразу говорить: "Нет, дорогой, переведи-ка на Go или хотя бы на python, а потом приходи"))

может быть вам в девпос_ру или клауд_флуд?

может быть вам в девпос_ру или клауд_флуд?

сорри, просто крик души)

может быть вам в девпос_ру или клауд_флуд?

А как на клауд флуд попасть?

А при запуске kubespray на vagrant тачках, ansible дергается внутри какой-то из них, правильно? Просто выдало ошибку https://dpaste.de/Df4z/raw . Или это на локальной тачке дернулся плейбук?

https://dpaste.de/7a5j/raw - правильно ли я понимаю, что master в kubespray не работает?

У кого-нибудь был положительный опыт запуска kubespray на vagrant тачках? На какой версии получилось? Потому что с версией HEAD detached at v2.3.0 тоже есть проблемы....

Расстрелять все инсталлеры. Поднять пять демонов и прописать их друг в друга должен уметь каждый

Расстрелять все инсталлеры. Поднять пять демонов и прописать их друг в друга должен уметь каждый

не надо :) если все будут уметь – как мы с вами будем зарабатывать?

Кто знает - можно ли использовать перменные в volumes? что-то вроде такого volumes: - name: data hostPath: path: /opt/cluster/$HOSTNAME чтоб монтировалась папка и именем пода

так точно не взлетит

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

не надо :) если все будут уметь – как мы с вами будем зарабатывать?

легко

из своего опыта скажу что в документации кубера нет описаний подобной практики, там наоборот стараются размазать поды равномерно по всем нодам

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

Ну по умолчанию шедулер желает с точностью до наоборот.

смотри как можно сделать, дело в том что шедулер не знает сколько ресурсов займет под, эти ресурсы указываешь ты сам в конфиге, тогда если их ты сам указываешь ты можешь сам и указать конкретную ноду где запустить этот под

@dmitrz Но есть кейсы с автоскейлингом и есть priority функция MostRequestedPriority. Проблема в том, что она работает немного не так как надо. Она сначала размажет несолько подов по всем нодам, а потом пойдёт добивать ноды.

Кто знает - можно ли использовать перменные в volumes? что-то вроде такого volumes: - name: data hostPath: path: /opt/cluster/$HOSTNAME чтоб монтировалась папка и именем пода

Есит PR на эту тему, элита кубернетеса блокирует как обычно. Номер сейчас не скажу, ищите по downards API subpath, можете высказаться, вдруг прозреют (вряд ли)

@dmitrz У меня просто автоскейлинг нод работает. Хочется оптимизировать потребление и не сжигать деньги.

а нельзя его сделать средствами самого облака?

чтоб когда на виртуалки заканчивались ресурсы запускалась новая, и там кубелет автоматом добавляет ее в кластер

и вот новые поды запускаются на новой ноде

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

Вам нужно скормит свой конфиг планировщику и там выкрутить вес функции "выбирать ноду где максимальное потребление" на максимум. Примеры конфигурации и список функций можно посмотреть в коде

чтоб когда на виртуалки заканчивались ресурсы запускалась новая, и там кубелет автоматом добавляет ее в кластер

Он так и хочет.,,детали как добиться не важны.

Посоны, может кто-нибудь здесь игрался со scheduler policies или знает очень хорошо как работает scheduler. Как мне замутить так, чтобы k8s разворачивал поды только на одной ноде до конца всех ресурсов(allocatable resources) на ней, а уже потом начинал разворачивать на другой ноде и так по порядку. Типа есть 4 ноды. Сначала он берёт какую-то одну, потом если вдруг нужно ещё докинуть подов, он забивает первую полностью, потом берёт вторую и т.д.

а какая вам разница? для оптимизации достаточно просто считать среднюю нагрузку, а не одну максимальную. вот средняя превисила 85-90% тогда и разворачивать новое. А где оно там находится - какая разница?

ERROR: S client not available

а какая вам разница? для оптимизации достаточно просто считать среднюю нагрузку, а не одну максимальную. вот средняя превисила 85-90% тогда и разворачивать новое. А где оно там находится - какая разница?

До того,как оно дойдет до 95 на всех, оно будет 50 на всех, и в это время 50% денег сгорает

а зачем разворачивать новую ноду на 50% ?

Поды на статичны

есть 10 нод, все загружены на 20%, грузятся на 30-40 и т.д. до 95 в среднем. В этом случае добавляем еще одну ноду, и среднее значение проседает

есть 10 нод, все загружены на 20%, грузятся на 30-40 и т.д. до 95 в среднем. В этом случае добавляем еще одну ноду, и среднее значение проседает

Вот,вместо 10 с загрузкой 50% хотят 6 с загрузкой 90%

так уберите 4 лишние и будет вам то что вы хотите

остальные поды ведь поднимутся автоматом на других нодах, их нагрузка вырастет

что не так? просто считаем именно среднюю нагрузку по всему кластеру

автоскейлинг ведь должен на что-то опираться, так?)

автоскейлинг ведь должен на что-то опираться, так?)

Чем плотнее упакованы поды в ноде, тем меньше цена кластера, это,аксиома. Дефолтный планировщик не старается упаковывать поды на нодах плотно.

Я согласен что не старается, но если у него варианта нет он их что, запускать перестанет?

Нет, всё работает прекрасно, когда происходит scale up. И scale down отрабатывает отлично. Проблема вот в чём: у меня в некоторых случаях поднимается, например 200 подов. По выставленным реквестам им нужно 4 ноды. Они поднимаются и всё круто. Но потом, если фигачить каждый раз по 10 подов, например, они будут размазываться по всем машинам. У google cluster autoscaler политики такие, что там scale down происходит с 10 минутным запаздыванием. Когда есть хоть какая-то нагрзука на ноду — таймер сбрасывается. И получается так, что когда у меня сначала проходит задача с большой нагрузкой, то запускается большой кластер, но когда у меня маленькие задачки, мне достаточно одной ноды. Но по вышеописанной причине scale down не происходит. Только когда в течение 10 минут не происходит никаких действий и подов вообще нет.

Вам нужно скормит свой конфиг планировщику и там выкрутить вес функции "выбирать ноду где максимальное потребление" на максимум. Примеры конфигурации и список функций можно посмотреть в коде

Увы, оно не работает как ожидается. Он сначала размажет по минимуму поды на все ноды, а только потом начинает забивать до отказа по одной.

Увы, оно не работает как ожидается. Он сначала размажет по минимуму поды на все ноды, а только потом начинает забивать до отказа по одной.

Вы пробовали? С подкрученым конфигом?

Вы пробовали? С подкрученым конфигом?

Да, пробовал. У меня правда проблемка, что всё крутится в GKE и там явно нельзя передать полиси. Поэтому собирал scheduler сам и запускал поды с собственным, прокинув полиси.

Единственная причина по которой задранный в небеса приоритет не срабатывает, это то что,какой-то предикат блокирует выбор

Включите отладку, —v=4, должно быть видно

@rossmohax О, кстати, как вариант. За --v=4 отдельное спасибище.

Радость: в hyperkube вернули /bin/bash

А есть вообще какая-нибудь дока, как развернуть kubernetes на виртуалках ubuntu 16.04 ?

А есть вообще какая-нибудь дока, как развернуть kubernetes на виртуалках ubuntu 16.04 ?

в доках куба не нашел?

в доках куба не нашел?

Нет. Нашел только нормальный видос, но для rhel https://www.youtube.com/watch?v=lTyKeNRopqY

http://containertutorials.com/get_started_kubernetes/index.html

http://containertutorials.com/get_started_kubernetes/index.html

спасибо. Посмотрю

http://containertutorials.com/get_started_kubernetes/index.html

Нет. Это что-то не то. Тут просто вариант как поставить нечто, вроде minikube. А полного мана как в том видео нет? Блин, я реально не понимаю как это все разраворачивают? Ручками что ли клепают все без заготовок?

если использовать поиск по чату, то вылезут - kubernetes the hard way - kubespray - evil martians chef cookbook - kops и прочее

если использовать поиск по чату, то вылезут - kubernetes the hard way - kubespray - evil martians chef cookbook - kops и прочее

kubernetes the hard way - там только установка только базового варианта (если речь об этом https://github.com/kelseyhightower/kubernetes-the-hard-way) - kubespray - vagrant версия не работает. Описывал выше. Не пробовал еще описывать через свой инвентори, но смысл, мне кажется будет тот же. Плейбук то один. - evil martians chef cookbook - ну, как бы не мануал, а кукбук. Т.е. трудно найти и понять какие вещи базовые и нужны обязательно, а какие опционально. И не видно как запускать на виртуалках. - kops - еще не юзал. Но тоже не вижу там мануалов. (https://github.com/kubernetes/kops - если речь об этом). И не видно как запускать на виртуалках.

что такое не базовый вариант?

что такое не базовый вариант?

Ну, такой же, как и у kubespray на вагранте, например. 3 виртуалки. 1 мастер, 2 ноды.

kubernetes the hard way - там только установка только базового варианта (если речь об этом https://github.com/kelseyhightower/kubernetes-the-hard-way) - kubespray - vagrant версия не работает. Описывал выше. Не пробовал еще описывать через свой инвентори, но смысл, мне кажется будет тот же. Плейбук то один. - evil martians chef cookbook - ну, как бы не мануал, а кукбук. Т.е. трудно найти и понять какие вещи базовые и нужны обязательно, а какие опционально. И не видно как запускать на виртуалках. - kops - еще не юзал. Но тоже не вижу там мануалов. (https://github.com/kubernetes/kops - если речь об этом). И не видно как запускать на виртуалках.

kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

марсианский кук самый приличный, не без тараканов, но он хотя бы работает