)) да почитал)

а где толковая дока есть как сделать несколько мастеров?

https://kubernetes.io/docs/admin/high-availability/

ага читал))

либо штудировать https://github.com/kelseyhightower/kubernetes-the-hard-way

думаю захерачит 20 spot requests?

Нет, можно поставить minSize=0 в cluster-autoscaler после 0.6 версии.

либо штудировать https://github.com/kelseyhightower/kubernetes-the-hard-way

Очень жаль, что такого же гайда для AWS нет :)

уже нет

он был, но келси выпилил его

и не принял пулреквест по опенстеку

Кстати интересно почему.

GCE кмк куда лучше с kubernetes интегрирован нежели с AWS до появления kops)

кто платит бабки - того и хвалим

GCE кмк куда лучше с kubernetes интегрирован нежели с AWS до появления kops)

GCE огонь

Мы попробовали rook не очень давно, но не последнюю версию. И было очень все плохо. В общем мы пытались пытались и сдались, решили, что для прода он пока не годится даже если мы его запустим.

Мы попробовали rook не очень давно, но не последнюю версию. И было очень все плохо. В общем мы пытались пытались и сдались, решили, что для прода он пока не годится даже если мы его запустим.

он концептуально очень плох. Я не думаю, что его можно в принципе вывести из этого состояния

Это плохо. У нас были на rook большие планы. У кого есть хороший опыт использования чего-то аналогичного rook - Persistent Volume на обычном железе. Вроде ceph можно прямо так использовать. Как оно работает - отказоустойчивость, добавление, умирание нод и пр.

я использую цеф. Он не настолько сложно настраивается.

а fabric8 реально кто-то использует? Я попробовал его поставить, что-то там не все гладко, да и использование его в том виде в котором они предлагают его использовать смысла особого не имеет. Мне показалось, что вот плагины для maven и для jenkins можно попробовать заюзать, а все остальное - типа создание новых проектов через UI - не знаю, по-моему можно только в рекламных роликах использовать.

ой как меня заебал alpine... того нет, сего нет, у этого нет поддерки ssl, еще что-то... есть ли действительно большой профит в использовании этого кастрата? может взять убунту почуствовать себя человеком?

ой как меня заебал alpine... того нет, сего нет, у этого нет поддерки ssl, еще что-то... есть ли действительно большой профит в использовании этого кастрата? может взять убунту почуствовать себя человеком?

у альпины образ меньше. А вообще - все зависит от вашей задачи

да - я понимаю, но оно стоит всех этих мучений? всмысле размер образа

зависит от вашей задачи

kubectl exec как то себя странно ведет когда в аргументе —

я понимаю почему.. но как это заэскейпить?

кто знает как сделать полный бекап манифестов из кластера. kubectl cluster-info dump не подходит. он много чего не отдает, зато отдает лишнее - логи контейнеров. считаем, что прямого доступа к etcd нет

kubectl get --all -o json ?

Error: unknown flag: --all `Client Version: version.Info{Major:"1", Minor:"7", GitVersion:"v1.7.6", GitCommit:"4bc5e7f9a6c25dc4c03d4d656f2cefd21540e28c", GitTreeState:"clean", BuildDate:"2017-09-14T06:55:55Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"darwin/amd64"} Server Version: version.Info{Major:"1", Minor:"7+", GitVersion:"v1.7.6-gke.1", GitCommit:"407dbfe965f3de06b332cc22d2eb1ca07fb4d3fb", GitTreeState:"clean", BuildDate:"2017-09-27T21:21:34Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64”}`

а есть просто all

Возможно имелось ввиду kubectl get all -all-namespaces

Но оно так же не все покажет

но он не отдает например Roles, RoleBindings

да и много чего еще наверное

даже ConfigMap

Ну можно это все написать

вместо all

Пользуйт helm и деплой с гитлабе) не придется бэкапить

я уже пробовал и так и так. мне удобнее прямо в кластере все создавать и редактировать. пропускается лишний шаг деплоя. для успокоения только надо бекапы запилить

я уже пробовал и так и так. мне удобнее прямо в кластере все создавать и редактировать. пропускается лишний шаг деплоя. для успокоения только надо бекапы запилить

а как же ревизии, логирование всех изменений, вот это вот всё?)

Конечно, смотря для чего кубернетис у вас:)

а прописывать каждый ресурс конечно можно, но могут появиться новые

Ну про скорость я бы поспорил, делаю пуль и через 10 сек это уже на проде

Пушь *

если изменяется Deployment например, то предыдущие ревизии можно посмотреть в ReplicaSet

Т9 блин

А если меняется configmap?)

а они версионируются именем и указываешь в деплойменте :) для себя так решил

Ок, а как все это уживается с версионированием самого приложения? С гитлабом я уже забыл, когда был последний раз на сервере. А если нужно развернуть в другом кластере, то просто захожу и ставлю раннер. Ваша схема кажется значительно медленнее

пример - надо добавить переменную окружения в деплоймент. в моем случае - это kubectl edit и готово. в вашем - найти нужный проект, в котором лежат манифесты, отредактировать, запушить, ждать пока это задеплоится. в случае если это новый проект - добавляется еще несколько шагов

а что именно используется из гитлаба? можно почитать? я думаю его использовать только чтобы автоматически менять image в конейнерах

это? https://gitlab.com/gitlab-examples/kubernetes-deploy

Это https://github.com/flant/dapp

то есть helm?

Нет, эта штука собирает докеры и деплоить helm

?

?

пример - надо добавить переменную окружения в деплоймент. в моем случае - это kubectl edit и готово. в вашем - найти нужный проект, в котором лежат манифесты, отредактировать, запушить, ждать пока это задеплоится. в случае если это новый проект - добавляется еще несколько шагов

А вдруг эта переменная сломала весь прцоессинг, и как потом разбираться, из-за чего? Особенно, если этим будут заниматься другие люди?

Обертки над обертками. Но каждый сам в праве выбирать что ему нужно)

Я же ни кого не заставляю. Просто ответил на вопрос ;)

в helm не решили проблему с RBAC?

о чем речь?

о том, что там нехватает роли?

о том, что у tiller будет полный доступ и у всех кто его использует

а какой собственно ему нужен доступ? Если он создает/удаляет любые сервисы?

такой же как у пользователя, который его вызывает

например у вас есть юзер, которому разрешен выкат ВСЕГО только в один неймспейс? И что бы он не катнул в другой НС, нужны такие же права у юзера. Лично я не слышал о такой возможности. Но кейс логичен.

ага

грубо говоря helm сводит на нет идею с RBAC

да, я понял. У нас есть пару очень похожих кейсов, но не с хельмом. Пока очень тяжело с этим.

Проще не давать доступ к серверу и ограничить доступ на нажатие кнопок в pipeline )

грубо говоря helm сводит на нет идею с RBAC

это если tiller в кластере пускать, а ведь можно локально, на каждый деплой)

это если tiller в кластере пускать, а ведь можно локально, на каждый деплой)

а есть примеры?

мы встроили тилер в нашу деплоилку

но думаю можно и отдельно их бинарник запустить, передав корректный kubeconfig

тогде он не сможет вынести весь кластер из-за бага какого-нибудь)

интересное решение

о как. не подумал о таком косяке с хелмом. спасибо

грубо говоря helm сводит на нет идею с RBAC

https://github.com/kubernetes/helm/blob/master/docs/using_helm.md#tiller-namespaces-and-rbac You can run multiple Tillers provided they each run in their own namespace.

поделитесь, кто как поднимает сервер для charts?

artifactory все никак не сделают https://www.jfrog.com/jira/browse/RTFACT-10562

о том, что у tiller будет полный доступ и у всех кто его использует

У каждой юзер группы свой tiller и проблема решена.. не удобно, но проблема решаема

поделитесь, кто как поднимает сервер для charts?

Накануне возникла шальная мысль сделать на gitlab pages

написал скрипт для дампа всего и вся. если кому надо: https://github.com/smpio/kube-dump

вроде есть уже https://github.com/heptio/ark

Всем hi. Народ помогите новичку. в gcloud создаю контейнер с одним volumом. создается на ура. при диплое изменений в контейнере старый контейнер не удаляется, а новый не может создаться потому, что volume примапен к передыдущему. Unable to mount volumes for pod "xxxxx-deployment-3817506720-d0hq1_default(2fffb2f1-abe2-11e7-9168-42010a9c0004)": timeout expired waiting for volumes to attach/mount for pod "default"/"xxxxx-deployment-3817506720-d0hq1". list of unattached/unmounted volumes=[xxxxx-data] подскажите, что не так делаю - ? FailedAttachVolume Multi-Attach error for volume "pvc-3ab854fb-abde-11e7-9168-42010a9c0004" Volume is already exclusively attached to one node and can't be attached to another

Очевидно maxSurge/maxUnavailable не позволяют деплойменту прибить последний (и единственный) под

вижу, что в deployment сейчас как раз 2 шт. сервиса xxxxx-deployment-1472614167 1 1 1 1h xxxxx-deployment-3817506720 1 1 0 36m как можно их прибить, чтобы они не конфликтовали между собой?

Я бы все-таки прочел доку по вышеуказанным опциям

?читаю, спасибо за подсказку.

поделитесь, кто как поднимает сервер для charts?

никак, написали скриптик, который читает gitrequirements.yam в котором: --- dependencies: - fetchurl: <GIT_CLONE_URL> revision: <BRANCH/TAG/COMMIT_ID> path: <PATH_INSIDE_REPO_TO_A_CHART>

такое ощущение, что все неправильные решения, какие можно было принять, Helm принял :) tiller на сервере, корявые тарболы вместо гита для зависимостей, плоские templates и проч :)

никак, написали скриптик, который читает gitrequirements.yam в котором: --- dependencies: - fetchurl: <GIT_CLONE_URL> revision: <BRANCH/TAG/COMMIT_ID> path: <PATH_INSIDE_REPO_TO_A_CHART>

не дописал, скриптик тащит зависимости и кладет их распакованными в charts/

написал скрипт для дампа всего и вся. если кому надо: https://github.com/smpio/kube-dump

вы пытались восстанавливать то, что сдампили? вы не выразаете кучу автосгенерированных полей, которые readOnly

я и не хотел их вырезать