Почему ?

так там и нет никаких частей

там только ceph client который общается с мониторами напрямую

тут собственно два варианта in-tree или out-of-tree provisioner, оба в контейнерах, а первый вроде как уже deprecated

kubectl delete -f ceph-vc.yml --namespace=kubecloud persistentvolumeclaim "claim" deleted

висит полчаса )

как пнуть?

смотри логи твоего провижионера

не знаю кт омой провижинер

Всем привет. По GKE и Cloud SQL вопрос: как дать доступ только к определённому инстансу? В роли быть разрешения на cloudsql.instances.connect, но это даст разрешение на подключение к любому инстансу, насколько понимаю?

а , блин... не туда написал )) сорри ))

чуваки, как можно запихнуть в под файлы с конфигами, если они лежат в поддиректориях?

configs/ * main.json * subdir/ * lol.json * kek.json

я хочу всю вот эту папору сделать доступной в поде, в докере я бы её примонтировал, а в кубах — хз как правильно

попытался создать конфигмап из файлов, указал директорию, но он не стал её рекурсивно обходить, в итоге там оказался только файл main.json

Можешь так же примонтировать как том.

Можешь так же примонтировать как том.

и тогда эти конфиги придётся хранить на каждой ноде кластера?

Если хочешь, чтоб мигрировали - да

или откуда он будет их брать?

А чтоб брал из одного места - либо извращаться с общим хранилищем, либо извращаться с несколькими конфигмапами и projected томом

А чтоб брал из одного места - либо извращаться с общим хранилищем, либо извращаться с несколькими конфигмапами и projected томом

на каждую директорию по конфигмапу?

И, кстати, в каком докере мог создать каталог с файлами и монтировать его на соседней ноде?

на каждую директорию по конфигмапу?

примерно так, да.

И, кстати, в каком докере мог создать каталог с файлами и монтировать его на соседней ноде?

эм, ни в каком, у меня на докере просто нет соседней ноды, только моя дев машина :D

Тогда тебе пофиг

Просто у кубернетеса по-умолчанию нижний уровень контейнеризации обеспечивает докер, так что по факту всё как там + ещё сервис кубернетеса.

Остальное (общее хранилище и т.п.) - добавляется отдельно.

спасибо, буду курить

Всем привет, прошу прощения за мега нубский вопрос. Я правильно понимаю, что ReplicationController уже неактуален и надо описывать Deployment?

Всем привет, прошу прощения за мега нубский вопрос. Я правильно понимаю, что ReplicationController уже неактуален и надо описывать Deployment?

да, теперь через него рулится то, что в репликейшн контроллер попадает

благодарю

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

Ваша правда насчёт тупого гугловского iam, хотя и понятно, почему так. В iam создал кастомную роль с правами на container.clusters.getCredentials и раздал всем права внутрикластерным rbac'ом Однако, например, для подключения разработчиков к cloud sql, на котором у нас базы для разных окружений (на разных инстансах, конечно) нужна роль Cloud SQL client, а это даёт право на подключение к любому инстансу :( Конечно credentials разные, но тем не менее. Ещё возникла проблема, что если накатывать nat gateway по доке gke (https://cloud.google.com/solutions/using-a-nat-gateway-with-kubernetes-engine), то он накатывается в единственном экземпляре и опять же ничего не знает про мультикластерность. Соответственно, если передеплоить нацелив на другой кластер, то перестаёт работать для первого. Это всё, возможно, решаемо, но быстрее создать другой проект (в рамках того же биллингового аккаунта) и накатить другой кластер туда и всё заработает "из коробки" :(

Ваша правда насчёт тупого гугловского iam, хотя и понятно, почему так. В iam создал кастомную роль с правами на container.clusters.getCredentials и раздал всем права внутрикластерным rbac'ом Однако, например, для подключения разработчиков к cloud sql, на котором у нас базы для разных окружений (на разных инстансах, конечно) нужна роль Cloud SQL client, а это даёт право на подключение к любому инстансу :( Конечно credentials разные, но тем не менее. Ещё возникла проблема, что если накатывать nat gateway по доке gke (https://cloud.google.com/solutions/using-a-nat-gateway-with-kubernetes-engine), то он накатывается в единственном экземпляре и опять же ничего не знает про мультикластерность. Соответственно, если передеплоить нацелив на другой кластер, то перестаёт работать для первого. Это всё, возможно, решаемо, но быстрее создать другой проект (в рамках того же биллингового аккаунта) и накатить другой кластер туда и всё заработает "из коробки" :(

ну проблема с гетвеем решается добавление в роутинг рул еще одного нетворг тега для нод из другого кластера скорее всего, но как я и говорил проще все делить проектами, с биллингом история такая, что он отчет строит по инстансам компьюта, вы там будете потом всякимм скриптами формировать нормальный отчет по кластерам для планировпния нагрузки и профилированию порогов аутоскейла, а когда отдельные проекты то можно отфильтровать по проекту и ску,

ну проблема с гетвеем решается добавление в роутинг рул еще одного нетворг тега для нод из другого кластера скорее всего, но как я и говорил проще все делить проектами, с биллингом история такая, что он отчет строит по инстансам компьюта, вы там будете потом всякимм скриптами формировать нормальный отчет по кластерам для планировпния нагрузки и профилированию порогов аутоскейла, а когда отдельные проекты то можно отфильтровать по проекту и ску,

Да по нат гейтвею скорее всего так, просто немного удивило отсутствие учёта мультикластерности. А по-поводу биллинга и правда, наверное, удобнее по проектам делить. Спасибо!

Да по нат гейтвею скорее всего так, просто немного удивило отсутствие учёта мультикластерности. А по-поводу биллинга и правда, наверное, удобнее по проектам делить. Спасибо!

вместо геьвея должен появится клауд нат ноомальный

попытался создать конфигмап из файлов, указал директорию, но он не стал её рекурсивно обходить, в итоге там оказался только файл main.json

Все это в tar, его в конфигмап и распаковать из конфигмапа в initcontainer туда куда надо, потом стартанет обычный контейнер и все найдет как привык

Все это в tar, его в конфигмап и распаковать из конфигмапа в initcontainer туда куда надо, потом стартанет обычный контейнер и все найдет как привык

Хм, хитро, спасибо

Всем привет, второй день не могу удалить pvc, kubectl delete -f завистает kubectl get pvc --all-namespaces NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE kubecloud claim Terminating pvc-a35fe65c-bbff-11e8-a3cd-0050569975f5 0 fast 17h

STATUS Terminating

У меня была такая проблема, по моему дело было в "старом" клиенте RBD

Ты взял готовую сборку с поддержкой RBD или сам собирал?

Всем привет, второй день не могу удалить pvc, kubectl delete -f завистает kubectl get pvc --all-namespaces NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE kubecloud claim Terminating pvc-a35fe65c-bbff-11e8-a3cd-0050569975f5 0 fast 17h

Собери свой менеджер с поддержкой RBD и будет счастье)

Собери свой менеджер с поддержкой RBD и будет счастье)

ты про kube-controller-manager ?

ты про kube-controller-manager ?

Да. Если с его помощью делал

quay.io/attcomdev/kube-controller-manager:v1.6.1 этот использовал

К сожалению не помню на каком споткнулся. В итоге собрал свой на базе оригинала. И все заработало.

я так еще не делал

коллеги, помогите traefik одолеть

No certificate provided dynamically can check the domain "kubernetes.default.svc.cluster.local", a per default certificate will be used.

весь заваливает вот такими ошибками

а если закладку health смотреть - сплошные 404

при обращении к этому хосту

CertAuthFilePath, certfile keyfile для https подкладываю, без них сразу на x509 error ссылается

до бэкендов проксирует, и так то работает все, но счетчик ошибочных 404 постоянно растет

до 1к в минуту и более

endpoint для обращения в кубик на 6443 порту

весь лог в дебаге заваливает вот такой херней

у тебя LE используется где-нибудь?

у тебя LE используется где-нибудь?

что есть le?

letsencrypt

есть wc полученный от него

в качестве CA подкладываю куберовский CA.crt

в секции кубера

и нахера? сертификаты кубера никакого отношения к сертификатам приложения не имеют

у тебя зачем то LE пытается сертификат для внутреннего домена kubernetes.default.svc.cluster.local выписать

да, если секцию tls убиваешь в https то ошибка уходит

и нахера? сертификаты кубера никакого отношения к сертификатам приложения не имеют

не, в секцию кубера, рядом с токеном. иначе он при обращении к апи по https выпишет хрен

если выкинуть раздел tls из конфигов-ингреса для сервисов - ошибка в консоли уходит, но счетчик 404 все равно растет

Всем привет, второй день не могу удалить pvc, kubectl delete -f завистает kubectl get pvc --all-namespaces NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE kubecloud claim Terminating pvc-a35fe65c-bbff-11e8-a3cd-0050569975f5 0 fast 17h

Недавно обкуривал эту тему, пытался подружить куб с ceph (RBD), как я понял подменять кубеменеждер не очень хорошая затея

поднимал свой провиженер rbd, у него кстати завязка под конкретный релиз ceph

вообще какая хорошая практика в этом плане? каким способом лучше обеспечивать ноды одной хранилкой?

просто хорошо ли вообще юзать цев в связке с кубером?

https://github.com/kubernetes-incubator/external-storage/tree/master/ceph/rbd

вот по этой инструкции можно поднять отдельный rbd-provisioner

настроил его на связку с ceph (что в последнем proxmox идет), вполне себе шустро работает

проблема с тем, что там старый ceph 10 версии

просто хорошо ли вообще юзать цев в связке с кубером?

а почему нет? весьма удобно

внутри манагер контейнера

и это жопа