ребят, подскажите, пытаюсь прикрутить гитлаб к кастомному кластеру кубернетес, при нажатии установить Helm Tiller, ругается: Kubernetes error: SSL_connect returned=1 errno=0 state=error: certificate verify failed . мне сказали в чате гитлаба, что это из за самоподписанного сертификата, возможно я накостылял создав admin-user service account и cluster role binding и воткнул этот токен в момент интеграции в гитлабе

как правильно делать?

как правильно делать?

https://docs.helm.sh/using_helm/#using-ssl-between-helm-and-tiller

https://docs.helm.sh/using_helm/#using-ssl-between-helm-and-tiller

спасибо, почитаю

спасибо, почитаю

Нюанс: затем все команды helm запускаются с —tls , например: sudo helm list --tls | awk '{print $1}'

Нюанс: затем все команды helm запускаются с —tls , например: sudo helm list --tls | awk '{print $1}'

хорошо, учту

Кто-нибудь запускал кубер между ДЦ без общей приватной сети?

потому что контроллер в 1 экземпляре

А както можно указать чтобы на каждой ноде запускался? Или на каждом мастере. Нашел что модно указывать колво ремлик, но хотелось бы что ьы он сам понимал что надо на каждой

Это через метки

Это через метки

Столкнулся с тем что на мастерах taint. Надеюсь модно настраивать исключения. Спасибо

На курсах за 75к эта картинка была? :)

Столкнулся с тем что на мастерах taint. Надеюсь модно настраивать исключения. Спасибо

Модно под ингресс выделить отдельные ноды, залейблить их role=ingress и запускать там только ингресс контроллеры

А както можно указать чтобы на каждой ноде запускался? Или на каждом мастере. Нашел что модно указывать колво ремлик, но хотелось бы что ьы он сам понимал что надо на каждой

Deamon set + selectors тебе в помощь

Deamon set + selectors тебе в помощь

+

Спасибо большое ребят, все получилось

но я ещё использую serverless фреймворк для удобной конфигурации функций. А вот там с ингрессом тоже пока не разобрался. Поэтому exposить ендпойнты решил через обычный ingress конфиг)

посмотрите knative serving там более менее прозрачно настраивается сервинг функций

посмотрите knative serving там более менее прозрачно настраивается сервинг функций

уже разобрались. Там ingress создаётся сам через kubeless trigger http create get-python --function-name get-python --path echo --hostname example.com

У кого нибудь есть книга devops toolkit 2.4?

коллеги, а кто-нибудь скрещивал RBAC и managed k8s клауд от google (GCP) я упорно не понимаю, какие гранты на пользователя в GCP AIM я должен дать, что-бы была возможность создавать роли в k8s

Пацаны раздают, вроде, нужно доната немного вкинуть только. https://www.amazon.com/DevOps-2-4-Toolkit-Continuously-applications/dp/1718187548

@SinTeZoiD ^^^

в этом чате не хватает секса? ?

в этом чате не хватает секса? ?

не

маловато

бывает и лучше

так а не пробовал никто кубернетес от меил.ру? ?

так а не пробовал никто кубернетес от меил.ру? ?

!

посмотрите knative serving там более менее прозрачно настраивается сервинг функций

ок, спасибо

так а не пробовал никто кубернетес от меил.ру? ?

а че?

на самом деле интересно много ли проблем возникает, и насколько быстро фиксят при обращении с проблемой

Переписал Meshbird с нуля для нужд сугубо серверных. Meshbird это тул, для создания распределенной приватной сети между разными ДЦ. Например, для подъема поверх этой сети etcd/kubernetes/calico. Буду рад фидбеку. https://github.com/meshbird/meshbird/tree/meshbird2 Если коротко, аргументы для запуска: --ip - виртуальный адрес в формате cidr --local_addr - адрес <ip>:<port> на котором ожидаются подключения нод из других дц --local_private_addr - <ip>:<port> адрес на котором ожидаются подключения из того же дц --dc имя ДЦ --seed_addrs - адреса через запятую для бутстрапинга ноды в формате <dc>/<ip>:<port> --transport_threads - кол-во tcp подключений к каждой ноде для тунелирования исходящих пакетов Если обе ноды в одном ДЦ, тогда используется приватная сеть этого ДЦ. Для примера, в DigitalOcean между двумя серверами канал через публичную сеть ~ 300mbit/s, через приватную ~2500mbit/s.

на самом деле интересно много ли проблем возникает, и насколько быстро фиксят при обращении с проблемой

если интересно пиши в личку. а то матерится при людях не хорошо

Переписал Meshbird с нуля для нужд сугубо серверных. Meshbird это тул, для создания распределенной приватной сети между разными ДЦ. Например, для подъема поверх этой сети etcd/kubernetes/calico. Буду рад фидбеку. https://github.com/meshbird/meshbird/tree/meshbird2 Если коротко, аргументы для запуска: --ip - виртуальный адрес в формате cidr --local_addr - адрес <ip>:<port> на котором ожидаются подключения нод из других дц --local_private_addr - <ip>:<port> адрес на котором ожидаются подключения из того же дц --dc имя ДЦ --seed_addrs - адреса через запятую для бутстрапинга ноды в формате <dc>/<ip>:<port> --transport_threads - кол-во tcp подключений к каждой ноде для тунелирования исходящих пакетов Если обе ноды в одном ДЦ, тогда используется приватная сеть этого ДЦ. Для примера, в DigitalOcean между двумя серверами канал через публичную сеть ~ 300mbit/s, через приватную ~2500mbit/s.

ты в этом сообщении написал на 500% больше информации, чем написано в README репозитория и веб-сайте вместе взятых

там был старый, новый еще не успел написать

ну сообщение в чят ты же успел написать :)

это копипаста ответа из слака )

это копипаста ответа из слака )

а теперь можно запушить ридми? )

@meganuke готово

буду очень рад тестам, бенчам и фидбеку

ребят вдруг кто сталкивался пишу helm template и вот такую строку не воспринимает {{ if .Values.services.render-block.enabled }} ругается на мину в переменной может кто может помочь?

Наверное имя переменной не может содержать минусы

ребят вдруг кто сталкивался пишу helm template и вот такую строку не воспринимает {{ if .Values.services.render-block.enabled }} ругается на мину в переменной может кто может помочь?

проблема в "-"

ребят вдруг кто сталкивался пишу helm template и вот такую строку не воспринимает {{ if .Values.services.render-block.enabled }} ругается на мину в переменной может кто может помочь?

если очень хочется. то монжо так: {{ if index .Values "services" "render-block" "enabled" }}.

если очень хочется. то монжо так: {{ if index .Values "services" "render-block" "enabled" }}.

вау

попробую временно пока надо оставить так

попробую временно пока надо оставить так

https://github.com/helm/helm/issues/2192

эх выглядит грутно но работает

с минусами во всём околоямловом можно на грабли наступить

коллеги, имею такой вопрос: есть managed k8s есть куча сервисов которые надо выставить наружу девелоперам, но которые не умеют в авторизацию, прикрывать их буду ingress+basic auth + есть часть сервисов которая умеет в авторизацию собственную. хочу сделать один источник, на ум приходит ldap, ingress и сервисы в него умеют. не хочу завязываться на cloud auth backend'ы, надо оставаться в этом плане cloud-agnostic а есть предложения получше?

> не хочу завязываться на cloud auth backend'ы, надо оставаться в этом плане cloud-agnostic зачем?

запиливать под aws/gcp/azure свою часть инфры для авторизации у меня нет желания

в амазоне есть лдап

коллеги, имею такой вопрос: есть managed k8s есть куча сервисов которые надо выставить наружу девелоперам, но которые не умеют в авторизацию, прикрывать их буду ingress+basic auth + есть часть сервисов которая умеет в авторизацию собственную. хочу сделать один источник, на ум приходит ldap, ingress и сервисы в него умеют. не хочу завязываться на cloud auth backend'ы, надо оставаться в этом плане cloud-agnostic а есть предложения получше?

ldap имхо вообще запросто зайдет. Хоть та же freeipa

в азуре наверняка тоже есть

во первых, с ldap не понятно что там с репликациями и HA, что-то я на вскидку не нашел. во вторых, как оказывается nginx-ingress внезапно не умеет в ldap https://github.com/kubernetes/ingress-nginx/issues/1850

в амазоне есть лдап

эээ по пральному это нужно заводить пользователей в cloud platform, и делать бекендом их IAM и прочие полиси

https://aws.amazon.com/ru/directoryservice/

это очень хорошо, но хочется cloud agnostic

а зачем?

мне на пальцах объяснять? сегодня gke, завтра кластер переедет в amazon china

завтра и будешь решать вопрос

нде

cloud intern junior solution architect

тебе задачу решить или потрахаться? :)

у меня gcp, и ссылки на инфру амазона иррелеванты, это первый момент который вы игнорируете второй момент, это то что ingress-nginx похоже кроме как k8s secret'ов ниоткуда авторизовывать не умеет.

oauth2 можно прикрутить

но да, надо будет через какой-нибудь гугл авторизовываться

коллеги, имею такой вопрос: есть managed k8s есть куча сервисов которые надо выставить наружу девелоперам, но которые не умеют в авторизацию, прикрывать их буду ingress+basic auth + есть часть сервисов которая умеет в авторизацию собственную. хочу сделать один источник, на ум приходит ldap, ingress и сервисы в него умеют. не хочу завязываться на cloud auth backend'ы, надо оставаться в этом плане cloud-agnostic а есть предложения получше?

https://itnext.io/protect-kubernetes-dashboard-with-openid-connect-104b9e75e39c например?

https://github.com/bitly/oauth2_proxy уже предлагали?

насчет oauth и прочего, у меня в этом плане туго работает фантазия есть ingress-nginx + cert-manager + letsencrypt для самого простого примера можно взять kibana, которая вообще о понятии "пользователь" не знает, просто смотрит в мир своим интерфейсом без авторизации (кибана без X-PACK) самое простое, это прикрыть её https:// + basic_auth не совсем понимаю как мне поможет oauth впринципе, я могу довольно глубоко залезть в nginx-ingress контроллер и подхачить там луашечкой, или добавлением того же модуля с ldap'ом...

https://github.com/zmartzone/lua-resty-openidc https://github.com/jirutka/ngx-oauth как примеры

насчет oauth и прочего, у меня в этом плане туго работает фантазия есть ingress-nginx + cert-manager + letsencrypt для самого простого примера можно взять kibana, которая вообще о понятии "пользователь" не знает, просто смотрит в мир своим интерфейсом без авторизации (кибана без X-PACK) самое простое, это прикрыть её https:// + basic_auth не совсем понимаю как мне поможет oauth впринципе, я могу довольно глубоко залезть в nginx-ingress контроллер и подхачить там луашечкой, или добавлением того же модуля с ldap'ом...

oauth прокси сайдкаром будет связываться с oauth сервером и решать можно ли этому юзеру лезть или нет

у нас для этого используется гугл

хотя кубер и в амазоне

oauth прокси сайдкаром будет связываться с oauth сервером и решать можно ли этому юзеру лезть или нет

вот это хорошо

1. Тебе нужен сервис который будет проводить авторизацию (ldap/google/github/gitlab/facebook) 2. У nginx есть auth url это url на который делается подзапрос который должен возвращать 200 если доступ разрешен 3. O auth 2 proxy выполняет роль авторизационного сервиса и в случае отсутствия авторизации перенаправляет вас на логин страницу

проблема только одна: если у тебя гугл, то после логина он тебя вернёт хер знает куда, а не куда ты изначально шёл

вот это хорошо

только сервис, соответственно, должен слушать только локалхост. https://github.com/openshift/oauth-proxy/

спасибо коллеги, я сделаю ресерч

https://github.com/kubernetes/ingress-nginx/blob/master/docs/examples/customization/external-auth-headers/deploy/echo-service.yaml#L51

https://github.com/cloudposse/charts/tree/master/incubator/portal

Доехали, половина админов сидит в IDEA судя по чату.

Я в пайчарме :)

Подскажите пожалуйста, делаю kubectl -n kube-system get po и получаю NAME READY STATUS RESTARTS AGE coredns-78fcdf6894-gnc96 0/1 Pending 0 20h coredns-78fcdf6894-mbvj5 0/1 Pending 0 20h etcd-scw-5163ae 1/1 Running 0 20h kube-apiserver-scw-5163ae 1/1 Running 0 20h kube-controller-manager-scw-5163ae 1/1 Running 0 20h kube-proxy-2mt7q 1/1 Running 0 20h kube-scheduler-scw-5163ae 1/1 Running 0 20h kubernetes-dashboard-767dc7d4d-pw5w5 0/1 Pending 0 19h tiller-deploy-64c9d747bd-xdvtt 0/1 Pending 0 28m но когда выполняю kubectl describe tiller-deploy-64c9d747bd-gbrqq error: the server doesn't have a resource type "tiller-deploy-64c9d747bd-gbrqq" получаю такое сообщение.

Я в пайчарме :)

Дык

GNU/Emacs уже советовали?

GNU/Emacs уже советовали?

А там есть текстовый редактор?

:trollface:

Подскажите пожалуйста, делаю kubectl -n kube-system get po и получаю NAME READY STATUS RESTARTS AGE coredns-78fcdf6894-gnc96 0/1 Pending 0 20h coredns-78fcdf6894-mbvj5 0/1 Pending 0 20h etcd-scw-5163ae 1/1 Running 0 20h kube-apiserver-scw-5163ae 1/1 Running 0 20h kube-controller-manager-scw-5163ae 1/1 Running 0 20h kube-proxy-2mt7q 1/1 Running 0 20h kube-scheduler-scw-5163ae 1/1 Running 0 20h kubernetes-dashboard-767dc7d4d-pw5w5 0/1 Pending 0 19h tiller-deploy-64c9d747bd-xdvtt 0/1 Pending 0 28m но когда выполняю kubectl describe tiller-deploy-64c9d747bd-gbrqq error: the server doesn't have a resource type "tiller-deploy-64c9d747bd-gbrqq" получаю такое сообщение.

kubectl describe pod

kubectl describe pod

ничего не выводит

Насколько я понимаю нужно между describe и именем пода вставить слово pod

kubectl describe pod tiller-deploy-64c9d747bd-gbrqq Error from server (NotFound): pods "tiller-deploy-64c9d747bd-gbrqq" not found

боюсь даже представить, как так вышло

Но у тебя такого пода нет

либо не в том неймспейсе

kubectl -n kube-system get pods NAME READY STATUS RESTARTS AGE ... tiller-deploy-64c9d747bd-xdvtt 0/1 Pending 0 37m а если kubectl describe pod -n kube-system tiller-deploy-64c9d747bd-gbrqq Error from server (NotFound): pods "tiller-deploy-64c9d747bd-gbrqq" not found насколько понимаю все верно, за исклюечнием того что tiller not ready