Выделяйте виртуалку и делайте hostNetwork: true не вижу чистых решений.

А если я к примеру helm-ом буду этот сервис ставить и через range эти порты создам? у кубернетиса есть интерсено лимиты на открытые порты?

А если я к примеру helm-ом буду этот сервис ставить и через range эти порты создам? у кубернетиса есть интерсено лимиты на открытые порты?

Думаю, с производительностью не будет проблем, 100 сервисов - это не особая проблема. Вопрос только в том, что все они разные хостнеймы будут иметь.

https://www.spinnaker.io - использует кто? Норм? Или хотите съехать куда-нибудь?

(думаю что использовать для CI/CD)

(думаю что использовать для CI/CD)

Что собирать будешь и в какой вид?

Что собирать будешь и в какой вид?

ну пока у меня ожидается пачка го приложений. В какой вид - не ясен вопрос.

ну пока у меня ожидается пачка го приложений. В какой вид - не ясен вопрос.

Код где храните?

https://www.spinnaker.io - использует кто? Норм? Или хотите съехать куда-нибудь?

будет больно

и не факт что потом будет приятно

Код где храните?

в гите. Гитлабе.

в гите. Гитлабе.

Тык встроенный CI

Нафига платное облачное хрень?

autodevops кстати стейбл вроде стал

с 11 версии

Тык встроенный CI

я про него знаю. Мне надо понять какие есть альтернативы.

(то есть уже целую неделю)

Нафига платное облачное хрень?

Spinnaker is an open source говорят

У него хранилище должно быть в S3 или аналоге (лол)

я про него знаю. Мне надо понять какие есть альтернативы.

Женя

Из интересных аналогов GoCD, и его кажется допилили до стадии нормальной автоматизации https://docs.gocd.org/current/advanced_usage/pipelines_as_code.html

autodevops кстати стейбл вроде стал

Нифига. Он собирает один из 50 проектов

Из интересных аналогов GoCD, и его кажется допилили до стадии нормальной автоматизации https://docs.gocd.org/current/advanced_usage/pipelines_as_code.html

Вот это - боль такая же, как и дрон

я про него знаю. Мне надо понять какие есть альтернативы.

Просто встроенным в докер собирай, не мучай себя

Просто встроенным в докер собирай, не мучай себя

что встроенным в докер? У меня есть коммит, мне надо собрать образ докера, провести его через тестинг, выложить на 1/5 например в кубер, посмотреть за мониторингом, выложить на все остальное. А если что-то пошло не так, откатить. Желательно без моего участия ?

тогда хз. я недавно обновлял - пришлось руками поды убивать по одному

решение есть. Нужно доавить либо в env переменную которая будет меняться какждый раз при выкате либо нужно, чтобы при выкате имидж менялся. В общем я по первому пути пошёл - всё работает, поды перекатываются по очереди.

что встроенным в докер? У меня есть коммит, мне надо собрать образ докера, провести его через тестинг, выложить на 1/5 например в кубер, посмотреть за мониторингом, выложить на все остальное. А если что-то пошло не так, откатить. Желательно без моего участия ?

Тогда женя с пайплайнами

Господа, подскажите новечку. Куда капать и что можно сделать чтобы вот это непонятное состояние сдвинуть с места

познакомься с kubespray.

У него хранилище должно быть в S3 или аналоге (лол)

можно отучить, это только на первый взгляд

minio с ограниченным функционалом?

Spinnaker is an open source говорят

да, но нет, по факту его пилят гугл+нетфликс особо не обращая внимание на комьюнити

можно отучить, это только на первый взгляд

s3 аналог не проблема для меня в принципе.

Думаю, с производительностью не будет проблем, 100 сервисов - это не особая проблема. Вопрос только в том, что все они разные хостнеймы будут иметь.

kind: Service apiVersion: v1 metadata: name: my-service spec: ports: - name: ftp1 protocol: TCP port: 6001 targetPort: 6001 - name: ftp2 protocol: TCP port: 6002 targetPort: 6002 Если же таким образом создам порты . Теоритически все должно быть ок

kind: Service apiVersion: v1 metadata: name: my-service spec: ports: - name: ftp1 protocol: TCP port: 6001 targetPort: 6001 - name: ftp2 protocol: TCP port: 6002 targetPort: 6002 Если же таким образом создам порты . Теоритически все должно быть ок

А, господи, да, должно нормально быть.

познакомься с kubespray.

Вопрос, что почитать и где документация. Честно пытался пару раз деплоить им, но безуспешно, трэйсы не поборол.

Вопрос, что почитать и где документация. Честно пытался пару раз деплоить им, но безуспешно, трэйсы не поборол.

На гитхабе в его репо всё. Главное настроить правильно инвентарь, а дальше он всё сам делает. Просто до безобразия.

привет! подскажите куда лучше задать вопрос про docker? вопрос примерно такой: что делать с контейнером, на котором зависают и docker inspect и docker stop?

Ребят, а подскажите чуточку. Вот задеплоил я в кубере несколько сервисов, всё вроде нормально, они доступны внутри между контейнерами по именами вида svcname.namespace.svc.cluster.name и теперь я хочу доступатсья к ним из вне. Хочу что то вроде nginx \ haproxy на паре нод где есть внешние адреса разместить, и прокидывать доступ в сервисы, при всём этом хочу чтобы это тоже были контейнеры и они сами там upstream list обновляли. Мне какие ключевые слова гуглить, и как это принято делать ?

я так понимаю это ingress balancer

привет! подскажите куда лучше задать вопрос про docker? вопрос примерно такой: что делать с контейнером, на котором зависают и docker inspect и docker stop?

а что за контейнер такой, что внутри крутится?

внутри dotNet апликуха. больше подробностей не знаю, но в крайнем случае есть рядом разработчики и исходники этой апликухи. Но кажется что дело не в ней

Ребят, а подскажите чуточку. Вот задеплоил я в кубере несколько сервисов, всё вроде нормально, они доступны внутри между контейнерами по именами вида svcname.namespace.svc.cluster.name и теперь я хочу доступатсья к ним из вне. Хочу что то вроде nginx \ haproxy на паре нод где есть внешние адреса разместить, и прокидывать доступ в сервисы, при всём этом хочу чтобы это тоже были контейнеры и они сами там upstream list обновляли. Мне какие ключевые слова гуглить, и как это принято делать ?

ingress-nginx смотри

Ребят, а подскажите чуточку. Вот задеплоил я в кубере несколько сервисов, всё вроде нормально, они доступны внутри между контейнерами по именами вида svcname.namespace.svc.cluster.name и теперь я хочу доступатсья к ним из вне. Хочу что то вроде nginx \ haproxy на паре нод где есть внешние адреса разместить, и прокидывать доступ в сервисы, при всём этом хочу чтобы это тоже были контейнеры и они сами там upstream list обновляли. Мне какие ключевые слова гуглить, и как это принято делать ?

если http/https то https://github.com/kubernetes/ingress-nginx

или есть еще ingress на haproxy, traefik, envoy ...

вопрос от новичков - как выставить api сервер наружу?

дашбор смог выставить, с аписервером не получается

А как-то можно отдельные ноды сделать такими, чтобы на них поднимались поды только поселектору привязанные?

А как-то можно отдельные ноды сделать такими, чтобы на них поднимались поды только поселектору привязанные?

https://kubernetes.io/docs/concepts/configuration/assign-pod-node/ ?

Это как навесить на ноду по селектору. А как запретить что-то поднимать если в поде не прописано селектор на эти ноды?

NoSchedule

повесь taint

если http/https то https://github.com/kubernetes/ingress-nginx

nginx умеет стримить tcp/udp

С какой версии он udp умеет?

Только плюсовая версия ж вроде

Или я что-то путаю? Могу ж и ошибаться

повесь taint

спс

С какой версии он udp умеет?

Week of March 28, 2016 – NGINX version 1.9.13 will be released and include UDP load balancing

А кто-то уже юзал куберовский дешедьюлер, который в инкубаторе?

Или я что-то путаю? Могу ж и ошибаться

я про это узнал из helm чара nginx-ingress, так сам не знал.

Ребят, а подскажите чуточку. Вот задеплоил я в кубере несколько сервисов, всё вроде нормально, они доступны внутри между контейнерами по именами вида svcname.namespace.svc.cluster.name и теперь я хочу доступатсья к ним из вне. Хочу что то вроде nginx \ haproxy на паре нод где есть внешние адреса разместить, и прокидывать доступ в сервисы, при всём этом хочу чтобы это тоже были контейнеры и они сами там upstream list обновляли. Мне какие ключевые слова гуглить, и как это принято делать ?

ingress-values.yaml name: nginx-ingress namespace: kube-system rbac: create: true controller: kind: DaemonSet daemonset: useHostPort: true Выполнить helm install --namespace kube-system --name nginx-ingress stable/nginx-ingress -f ingress-values.yaml Дальше в доке смотреть как ingress ресурс для сервиса написать.

я уже этим занимаюсь, но только ставить пытаюсь nginx-ingress через их доку а не через хелм

и как то тяжковато, не вдупляю зачем у них default-http-backend

Week of March 28, 2016 – NGINX version 1.9.13 will be released and include UDP load balancing

спасибо.

ловит все, что плохо маршрутизировано (default-http-backend)

* как server { listen 80 default_server; }

ну да я так и подумал, но не понял зачем это

чтобы типа невалидные запросы не прилетали на первую апишку ?

Да. Мне помогало, когда опечатку делаешь, то получаешь не "сервер не отвечает", а "default backend - 404". Ясно куда идти смотреть.

Понятно. А дальше я пытаюсь реджистри вытащить через ingress-nginx. Но не получается даже до default достучаться. По рекомендации вроде создал service в котором spec.type: NodePort

Вот тока меня смущает, у него Endpoints должны быть от ingress controller pods ?

и смущает что у сервиса ingress-nginx есть internal endpoints на портах аля 32649 и как раз там default почему то а не на 80

такое ощущение что я чо то где то местами попутал )

А точно нодепорт должен быть??

Коллеги, немного странный вопрос, коллега спрашивает а есть ли простой но внятный туториал что бы делать свои операторы в k8s

да https://coreos.com/blog/introducing-operator-framework

https://github.com/operator-framework

Коллеги, немного странный вопрос, коллега спрашивает а есть ли простой но внятный туториал что бы делать свои операторы в k8s

https://github.com/operator-framework/getting-started

Спасибо

Кто нибудь как то синкает имажи между нодами?

О.о зачем

они же и без того синьканы

Ну вот кейс с гитлабом и приватными режистри к примеру

Т.е. во время деплоя делаем кронжобу, на одной ноде она пулится во время деплоя, затем когда она оканчивается и пересоздается на другой, то там уже нет имажа актуального и креды гитлаба протухли

А синкать зачем, они же при пулле сами синкнутся

пульте по диджесту, делов-то

"Креды гитлаба протухли", они активны только во время джобы гитлаба

Так может этот вопрос решать?

Он не решается, с гитлабом ничего не поделаешь это его логика, использовать персональные креды не секурно в крупной компании

В идеале при деплое имаж должен попадать на все ноды

Создайте деплоящего юзера в GitLab. Как вам такой ход конём?

Создайте деплоящего юзера в GitLab. Как вам такой ход конём?

Найн, гитлаб завязан на sso/ldap, и админится другими людьми.

Сервисные учетки тоже не в почете

Все простые и логичные решения я уже обдумал

развернуть регистри внутри куба, пушить в нё из гитлаба и пуллить из неё без sso?

развернуть регистри внутри куба, пушить в нё из гитлаба и пуллить из неё без sso?

Опять же не сусурно

разрешить доступ только одному SA

разрешить доступ только одному SA

Не вариант, мы не можем использовать для каждого проекта по SA, а если использовать один SA то ломается логика приватных режистри.

Поэтому сопсно и полез сюды, может у кого похожий кейс есть со злыми ИБ

гайс, а кто https://github.com/jetstack/cert-manager юзает? как сделать чтобы тот ингресс который для ACME создаётся, получал определённый annotate?

чет посмотрел на tcp stream в ingress nginx, в конфигмапе и в шаблоне нет поддержки access директив allow\deny https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/exposing-tcp-udp-services.md https://github.com/kubernetes/ingress-nginx/blob/master/rootfs/etc/nginx/template/nginx.tmpl#L588 или я не прав и можно намутить чтото? там есть глобальный whitelist, но блэклиста для tcp stream нет =(