хм а как это должно работать если один и тот же путь на два сервиса?

я вот что нашел: https://github.com/kubernetes/ingress/issues/257 / https://github.com/kubernetes/ingress/pull/981 сразу скажу - это не то что мне надо, то есть тут сохраняется тенденция привязки 1 service - 1 endpoint (ибо 1 ClusterIP), но по крайней мере я прочитал вот это https://github.com/kubernetes/ingress/issues/257#issuecomment-278998855 соответственно может как-то подхачить Endpoints API? еще я заметил упоминания о kong api, как там через lua апстримы менеджатся..

мне надо между двумя сервисами балансировать одно и то же доменное имя целиком

у меня один сервис это один под, там никогда не будет replicas > 1

сделайте другой сервис, искусственный, пусть он покрывает все ваши поды

и укажите его в ingress

пусть даже ClusterIP: None

создать какой-то третий сервис и замапить его на эти два и ингресс для него запилить?

ага

просто мне нужно еще обеспечить доступность per-service URL извне

ну можете первые два сервиса удалить за ненадобностью , если они нигде больше не нужны :)

ну для per-service сделайте ingress с различающимся path и/или host

то есть прикол в том, что есть три урла: global.domain.net backend-1.domain.net backend-2.domain.net клиент изначально на global.domain.net приходит, но после первого запроса дальше он будет общаться с каким-то из backend-1/backend-2, в зависимости куда раунд робин его направит

ну вот, у вас 3 сервиса и 3 ingress

различающиеся path да, будут работать, но нужно чтобы корень балансировался

формально мне тупо хватит чтобы можно было два айпишника в апстрим запихнуть, чтоб они и по отдельности работали, и глобально - под балансируемым доменом. Но с концепцией эндпойнтов в кубере по ходу это не так просто сделать

я может чего-то не вижу, но всё как раз просто

я знаю что это тупой дизайн и неправильно, но вот так...

как? я просто уже долго копаюсь и понять не могу)

apiVersion: extensions/v1beta1 kind: Ingress spec: rules: - host: "global.domain.net" http: paths: - backend: serviceName: allBackendsService servicePort: 8888 - host: "backend-1.domain.net" http: paths: - backend: serviceName: backend-1 servicePort: 8888

а в allBackendsService мне надо еще один нжинкс запихать который будет разбрасывать между backend-{1,2} ?

нет

это просто сервис у кого в селекторе выбираются backend-1 и backend-2

как? я просто уже долго копаюсь и понять не могу)

Тут поможет концепция лейблов. Если у двух подов одинаковые лейбл ( хоть один ) из них делается k8s сервис

гм, щас буду гуглить, спасибо, об этом я не думал

если никаких общих значений лейблов нет, но есть общие имена лейблов, то можно тупо перечислить значения selector: matchExpressions: - {key: appName, operator: In, values: [backend-1, backend-2]}

то есть это пустой сервис только на селекторах?

а бывают другие?

ну без селекторов бывают) https://kubernetes.io/docs/concepts/services-networking/service/#services-without-selectors ладно, буду смотреть. я в этой горе абстракций путаюсь иногда. спасибо за мысли

ну без селекторов он еще "пустее" :)

то есть это пустой сервис только на селекторах?

Суть в том, что отдельный под для этого сервиса запускать не нужно, он сам найдет бекенды по селекторам

я этого не знал, уже черти куда залез :) спасибо

всё правильно, там в конфиге указано location / { ... proxy_set_header Host kubernetes.io; proxy_pass https://kubernetes.github.io;

не заметил proxy_set_header

Заметил, что последняя версия кубера не может нормально работать с частным реестром, который требует по https от него клиентские сертификаты. Причем наблюдается следующая картина: sandbox-образ загружается нормально, а обычные образы - нет. Такая же картина с подключением по HTTP с Basic Auth. В логах ругается, что не может поднять сетку)) Нет чтобы нормально в логах выдать ошибку подключения к реестру, он ругается на сетку! Хваленый кубер-кубернетс !!!!!!!!!!!!!!

Знаю-знаю, никто с этим не сталкивался))

оффтоп: поковырял istio, поднял пару сервисов на нем но так и не понял нафиг он нужен... кто-ниудь достиг просветления?

оффтоп: поковырял istio, поднял пару сервисов на нем но так и не понял нафиг он нужен... кто-ниудь достиг просветления?

про кого или что ты говоришь?

https://istio.io/

оффтоп: поковырял istio, поднял пару сервисов на нем но так и не понял нафиг он нужен... кто-ниудь достиг просветления?

мне нравится тема с метриками, circuit breaker и прочими ретраями

https://istio.io/

хороший вопрос на который лично я в данный момент ответить е могу по причине больной головы после найденных грабель k8s

https://istio.io/

Говорят нужен, завтра послезавтра буду ковырять. У вас получилось истио внутрь запихнуть? Есть подводные камни?

Заметил, что последняя версия кубера не может нормально работать с частным реестром, который требует по https от него клиентские сертификаты. Причем наблюдается следующая картина: sandbox-образ загружается нормально, а обычные образы - нет. Такая же картина с подключением по HTTP с Basic Auth. В логах ругается, что не может поднять сетку)) Нет чтобы нормально в логах выдать ошибку подключения к реестру, он ругается на сетку! Хваленый кубер-кубернетс !!!!!!!!!!!!!!

Вы прямо как первый день за мужем

Вы прямо как первый день за мужем

в плане том, что не значл что он глючный? .... в первый))

в плане том, что не значл что он глючный? .... в первый))

Добро пожаловать

если никаких общих значений лейблов нет, но есть общие имена лейблов, то можно тупо перечислить значения selector: matchExpressions: - {key: appName, operator: In, values: [backend-1, backend-2]}

Спасибо, проверил - такая схема создала по эндпоинту на каждый матч селектора и в ингрессе все эндпоинты помещаются в апстрим.

Говорят нужен, завтра послезавтра буду ковырять. У вас получилось истио внутрь запихнуть? Есть подводные камни?

на minikube поднял, из подводных камней - то что на следующей день после перезапуска куба перестал работать с ошибкой которая не гуглится :)

на minikube поднял, из подводных камней - то что на следующей день после перезапуска куба перестал работать с ошибкой которая не гуглится :)

А почему не https://linkerd.io/ ?

ну, я с самого хайпового начал )

Так вроде как linkerd более состоявщийся, хотя могу ошибаться.

на minikube поднял, из подводных камней - то что на следующей день после перезапуска куба перестал работать с ошибкой которая не гуглится :)

Как-то грустно

Заметил, что последняя версия кубера не может нормально работать с частным реестром, который требует по https от него клиентские сертификаты. Причем наблюдается следующая картина: sandbox-образ загружается нормально, а обычные образы - нет. Такая же картина с подключением по HTTP с Basic Auth. В логах ругается, что не может поднять сетку)) Нет чтобы нормально в логах выдать ошибку подключения к реестру, он ругается на сетку! Хваленый кубер-кубернетс !!!!!!!!!!!!!!

Самое интересное, когда подключаешься к реестру напрямую наблюдаются пролемы с HTTPS, но когда подключаешься к нему же через nginx через тот же HTTPS - все работает

Самое интересное, когда подключаешься к реестру напрямую наблюдаются пролемы с HTTPS, но когда подключаешься к нему же через nginx через тот же HTTPS - все работает

Вообще regisry за nginxом доставляла мне много головной боли, пока я не научился правильно делать proxypass

Вообще regisry за nginxом доставляла мне много головной боли, пока я не научился правильно делать proxypass

В данный момент я этому учусь)) Хотя все работало, пока я не обновил docker-distribution до версии 2.6.2

В данный момент я этому учусь)) Хотя все работало, пока я не обновил docker-distribution до версии 2.6.2

Самое интересно, что когда я откатился до предыдущей версии, ничего не изменилось

Вообще regisry за nginxом доставляла мне много головной боли, пока я не научился правильно делать proxypass

Пиши статью :)

Пиши статью :)

Она уже есть, не моя, если будете испытывать боль в этом направлении пинганите, нагуглю

пусть даже ClusterIP: None

в общем-то, с учетом https://github.com/kubernetes/ingress/pull/981 (аннотация правда даже еще не заиндексировалась в гугле) мы можем подпихнуть в апстрим clusterIP за которым несколько endpoints, ибо на ноде они с -m statistic --mode random --probability раскидываются

прокси с принудительной балансировкой :)

Пиши статью :)

А я просто напишу скрипт для автоматического развертывания с парсингом и всем таким

Так вроде как linkerd более состоявщийся, хотя могу ошибаться.

да, на него у меня больше планов: во-первых, стабильнее, во вторых, он деплоит не по контейнеру в каждый под а по поду на ноду что существенно экономит ресурсы у istio правда лучше работа L4 из коробки, но мне неактуально так как только http в кубере пускаю - так что переключился на ковыряние linkerd, скажу если до прода дойдет :)

Всем доброго вечера. Тестируем k8s, встал вопрос как балансировать количество pod между нодами. У нас получается 60/40 70/30 постоянно. Лимиты не используем, т.к. пока это дев окружение. Может кто подсказать?

https://buoyant.io/2016/11/04/a-service-mesh-for-kubernetes-part-iv-continuous-deployment-via-traffic-shifting/ - прикольненько

в общем-то, с учетом https://github.com/kubernetes/ingress/pull/981 (аннотация правда даже еще не заиндексировалась в гугле) мы можем подпихнуть в апстрим clusterIP за которым несколько endpoints, ибо на ноде они с -m statistic --mode random --probability раскидываются

это никак никак бы не помогло вопрошающему :)

ERROR: S client not available

да, на него у меня больше планов: во-первых, стабильнее, во вторых, он деплоит не по контейнеру в каждый под а по поду на ноду что существенно экономит ресурсы у istio правда лучше работа L4 из коробки, но мне неактуально так как только http в кубере пускаю - так что переключился на ковыряние linkerd, скажу если до прода дойдет :)

кусок джавы не смущает?

А что не так с джавой?

Жор, GC залипы, постоянные подкрутки 100 рычажков

Согласен, жвм на инфраструктуру не хочется брать.

Хотя сам на скале пишу :)

А что не так с джавой?

с джавой все отлично, если в нее уметь. Но в нее не умеет 999 из 1000

Привет, а занимается ли кто-то управлением пользователями и разграничением доступа (ролями) в кубернетесе? Или все не парятся и ходят под одним-единственным базовым админ аккаунтом, у которого есть доступ ко всем объектам в кубе? Пользуются ли каким-то дашбордом? Если дефолтным, то как обеспечивают к нему доступ с ноутбуков сотрудников? Если не базовым, то каким и как настраивают доступ?

Привет, а занимается ли кто-то управлением пользователями и разграничением доступа (ролями) в кубернетесе? Или все не парятся и ходят под одним-единственным базовым админ аккаунтом, у которого есть доступ ко всем объектам в кубе? Пользуются ли каким-то дашбордом? Если дефолтным, то как обеспечивают к нему доступ с ноутбуков сотрудников? Если не базовым, то каким и как настраивают доступ?

ответ на вопрос про дашборд - прокси. В конфиге прокси указывается токен, а по токену вычисляется роль

Привет, а занимается ли кто-то управлением пользователями и разграничением доступа (ролями) в кубернетесе? Или все не парятся и ходят под одним-единственным базовым админ аккаунтом, у которого есть доступ ко всем объектам в кубе? Пользуются ли каким-то дашбордом? Если дефолтным, то как обеспечивают к нему доступ с ноутбуков сотрудников? Если не базовым, то каким и как настраивают доступ?

дашбоард можно запустить прописав ему ограниченный service account

у нас в тикетах подбирается к верху один, чтобы пускать дашбоард на каждый namespace, где namespace == команда ,с токеном дающим права только на этот namespace

coreos/dex довольно стабильно работает

Жор, GC залипы, постоянные подкрутки 100 рычажков

ой, да ладно вам про гц залипы в приложении на сто метров

Указал размер хипа и куда дамп сбрасывать при оом и вперед

https://t.me/moneymafia - схемы и мануалы для заработка на любой вкус и цвет, приватные материалы с закрытых форумов.

А как экспозить ингресс?

эмммм??ОО

ингресс это правило по которому ингресс-котроллер настраивает прокси

Как пустить внешний трафик на поды nginx например

gce или nginx

я знаю

ставишь ингресс контроллер, пишишеь ингресс

и ингресс котроллер перенастраивает прокси

либо через nodePort

то есть снаружи попасть вариант только через NodePort?

прокси чем не вариант?

под прокси что имеется в виду?

https://ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D0%BA%D1%81%D0%B8-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80

капитан

Вот именно это и имеется ввиду

Если nginx запущен сам в подах, как на них попасть снаружи?

nodePort