На nc, например.

на чем? не понял )))

netcat

@beatlejyse Иван приветствую, как дела? все там же работаете? :)

@beatlejyse Иван приветствую, как дела? все там же работаете? :)

Добрый день! Да, пока там же )) А у вас как?

Добрый день! Да, пока там же )) А у вас как?

вашими молитвами ?

Дела норм. Кластер собрал, мультимастер сделал, RBAC включил. Уже больше 4 мес. на проде живём. С Ceph-ом пока проблемы ))

https://cloudplatform.googleblog.com/2018/07/kubernetes-1-11-a-look-from-inside-Google.html?m=1

Народ, видел, что есть люди, которые используют kube-router, а есть те, кто его попробовали/знают что это, но все равно остались/вернулись на Calico+ kube-proxy? Читаю доки и конфиги не могу понять где подвох

https://gravitational.com/blog/kubernetes-and-offline-etcd-upgrades/

поставил на ubuntu 16 kuber 1.11 в кластере мастер+слэйв. поставил хэлм но при любой команде хэлма вылетает ошибка: helm list Error: forwarding ports: error upgrading connection: unable to upgrade connection: pod does not exist кто знает в чем пробелма?

tiller был установлен?

да контейнер запущен без проблем на мастере

Сегодня поднял 1.11 с фаннель, задеплоил руками нжинкс, но вот нодепорт так и не выбросился. И не могу понять почему.

да контейнер запущен без проблем на мастере

и кстати, если убрать из кластера ноду слэйва то хэлм работает ок

Вечером буду ещё ковыряться. Есть два подозрения. 18.04 бубунта или таки 1.11. Тот же сетап на 16.04 и 1.9 нормально летел

Народ, видел, что есть люди, которые используют kube-router, а есть те, кто его попробовали/знают что это, но все равно остались/вернулись на Calico+ kube-proxy? Читаю доки и конфиги не могу понять где подвох

У меня в деве развернут, но в прод пока не хочу, причина не сколько в нем, а скорее в том что мне не нравится идея ассигнить podCIDR на ноду, без возможности его потом поменять

это ограничение бриджового cni плагина?

Использую romana, она ассигнит рейнджи автоматически

нет, это ограничение kubernetes-api

https://github.com/kubernetes/kubernetes/issues/63390 в случае с flannel будет та же проблема

тем не менее ipvs режим для сервисов можно включить и в kube-proxy

кстати ipvs режим ктонить включал?

Я понимаю, что можно сделать romana+kube-proxy IPVS + metalLB + отдельный snat + еще много чего интересного. Я не понимаю зачем это делать если есть kube-router который по докам умеет все это делать сразу - вот и спрашиваю в чем подвох

хз использую kube-router + keepalive для переброски випов полет вроде нормлаьный

кстати ipvs режим ктонить включал?

Я включал, но в деве только, в принципе тоже самое что и в kube-router

в iptables оно чтонить пишет?

и как externalIP выглядит, аналогично как и в kube-router?

лабы сейчас нет, демонтировал, проверить не могу.

хороший вопрос, могу сча проверить

Коллеги, кто какой редис с HA использует в кубернете?

Привет всем! Есть такой вопросец по k8s. С выходом 1.11, стандартный внутренний клауд провайдер для OpenStack был помечен, как deprecated. С рекомендацией использовать --cloud-provider=external. Был найден репозиторий на гитхабе kubernetes/cloud-provider-openstack с максимально невнятной документацией. Кто-либо знает, как завести эту сотону? Просто, запускаю кублеты с --cloud-provider=external и добавляю cloudProvider в конфигурационный ямл для kubeadm? Их дока openstack-kubernetes-integration-options.md прямо противоречит официальному мануалу куба (запускаем только кублеты с --cloud-provider=external vs запускаем все бинари с --cloud-provider=external)

бойс, а есть кто на EKS сидит(уже?)

бойс, а есть кто на EKS сидит(уже?)

Скоро будем один проект туда переносить. Только сейчас разбираемся. Там немного костыльно все сейчас

и как externalIP выглядит, аналогично как и в kube-router?

проверил, externalIP выглядит так же, единственное отличие, kube-router использует kube-ipvs0 интерфес, а kube-proxy использует kube-dummy-if

плюс kube-proxy добавляет чет в iptables, да

хм по интерфейсам мож наоборот?

а пример того что в iptables добавляется можешь показать?

https://www.diffchecker.com/Y8j50XF0

хм по интерфейсам мож наоборот?

да, перепутал, наоборот

судя по всему только harpin правила добавляет в общем тоже самое что в kube-router только там это если в конфиге укажешь

lvs только в masq режиме?

вроде да, я ниче не менял

понятно, спасибо за инфу

да нз, самому интересно было :)

Всем привет опять ) вопрос про между VPC connection . есть два peered VPC , нужно как то из НЕ куб аппликации достучаться до POD_a который бежит в кластере , сейчас делаю это через External endpoints(ELB) но не уверен что это правильно , тем более наружу сервис експозить не хочется ? . Посоветуйте пжлста как разговаривать с сервисами бегущими в кубе

это нормально

и ELB не обязательно наружу смотрит

ну он экстернал с какойто дефолтной SG

кто знает УРЛу может подергать сервис за всякое )

Я всегда делаю через ingress, это зашквар? (если приватный сервис, то ограничение по ip или токенам)

Ходить на ноды открывать порты же нужно с external endpoints?

ну поидее если это пирд впс я могу наружу не выходить

но интернас днс куба я резолвить не научился

Я больше просто интересовался "когда мне следует отказаться от ingress", везде сую его. Denis почему в вашем случае нельзя делать ingress?

Denis kube-dns вывалите наружу. И внешние запросы должны резолв через него делать, а потом ходить через локалку в peered VPC.

Ребят, я вчера спрашивал про node-labels и kubespray, они не сетились у меня. На всякий случай мож кому полезно будет. Дело в том что kubespray _только_ меняет параметр --node-labels для kubelet, но он работает только когда нода джойнится к кластеру, поэтому запускай не запускай ничо и не поменяется ) Вариант тока удалять ноду из кластера и обратно бутстрапить или ручками через kubectl labels node

Я больше просто интересовался "когда мне следует отказаться от ingress", везде сую его. Denis почему в вашем случае нельзя делать ingress?

до игресса както не дошел тоже , ингресс это nginx же ? тоже самое что и ИЛБ только бесплатно

deployment - service - ingress ingress контроллер смотрит на ingress ресурсы и пишет конфиг для nginx/haproxy/traefik (ingress контроллер какой хочешь)

ну опять таки - external access to the services in a cluster

ingress можно сделать локальный

хочется наружу вообще не вылазить

ага

ERROR: S client not available

вот интересно уже

я насколько понимаю ingress это путь от внешней сети к кластеру. Какая внешняя сеть будет не так важно. Народ меня поправит?

https://github.com/kubernetes/charts/tree/master/stable/nginx-ingress controller.hostNetwork оно же?

а если оба ВПС шэрят 1 Hosted zones в route53 , сам route53 ни как не заюзать

так все вроде там же нашел - AWS route53-mapper

спс буду копать

я насколько понимаю ingress это путь от внешней сети к кластеру. Какая внешняя сеть будет не так важно. Народ меня поправит?

ingress controller в общем просто приложение, он даже наружу может быть недоступен

кстати про наружу-если он деплоится в интернал сабнетах , наружу опять таки через ELB?

привет! Как достать логи из свалившегося деплоймента? Уточняю 1) делаю деплоймент через set image 2) жду rollout status 3) если свалилось, делаю rollout undo вот между 2 и 3 мне надо программно (ну то есть не руками буду kubectl запускать) взять логи свалившегося пода (describe+logs). Проблема в том, что я не знаю, как мне определить какой под смотреть

предположу что нужно в деплойменте понять какой репликасет создался и дергать логи из подов, которые ему принадлежат

но наверное эту задачу решает глобальный сбор логов контейнеров, нет?

глобального нет (пока?), сейчас в CI/CD надо дать причину отката релиза

Мужики, подскажите, есть ли возможность через valueFrom: secretKeyRef: передавать секрет из другого namespace?

Или вообще есть ли возможность такая

глобального нет (пока?), сейчас в CI/CD надо дать причину отката релиза

мне кажется решать задачу со сбором логов всеравно придется. и это решение закроет эту проблему

Мужики, подскажите, есть ли возможность через valueFrom: secretKeyRef: передавать секрет из другого namespace?

так нельзя. секрет нужно в этот namespace поместить

@ptchol кубер деплоишь паппетом или кублетом ?

kubespray'ем же

мне кажется решать задачу со сбором логов всеравно придется. и это решение закроет эту проблему

это откроет проблему разработчиков, которым лень искать логи свалившихся контейнеров в общей куче, и которые всё равно попросят это прикрепить к CI/CD пайплайну

это откроет проблему разработчиков, которым лень искать логи свалившихся контейнеров в общей куче, и которые всё равно попросят это прикрепить к CI/CD пайплайну

ошибки настолько часты? надуманно мне кажется

девелоперы хотят билд и выкат на каждый коммит.

nodejs

я думаю, будет достаточно

проект только начинается, у них оно уже падает на демо страничке :)

Минутка рекламы: завтра будет вебинар по Кубернетес, если кому интересно, подробности тут: https://goo.gl/4nxtKz

ну так скорее всего ошибки будут не с запуском пода. он проверки прошел - жив

в том то и проблема, что не прошёл, на хелсчеки не отвечает

чет в последнем кубе поды в Unknown больше не сносятся с --force --grace-period=0, кто нибудь знает как снести?

уже даже ноды снес, а поды все равно висят

ну я как-то через etcdctl сносил