Есть здесь крутые спецы по микросервисам? Есть вопросы по их построению и организации, т.к. у нас команда разошлась во мнениях. Консультация оплачиваемая, но нужен действительно опытный человек (минимум 2 закрытых проекта с такой архитектурой). Писать мне в личку или сюда.

Как правильно тут отметили ранее большинство нашей ̶е̶б̶л̶и̶ настроек связано с тем, что гоняем л̶ы̶с̶о̶г̶о кубер на bare metal. Поэтому вот нормальная статья как настроить nginx-ингресс для своего кубера. https://akomljen.com/kubernetes-nginx-ingress-controller/

ага, было

А если я захочу хитрые мапы в ингрессе, то мне надо будет кастомный шаблон делать?

По хорошему бы сделать доку со списком всех статей типа ФаКа

чей IP будет использоваться в качестве source IP для исходящих запросов из пода наружу кластера?

зависит от настроек

каких? iptables допустим у kube-proxy

чей IP будет использоваться в качестве source IP для исходящих запросов из пода наружу кластера?

Айпишник ноды, где запущен конкретный под.

смотря как сеть настроена

смотря как сеть настроена

и какие ещё могут быть варианты, тогда?

если у тебя честный роутинг, то может быть адрес пода

"честный" = "без NAT"

Айпишник ноды, где запущен конкретный под.

Но по идее же можно запустить NLB ???

в кого запустить ?

Ну я себе представляю внешний балансирщик который смотрит на ноды и принимает соединения от клиентских подключений и балансит запрос на ноду по состоянию

а какое отношение это имеет к исходящему из пода трафику?

а какое отношение это имеет к исходящему из пода трафику?

исходящих запросов. Уже вижу. Поспешил. Мозг с утра не завелся еще, надо кофе , больше кофе.

Кто-нибудь использкет приватный докер репозиторий AWS ECR?

в чем вопрос?

там пароль истекает каждые 12 часов. Какие минимальные роли нужно прописать в IAM для пула-пуша-генерации нового пароля?

даю слишком "жирные" права типа EC2ContainerRegistryFullAccess ECS_FullAccess но куб не может сделать pull

Нода не в AWS EC2

Нода не в AWS EC2

тогда кому вы дете эти "жирные" права? их нужно навешивать на ноду в aws

Народ, вопрос: есть кубер на собственном железе. Чем его забекапить (волумки не надо)

там пароль истекает каждые 12 часов. Какие минимальные роли нужно прописать в IAM для пула-пуша-генерации нового пароля?

Для генераци пароля - ecr:GetAuthorizationToken вот такие права

В остальном все есть в документации

тогда кому вы дете эти "жирные" права? их нужно навешивать на ноду в aws

понял, это в качестве эксперемента

В остальном все есть в документации

с паролем все ок, не дает сделать pull.

локально тестировали?

Ну типа каким-нибудь awscli проверить права

Ну типа каким-нибудь awscli проверить права

Локально тоже не пускает An error occurred (RepositoryNotFoundException) when calling the ListImages operation: The repository with name 'name' does not exist in the registry with id '234235'

репозиторий и registry существуют

Все разобрался, прогнал на симуляторе и нашел ошибку

Народ, вопрос: есть кубер на собственном железе. Чем его забекапить (волумки не надо)

бэкапьте только etcd api-server-а, все остальное бэкапить нет смысла

А персистентные вольюмы?

человек сказал, что волумы бэкапить не нужно

В etcd вся информация о кластере хранится?

И ямлы которые мы деплоим

И состояние подов

etcdctl вам в руки

В etcd вся информация о кластере хранится?

да, именно там.

Не могу подружить flanneld и CNI при использовании etcd в кластере мастеров, при запуске поднимаются все интерфейсы кроме cni. При инициализации kubeadmin init POD сабнеты не прописсываю так как Flannel берет его заранее из etcd, в etcd загнал сабнет классически etcdctl set /coreos.com/network/config '{ "Network": "10.224.0.0/16","Backend":{"Type":"vxlan"},"SubnetLen": 24 }' . никто не сталкивался с таким ? Либо какие overlay плагины можно еще использовать с кластерным ETCD ? PS. все подпапки для cni типа /etc/cni/cni.d и /opt/cni созданы, плагины из сорсов CNI пробилдованы. Если ипользовать flannel из пода, тогда cni поднимается но при этом он не видит кластера etcd, хотя ETCD endpoints в конфиг файле при kubeadmin init —config my.yaml указаны.

Всем привет! подкжаите куда можно посмотреть и копать Поднял кластер на 3х машинах k8s 1,9,3 сеть между ними calico и 1 масте на нем же крутятся поды Сейчас сталкнулся с тем, что когда запусткаю service и с мастера мытаешься обратиться curl CLUSTER_IP:PORT то коннект висит C других но все работает ок

можете подсказать, внутри пода есть необходимость обратится через доменное имя ( имя сервиса ) имя резолвится, но ни один порт недоступен.. с другого пода все получается.Как правильно это реализовать ?

копай сеть

все должно быть доступно

clusterIP для сервисов и IP адреса подов должны быть в одной подсети?

clusterIP для сервисов и IP адреса подов должны быть в одной подсети?

половина сетки отдана под поды, половина сетки под сервисы

половина сетки отдана под поды, половина сетки под сервисы

Это разные сети...

Всем привет! Научите, как заставить поды смотреть наружу, что бы иметь доступ к ним извне. Получается только с локал хоста

Читал что это делает kube-proxy но у меня он упорно слушает только localhost

--address=192.168.xxx.xxx

kubectl proxy —address=

это проксирование apiserver на локал машину

kubectl proxy насколько я понимаю не продакшн решение, а временно погонять?

-)

что бы иметь доступ к подам

тебе нужно делать сервис NodePort

это самое простое

kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE jenkins-service NodePort 10.101.208.69 <none> 8080:32080/TCP 3m kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 36m

Уже

ss -plnut | grep 32080 tcp LISTEN 0 65000 :::32080 :::* users:(("kube-proxy",pid=2713,fd=8))

И все

С локалхоста хоть обзаходись :)

ну да

а ещё есть kubectp port-proxy

Ну он тоже не для продакшен как я понимаю

Судя по доке kube-proxy должен проксировать запросы из вне

kube-proxy проксирует только clusterIP

что бы работать с внешнимизапросами нужен сервис типа NodePort

это самое простое

Он уже есть

kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE jenkins-service NodePort 10.101.208.69 <none> 8080:32080/TCP 3m kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 36m

kubectl get svc

теперь иди на ipnode:32080

Ох тыж! Работает

Блин, спасибо!))

Я уже всю голову сломал, теперь частично все встало на места

может стоит документацию читать? чтобы голову не ломать можно даже не с официальной начинать, а хотя бы осилить http://kubernetesbyexample.com/

Да читал я доку, и как выяснилось все правильно сделал, только вот не проверил что действительно не работает :)