Всем привет. Кто-то настраивал доступ в кластер гугла через их встроенный VPN? Столкнулся с тем, что ClusterIP у сервисов недоступны из on-premise network. Они с подами в одной сети, поды пингутся и доступны, ноды кластера при этом тоже доступны. Доступ через nodePort есть, к ClusterIP - нет. В firewall все открыто. Куда можно покопать?

они и не должны быть доступны, используй https://cloud.google.com/kubernetes-engine/docs/how-to/internal-load-balancing

Да. Спасибо, уже понял механизм их работы)

было что-то похожее. у dnsmasq есть лимиты по количеству запросов, которые он может обслужить. если превышать, то он перестает отвечать. решил увеличением min: в cm kubedns-autoscaler

а у кого в кубе схема с тремя мастерами ? У меня куб налит через kubespray - выключение одного из мастеров приводит к большим проблемам в кластере. etcd лидер переключается, а вот с лидером контролера и шедулера проблемы - падать начинают. помогает убийство через kill -9 api-серверов на оставшихся двух мастерах

куб - 1.9.5

а у кого в кубе схема с тремя мастерами ? У меня куб налит через kubespray - выключение одного из мастеров приводит к большим проблемам в кластере. etcd лидер переключается, а вот с лидером контролера и шедулера проблемы - падать начинают. помогает убийство через kill -9 api-серверов на оставшихся двух мастерах

Что по логам? У всех сетевая связность хорошая? Какие параметры командной строки?

связность хорошая. пробовал в разных средах. последняя - 4 kvm виртуалки на одном сервере

в логах всякая ругань E0625 16:54:04.122089 1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: the server was unable to return a response in he time allotted, but may still be processing the request (get endpoints kube-controller-manager)

E0625 16:54:04.426652 1 available_controller.go:295] v1.apps failed with: Unable to refresh the Webhook configuration: the server was unable to return a responsein the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io)

Что по логам? У всех сетевая связность хорошая? Какие параметры командной строки?

вот шедулер стал лидером и через пару минут упал I0625 16:46:58.844686 1 leaderelection.go:184] successfully acquired lease kube-system/kube-scheduler E0625 16:47:28.846151 1 event.go:200] Server rejected event '&v1.Event{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"kube-scheduler.153b75120f0b301b", GenerateName:"", Namespace:"kube-system", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, InvolvedObject:v1.ObjectReference{Kind:"Endpoints", Namespace:"kube-system", Name:"kube-scheduler", UID:"4513c97b-77e5-11e8-9da6-52540083231b", APIVersion:"v1", ResourceVersion:"123985", FieldPath:""}, Reason:"LeaderElection", Message:"master-2.southbridge.ru became leader", Source:v1.EventSource{Component:"default-scheduler", Host:""}, FirstTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, LastTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, Count:1, Type:"Normal", EventTime:v1.MicroTime{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, Series:(*v1.EventSeries)(nil), Action:"", Related:(*v1.ObjectReference)(nil), ReportingController:"", ReportingInstance:""}': 'Timeout: request did not complete within allowed duration' (will not retry!) E0625 16:51:57.646976 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946364 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946387 1 event.go:260] Could not construct reference to: '&v1.Endpoints{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"", GenerateName:"", Namespace:"", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, Subsets:[]v1.EndpointSubset(nil)}' due to: 'selfLink was empty, can't make reference'. Will not report event: 'Normal' 'LeaderElection' 'master-2.southbridge.ru stopped leading' I0625 16:52:06.946424 1 leaderelection.go:203] failed to renew lease kube-system/kube-scheduler: timed out waiting for the condition E0625 16:52:06.946434 1 server.go:608] lost master error: lost lease

вот шедулер стал лидером и через пару минут упал I0625 16:46:58.844686 1 leaderelection.go:184] successfully acquired lease kube-system/kube-scheduler E0625 16:47:28.846151 1 event.go:200] Server rejected event '&v1.Event{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"kube-scheduler.153b75120f0b301b", GenerateName:"", Namespace:"kube-system", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, InvolvedObject:v1.ObjectReference{Kind:"Endpoints", Namespace:"kube-system", Name:"kube-scheduler", UID:"4513c97b-77e5-11e8-9da6-52540083231b", APIVersion:"v1", ResourceVersion:"123985", FieldPath:""}, Reason:"LeaderElection", Message:"master-2.southbridge.ru became leader", Source:v1.EventSource{Component:"default-scheduler", Host:""}, FirstTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, LastTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, Count:1, Type:"Normal", EventTime:v1.MicroTime{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, Series:(*v1.EventSeries)(nil), Action:"", Related:(*v1.ObjectReference)(nil), ReportingController:"", ReportingInstance:""}': 'Timeout: request did not complete within allowed duration' (will not retry!) E0625 16:51:57.646976 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946364 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946387 1 event.go:260] Could not construct reference to: '&v1.Endpoints{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"", GenerateName:"", Namespace:"", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, Subsets:[]v1.EndpointSubset(nil)}' due to: 'selfLink was empty, can't make reference'. Will not report event: 'Normal' 'LeaderElection' 'master-2.southbridge.ru stopped leading' I0625 16:52:06.946424 1 leaderelection.go:203] failed to renew lease kube-system/kube-scheduler: timed out waiting for the condition E0625 16:52:06.946434 1 server.go:608] lost master error: lost lease

Интересно, что в обоих случаях вспоминается MutatingWebhook. Он есть? kubectl get mutatingwebhookconfiguration А если удалить, поторяется? Больше не знаю, что посоветовать дистанционно. В таких случаях начинаю руками тыкать.

Интересно, что в обоих случаях вспоминается MutatingWebhook. Он есть? kubectl get mutatingwebhookconfiguration А если удалить, поторяется? Больше не знаю, что посоветовать дистанционно. В таких случаях начинаю руками тыкать.

нету. кластер пустой вообще. только поставленный

https://github.com/hasura/gitkube

https://blog.quentin-machu.fr/2018/06/24/5-15s-dns-lookups-on-kubernetes/

https://blog.quentin-machu.fr/2018/06/24/5-15s-dns-lookups-on-kubernetes/

нормально так

Based on various traces, Martynas Pumputis discovered that there also was a race with DNAT, as the DNS server is reached via a virtual IP. Due to UDP being a connectionless protocol, connect(2) does not send any packet and therefore no entry is created in the conntrack hash table.

я такой боян помойму на openwrt ловил

Народ, не кидайтесь помидорами только, а ответьте начинающему)) Поднял 4 виртуалки. 1 - мастер и 3 ноды. Засетапил Дебиана 9. Засетапил везде докера. На мастере просетапил кубера и тут ввопрос назрел, а на нодах надо кубера стаивть тоже ?))

Чо

надо - устанвленные пакеты идеинтичны что на мастере что на нодах. Просто мастер инициирует кластер, а ноды джойнятся к нему.

што

понял, спасибо

надо - устанвленные пакеты идеинтичны что на мастере что на нодах. Просто мастер инициирует кластер, а ноды джойнятся к нему.

Зависит от способа запуска

Аписервер может быть снаружи

А может быть в кубере

У меня все в локалке

Аписервер может быть снаружи

не знал, спс

Народ, не кидайтесь помидорами только, а ответьте начинающему)) Поднял 4 виртуалки. 1 - мастер и 3 ноды. Засетапил Дебиана 9. Засетапил везде докера. На мастере просетапил кубера и тут ввопрос назрел, а на нодах надо кубера стаивть тоже ?))

Толсто ты трольнул

Походу я не так запустил Кубера, ругается цук - root@kub-master:~# kubectl get nodes The connection to the server localhost:8080 was refused - did you specify the right

видимо не из под рута надо было

Порт от не-рута будет точно так же закрыт

точняк, заработало все

Всем привет! кто нибуть юзал terraform для создания в k8s секретов? Пробрасываю креденшелы для registry gitlab-ci, а они не работаю

видимо не из под рута надо было

Возьми кубспрей

Возьми кубспрей

Что это ?

Что это ?

На хабре была хорошая статья про этот инструмент. Для деплоя кластера k8s инструмент

Что это ?

Это ансибл рецепт который тебе все насетапит

Мне надо самому насетапиться так чтоб я с закрытыми глазами сетапился потом

Потом уже от лени можно ансибла

Это хороший подход.

Специальный инструмент чтобы ты не знал как кубернетисы запущены и не смог потраблшутить в случае чего

Клево же. Раз и все работает!

Пишет падла что ноды НотРеди

Как обычно на видосике все без проблем

По факту

С проблемами

Мне надо самому насетапиться так чтоб я с закрытыми глазами сетапился потом

Удачи тебе, у тебя в переди много интересного :)

Удачи тебе, у тебя в переди много интересного :)

Збс, пошел попкорна куплю))

А кто-то использовал ipvs - calico на bare metal?

Calico на ipvs есть?

kube-proxy имеется в виду, наверное.

Я kube-route использую он на ipvs

На бареметал

Ну да, технически kube-router использует ipvs, но сетью заправляет calico.

Кинь урл на ds хочу глянуть

Я kube-route использую он на ipvs

А что используешь для LoadBalancer ? Или как внешние IP попадают внутрь?

У себя я calico вообще не видел

Всем привет, кто нибудь настраивал weave CNI для multimaster? или лучше идти в сторону calico?

ExternalIp на сервис Ну и либо в зависимости отнагрузки Либо режим маскарадинг Либо тунель

Сеть l2

А лоадбалансера в том виде в каком он у платных облаков нет Да и не нужен в общемто

lvs и сам не плохо эту роль выполняет

Странно. Просто я делаю ExternalIP на сервис. Правила в ipvsadm прописываются, а у себя делаю статик роут на сервере где находится сервис, то к контейнеру достучатся не могу. На внешний интерфейс трафик попадает, а внутри не роутится.

Режим в ipvs какой?

Подскажите плез, как в наймспейс пробросить секрет?

Режим в ipvs какой?

А где он задается? Если ты про scheduler, то он rr

Подскажите плез, как в наймспейс пробросить секрет?

https://kubernetes.io/docs/tasks/inject-data-application/distribute-credentials-secure/ в сам неймспейс наврядли

Ipvsadm -L -n

Ipvsadm -L -n

Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 78.27.200.8:80 rr -> 10.0.32.71:80 Masq 1 0 0

Masq

Маскарадинг

https://kubernetes.io/docs/tasks/inject-data-application/distribute-credentials-secure/ в сам неймспейс наврядли

Теоритически если у меня секрет и deployment находится в одном неймспейсе, то этот деплоймент его может же юзать.

Ip addr покажи

Теоритически если у меня секрет и deployment находится в одном неймспейсе, то этот деплоймент его может же юзать.

а практически?)

а практически?)

Практически не видит)) Но есть подорения что я что-то недопонимаю) Я думал что если секрет и под находятся в одном намспейсе, то все должно быть ок

Ip addr покажи

5: enp8s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000 link/ether 00:1b:21:8d:6f:01 brd ff:ff:ff:ff:ff:ff inet 172.31.0.3/28 brd 172.31.0.15 scope global enp8s0f1 valid_lft forever preferred_lft forever 6: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:8c:28:3f:39 brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 scope global docker0 valid_lft forever preferred_lft forever 7: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default qlen 1000 link/ether 06:7b:4e:94:75:91 brd ff:ff:ff:ff:ff:ff 8: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default link/ether 9a:fb:df:64:b1:86 brd ff:ff:ff:ff:ff:ff inet 192.168.0.3/32 brd 192.168.0.3 scope global kube-ipvs0 valid_lft forever preferred_lft forever 9: calib5d454112b2@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet6 fe80::ecee:eeff:feee:eeee/64 scope link valid_lft forever preferred_lft forever 10: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1440 qdisc noqueue state UNKNOWN group default qlen 1 link/ipip 0.0.0.0 brd 0.0.0.0 inet 10.0.146.192/32 scope global tunl0 valid_lft forever preferred_lft forever

Практически не видит)) Но есть подорения что я что-то недопонимаю) Я думал что если секрет и под находятся в одном намспейсе, то все должно быть ок

привязка на под идет

Мой внешний IP 172.31.0.3, я на него делаю статик-роут 78.27.200.8->172.31.0.3 Если kube-proxy работает с iptables, то трафик попадает внутрь. А вот с ipvs не получается.

привязка на под идет

Не совсем понял

Не совсем понял

передача идет к поду через том или переменные

Я kube-route использую он на ipvs

у тебя много нод?

пока нет 2 мастера и 4 ноды

service-proxy используете?

Роман, покажи поды в kube-system и кинь ссылку на daemon-set сети

сеть у тебя l2 или l3?

нет

использую только kube-router

в нем свой

ну я и имел ввиду service-proxy от kube-router :)

там два варианта деплоя есть https://github.com/cloudnativelabs/kube-router/blob/master/docs/kubeadm.md

) да, использую, сеть целиком

от kube-router