Я не играл :) Я работал в ЦМ

в каком именно конфиге задавали exteranlIP?

Подскажите, кто использовал ceph для k8s в проде под нормальной нагрузкой? Есть какие-то подводные камни? Что нужно учесть? Или может есть что почитать на эту тему? Я пока только на стейджинге гонял.

@Enchantner Я тут интересную штуку нашёл. Похоже, что может помочь вашему кейсу. https://kubernetes.io/blog/2018/06/07/dynamic-ingress-in-kubernetes/ getambassador.io

контроллер сам раздеплоил, проблем нет, но дальше не очень понятно

Вот пример простой автоматической создавалки ингрессов, в зависимости от аннотации в Service объекте. Можете подхакать её в соответствии со своими нуждами. https://github.com/hxquangnhat/kubernetes-auto-ingress

а если будет в двух ингрессах одинаковый урл?

Какими костылями увеличить rlimit_nofile в ingress_nginx?

Какими костылями увеличить rlimit_nofile в ingress_nginx?

Ну, path (компонент URL) же разный будет, да?

не факт. Но попробую так сделать, да

Если и он одинаковый, то я не понимаю, как вы собрались через один одинаковый URL ходить в разные сервисы. Идинтификации же не будет никакой.

Он забирает значение ulimit -n 65000

Ну не ровно Но смысл понятен

Хм О как Они что в константах бесконечность в max int 16 определили? Ай да Потеринг Ай да молодец Проверю Спасибо

Его уже делит на количество процессов нгинкс минус 1024

Всем привет. Кто-то настраивал доступ в кластер гугла через их встроенный VPN? Столкнулся с тем, что ClusterIP у сервисов недоступны из on-premise network. Они с подами в одной сети, поды пингутся и доступны, ноды кластера при этом тоже доступны. Доступ через nodePort есть, к ClusterIP - нет. В firewall все открыто. Куда можно покопать?

Привет всем! кто нибудь сталкивался с проблемами dns? Не было времени разбираться в причинах, просто удалить под у заработало

а у кого в кубе схема с тремя мастерами ? У меня куб налит через kubespray - выключение одного из мастеров приводит к большим проблемам в кластере. etcd лидер переключается, а вот с лидером контролера и шедулера проблемы - падать начинают. помогает убийство через kill -9 api-серверов на оставшихся двух мастерах

Что по логам? У всех сетевая связность хорошая? Какие параметры командной строки?

вот шедулер стал лидером и через пару минут упал I0625 16:46:58.844686 1 leaderelection.go:184] successfully acquired lease kube-system/kube-scheduler E0625 16:47:28.846151 1 event.go:200] Server rejected event '&v1.Event{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"kube-scheduler.153b75120f0b301b", GenerateName:"", Namespace:"kube-system", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, InvolvedObject:v1.ObjectReference{Kind:"Endpoints", Namespace:"kube-system", Name:"kube-scheduler", UID:"4513c97b-77e5-11e8-9da6-52540083231b", APIVersion:"v1", ResourceVersion:"123985", FieldPath:""}, Reason:"LeaderElection", Message:"master-2.southbridge.ru became leader", Source:v1.EventSource{Component:"default-scheduler", Host:""}, FirstTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, LastTimestamp:v1.Time{Time:time.Time{wall:0xbec46500b2589c1b, ext:12936456215678, loc:(*time.Location)(0xaabce00)}}, Count:1, Type:"Normal", EventTime:v1.MicroTime{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, Series:(*v1.EventSeries)(nil), Action:"", Related:(*v1.ObjectReference)(nil), ReportingController:"", ReportingInstance:""}': 'Timeout: request did not complete within allowed duration' (will not retry!) E0625 16:51:57.646976 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946364 1 leaderelection.go:258] Failed to update lock: Unable to refresh the Webhook configuration: the server was unable to return a response in the time allotted, but may still be processing the request (get mutatingwebhookconfigurations.admissionregistration.k8s.io) E0625 16:52:06.946387 1 event.go:260] Could not construct reference to: '&v1.Endpoints{TypeMeta:v1.TypeMeta{Kind:"", APIVersion:""}, ObjectMeta:v1.ObjectMeta{Name:"", GenerateName:"", Namespace:"", SelfLink:"", UID:"", ResourceVersion:"", Generation:0, CreationTimestamp:v1.Time{Time:time.Time{wall:0x0, ext:0, loc:(*time.Location)(nil)}}, DeletionTimestamp:(*v1.Time)(nil), DeletionGracePeriodSeconds:(*int64)(nil), Labels:map[string]string(nil), Annotations:map[string]string(nil), OwnerReferences:[]v1.OwnerReference(nil), Initializers:(*v1.Initializers)(nil), Finalizers:[]string(nil), ClusterName:""}, Subsets:[]v1.EndpointSubset(nil)}' due to: 'selfLink was empty, can't make reference'. Will not report event: 'Normal' 'LeaderElection' 'master-2.southbridge.ru stopped leading' I0625 16:52:06.946424 1 leaderelection.go:203] failed to renew lease kube-system/kube-scheduler: timed out waiting for the condition E0625 16:52:06.946434 1 server.go:608] lost master error: lost lease

Интересно, что в обоих случаях вспоминается MutatingWebhook. Он есть? kubectl get mutatingwebhookconfiguration А если удалить, поторяется? Больше не знаю, что посоветовать дистанционно. В таких случаях начинаю руками тыкать.

https://blog.quentin-machu.fr/2018/06/24/5-15s-dns-lookups-on-kubernetes/