ingress контроллер у тебя какой ?

nginx

Кубовский или от nginxinc ?

От Kubernetes

Так а что конкретно не работает? tls есть? Дамп конфига нгингса смотрел?

а сам ингресс покажи.

tls есть

apiVersion: extensions/v1beta1 kind: Ingress metadata: name: foo-https-ingress annotations: kubernetes.io/ingress.class: "nginx" nginx.ingress.kubernetes.io/from-to-www-redirect: "true"

Так и серт покрывает foo.com и www.foo.com?

!!! attention If at some point a new Ingress is created with a host equal to one of the options (like domain.com) the annotation will be omitted.

{ "kind": "Ingress", "apiVersion": "extensions/v1beta1", "metadata": { "name": "production", "namespace": "default", "selfLink": "/apis/extensions/v1beta1/namespaces/default/ingresses/production", "uid": "e17e0abb-6276-11e8-ad62-02d723ae582a", "resourceVersion": "1920188", "generation": 4, "creationTimestamp": "2018-05-28T12:58:56Z", "annotations": { "nginx.ingress.kubernetes.io/from-to-www-redirect": "true" } }, "spec": { "tls": [ { "hosts": [ "example.com" ], "secretName": "green-ipa-certs" }, { "hosts": [ "qwe.example.com", "asd.example.com" ], "secretName": "wild-ipa-certs" } ], "rules": [ { "host": "example.com", "http": { "paths": [ { "path": "/", "backend": { "serviceName": "web-service", "servicePort": 80 } } ] } }, { "host": "qwe.example.com", "http": { "paths": [ { "path": "/", "backend": { "serviceName": "qwe-service", "servicePort": 80 } } ] } }, { "host": "asd.example.com", "http": { "paths": [ { "path": "/", "backend": { "serviceName": "asd-service", "servicePort": 80 } } ] } } ] }, "status": { "loadBalancer": { "ingress": [ { "hostname": "qweqwe.eu-central-1.elb.amazonaws.com" } ] } } }

попробовать в tls добавить www.example.com ?

попробовать в tls добавить www.example.com ?

Добавил, ничего не изменилось

А если еще и в rules ?

Еще одно правило 1 в 1 как для example.com?

ну и вот эту аннотацию добавить kubernetes.io/ingress.class: "nginx"

для начала

/report

/report

/report

'2018-06-04 14:56:22.706 [INFO][7] startup.go 173: Early log level set to info 2018-06-04 14:56:22.706 [INFO][7] client.go 202: Loading config from environment 2018-06-04 14:56:22.707 [INFO][7] startup.go 83: Skipping datastore connection test 2018-06-04 14:56:22.743 [INFO][7] startup.go 273: Initialise BGP data 2018-06-04 14:56:22.743 [INFO][7] startup.go 362: Using IPv4 address from environment: IP=10.30.0.72 2018-06-04 14:56:22.743 [INFO][7] startup.go 392: IPv4 address 10.30.0.72 discovered on interface eth0 2018-06-04 14:56:22.743 [INFO][7] startup.go 338: Node IPv4 changed, will check for conflicts Calico node failed to start 2018-06-04 14:56:22.911 [WARNING][7] startup.go 718: Calico node 'dev-kubernetes-worker-0' is already using the IPv4 address 10.30.0.72. 2018-06-04 14:56:22.911 [WARNING][7] startup.go 915: Terminating' -- возвращаюсь к вопросу о калико - кто знает как победить

https://t.me/ceph_ru

а я думаю: откуда народ идёт)

'2018-06-04 14:56:22.706 [INFO][7] startup.go 173: Early log level set to info 2018-06-04 14:56:22.706 [INFO][7] client.go 202: Loading config from environment 2018-06-04 14:56:22.707 [INFO][7] startup.go 83: Skipping datastore connection test 2018-06-04 14:56:22.743 [INFO][7] startup.go 273: Initialise BGP data 2018-06-04 14:56:22.743 [INFO][7] startup.go 362: Using IPv4 address from environment: IP=10.30.0.72 2018-06-04 14:56:22.743 [INFO][7] startup.go 392: IPv4 address 10.30.0.72 discovered on interface eth0 2018-06-04 14:56:22.743 [INFO][7] startup.go 338: Node IPv4 changed, will check for conflicts Calico node failed to start 2018-06-04 14:56:22.911 [WARNING][7] startup.go 718: Calico node 'dev-kubernetes-worker-0' is already using the IPv4 address 10.30.0.72. 2018-06-04 14:56:22.911 [WARNING][7] startup.go 915: Terminating' -- возвращаюсь к вопросу о калико - кто знает как победить

Если у вас всё развалилось и терять нечего - почистите данные calico в etcd

ого,прям кувалдой

я в тестовом кластере как-то почистил данные kubelet и docker на всех нодах - у меня тоже calico пинками стратовал. Но подробностей уже не помню

А вообще судя по логу calico считает, что IP используется другой нодой

Ну и https://github.com/projectcalico/calico/search?q=is+already+using+the+IPv4+address&type=Issues

https://kubernetes.io/docs/admin/cluster-large/

Вот с этим интересно. Чем грозит запуск, например, 200 подов на одной ноде? С учетом увеличение лимита в kubelet, естессно.

Про лимит 100 per node не знал. Есть план запуска бОльшего количества подов (мощное железо, маложрущие микросервисы в большом количестве).

Про лимит 100 per node не знал. Есть план запуска бОльшего количества подов (мощное железо, маложрущие микросервисы в большом количестве).

там на самом деле 110 по-умолчанию. Если планируете запускать большое кол-во подов на 1 ноде, не забудьте правильно вычислить ресурсы для kubelet ?

запусти

а я думаю: откуда народ идёт)

Каюсь)

Каюсь)

Да всё нормально, канал просто в описании есть.

там на самом деле 110 по-умолчанию. Если планируете запускать большое кол-во подов на 1 ноде, не забудьте правильно вычислить ресурсы для kubelet ?

Да, я прочитал и про лимит, и тикет, где его увеличивали до этого числа. Но так и не понял, почему не больше?

Больше похоже на "проверенное, гарантированное, бла бла"

Да, я прочитал и про лимит, и тикет, где его увеличивали до этого числа. Но так и не понял, почему не больше?

https://habr.com/company/flant/blog/353264/ Вопрос: Какие факторы влияют на максимально поддерживаемое количество подов на узел (сейчас это 100)? Ответ: Масштабируемость Docker, настройки ядра, тестирование, пользовательские потребности. Дополнение: Размер приложения, сложность приложения и насколько приложение требовательно к различным подсистемам. Я видел работающий production с 300-400 подов на узел, которые запускали на средних машинах (по 16-32 ядра) для небольших приложений. Долгое время узким горлом была исполняемая среда контейнера (container runtime) — теперь же им обычно являются сеть и iptables, а ещё проблемным может быть хранилище.

https://habr.com/company/flant/blog/353264/ Вопрос: Какие факторы влияют на максимально поддерживаемое количество подов на узел (сейчас это 100)? Ответ: Масштабируемость Docker, настройки ядра, тестирование, пользовательские потребности. Дополнение: Размер приложения, сложность приложения и насколько приложение требовательно к различным подсистемам. Я видел работающий production с 300-400 подов на узел, которые запускали на средних машинах (по 16-32 ядра) для небольших приложений. Долгое время узким горлом была исполняемая среда контейнера (container runtime) — теперь же им обычно являются сеть и iptables, а ещё проблемным может быть хранилище.

Спасибо. То, что нужно.

Похоже так и есть - рекомендация.

да, конечно. Вы можете сами менять это значение

У нас сейчас порядка 80 подов на 3 железные ноды. Средняя утилизация проца 5% (E5-2660 v4) при низком load average. Памяти кушается в среднем 12 гигов на ноду, и то большинство из этого - прометей, который из кластера можно выкинуть. Да и память нарастить - не проблема. Сеть - 4 х 1гбит lacp. Планируется нагрузить кластер на 50-60%, после чего увеличивать количество нод. То есть, абсолютно грубо, запустить 250-300 подов per node.

Интересно, когда говна поимеем)

/report

/report

/report

/savedYouAClick

Ещё пара интересных источников на тему over 100 pods per node: https://github.com/kubernetes/kubernetes/issues/23349 https://github.com/kubernetes/community/blob/master/sig-scalability/goals.md

Если коротко - можно. Как обычно, зависит от.

Подскажите чем лучше разварачивать кубер для прода на голых виртуальных серверах?

И какой ingress лучше использовать в кластере для канареечного деплоя?

Подскажите чем лучше разварачивать кубер для прода на голых виртуальных серверах?

kubespray!?

kubespray!?

Спасибо, ясно. А как быть с ingress?

Спасибо, ясно. А как быть с ingress?

https://github.com/DockbitExamples/kubernetes/tree/master/k8s/ingress

https://kubernetes.io/blog/2017/04/multi-stage-canary-deployments-with-kubernetes-in-the-cloud-onprem/

haproxy наше всё =)

Всем привет! Есть у кого опыт интеграции gitlab с k8s? Правильно понимаю что нужно создать в k8s Service Accounts и service account API token и указать токен в поле "Token" и этого достаточно?

https://kubernetes.io/blog/2017/04/multi-stage-canary-deployments-with-kubernetes-in-the-cloud-onprem/

Хотелось бы управлять весами бэкендов на уровне настройки ingress rules.

В предложеном примере нужно еще придумать как конфиг haproxy держать актуальным и релодить его

https://github.com/DockbitExamples/kubernetes/tree/master/k8s/ingress

здесь канареечного не нашел. просто штатный деплой. даже в количестве 1й реплики

по хорошему этим api gateway должен заниматься

посмотри в сторону амбасадора

https://www.getambassador.io

Хотелось бы управлять весами бэкендов на уровне настройки ingress rules.

сами ingress resources не поддерживают такую возможность, в них это не заложено. ты можешь на коленочке это делать, генеря второй деплоймент с теми же лейблами, но меньшего размера, разделяя доли трафика таким образом. там правда грубовато будет получаться. есть еще skipper, который поддерживает веса через аннотации https://opensource.zalando.com/skipper/kubernetes/ingress-usage/

сами ingress resources не поддерживают такую возможность, в них это не заложено. ты можешь на коленочке это делать, генеря второй деплоймент с теми же лейблами, но меньшего размера, разделяя доли трафика таким образом. там правда грубовато будет получаться. есть еще skipper, который поддерживает веса через аннотации https://opensource.zalando.com/skipper/kubernetes/ingress-usage/

как на счет istio или traefik?

Они свои ingress дают

https://dzone.com/articles/microservices-traffic-management-using-istio-on-ku

делал то что пишут тут - http://kubernetesbyexample.com/pods/ $ kubectl run sise --image=mhausenblas/simpleservice:0.5.0 --port=9876 $: kubectl get deployments NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE sise 1 0 0 0 20h есть а pod-ов не появилось $: kubectl get pods Unable to connect to the server: net/http: TLS handshake timeout использую minikube @ MacOS

У тебя в подключении проблема, а не "подов не появилось"

подключении кого к кому ?

Даже теряюсь, что на это ответить

Даже теряюсь, что на это ответить

жаль (

Тут же одни девопсы

Спамеры офигели. Пришли на админский канал.

делал то что пишут тут - http://kubernetesbyexample.com/pods/ $ kubectl run sise --image=mhausenblas/simpleservice:0.5.0 --port=9876 $: kubectl get deployments NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE sise 1 0 0 0 20h есть а pod-ов не появилось $: kubectl get pods Unable to connect to the server: net/http: TLS handshake timeout использую minikube @ MacOS

$ kubectl describe sise

Увидишь стэйт твоего деплоймента

$ kubectl describe deployment sise

кто нибудь щупал kubevirt? годится ли он для внутренних задач по тестированию и кручению стейдж виртуалок?

кто нибудь щупал kubevirt? годится ли он для внутренних задач по тестированию и кручению стейдж виртуалок?

вчера спрашивал, видимо никто не работает с ним

значит надо поставить и попробовать;)

А потом здесь рассказать

оки

но чесна я орнул как они винду восьмую деплоили

осталось выпросить бабки на железяку для эксперементов )

осталось выпросить бабки на железяку для эксперементов )

время бы найти:)

я вчера целый день ковырялся с докером и понял, что ставить все и вся в один контейнер так себе затея))))