в kubeadm-config , но у тебя не kubeadm :/ сорян

да не за что извиняться :)

kubectl config view ?

kubeadm config view

через kubectl нельзя никак

ну как вариант у controller-manager подсмотреть kubectl get pod -n kube-system -l component=kube-controller-manager -o yaml | grep 'cluster-cidr'

или в конфигмапе кубеадма: kubectl get configmap -n kube-system kubeadm-config -o yaml | grep podSubnet

оуч, оказывается и правда можно

нету у меня такого, это AKS

@gorilych а что за сетка там?

да даже не знаю, flannel поди

если flannel то в controller-manager точно должно быть

но я уже выяснил подсеть, достал чувака, у которого доступ в портал ажуровский есть

osscore01 ~ # kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE addon-http-application-routing-default-http-backend-66c97fqtsql 1/1 Running 0 4d addon-http-application-routing-external-dns-79c595c9d9-tftw9 1/1 Running 0 4d addon-http-application-routing-nginx-ingress-controller-64vrz95 0/1 CrashLoopBackOff 1152 4d azureproxy-79c5db744-vjtrn 1/1 Running 2 4d heapster-55f855b47-lcpll 2/2 Running 0 4d kube-dns-v20-7c556f89c5-2z6nf 3/3 Running 0 4d kube-dns-v20-7c556f89c5-tz7q6 3/3 Running 0 4d kube-proxy-2jqpk 1/1 Running 0 4d kube-proxy-mbzqc 1/1 Running 0 4d kube-proxy-rtdg7 1/1 Running 0 4d kube-svc-redirect-h5thh 1/1 Running 1 4d kube-svc-redirect-n5qmz 1/1 Running 1 4d kube-svc-redirect-xshh7 1/1 Running 1 4d kubernetes-dashboard-546f987686-vfs6m 1/1 Running 3 4d omsagent-45qkw 1/1 Running 0 4d omsagent-jtkns 1/1 Running 1 4d omsagent-rs-748d558488-vzn7g 1/1 Running 0 4d omsagent-wwsgz 1/1 Running 0 4d tiller-deploy-7f8c9d75cf-2t6lx 1/1 Running 0 3d tunnelfront-6fdc5dc89-5fgkm 1/1 Running 0 4d

видать в другой неймспейс запрятали

Ребята, сейчас мастер работает как нод, как это отключить?

возможно, там напрямую сеть ажуровская, потому что оно всё напрямую доступно

kubectl get pod --all-namespaces | grep controller-manager

возможно, там напрямую сеть ажуровская, потому что оно всё напрямую доступно

это возможно, короче, если посмотреть на ноду kubectl get node <some_node> -o yaml | grep podCIDRи podCIDR не будет пустым, значит этот рейндж выдает controller-manager как раз из cluster-cidr указанный при установке

пусто там, да

если этого параметра нет, значит рейндж на ноду и IP для каждого пода выделяется самой сеткой

Ребята, сейчас мастер работает как нод, как это отключить?

через kubectl taint nodes как-то

у ажуровского k8s есть две опции для сети. По умолчанию делается внутренняя сеть для кубера, которая не пересекается с VPC. А ещё есть Advanced Networking, для ублюдочных решений, которые хотят лазить в сеть кубера в обход стандартных способов с nodeIP и LoadBalancer. Вот у меня оно самое

через kubectl taint nodes как-то

Эт я понял, но как

чтобы всё норм было

kubectl taint nodes --all node-role.kubernetes.io/master-

kubectl taint nodes --all node-role.kubernetes.io/master-

нет, ему наоборот надо

kubectl taint nodes <node_name> node-role.kubernetes.io/master="":NoSchedule

у меня были проблемы, не было времени разбираться в причинах - поставил coreDns

удаление подов приводило лишь к временному лечению

+1

проблема в livenessprobe

у меня были проблемы, не было времени разбираться в причинах - поставил coreDns

спасибо, попробую

но это не так просто как может показаться на первый взгляд )

Коллеги, у кого какие отзывы по поводу Coreos-Clair и как в вашей практике происходит проверка контейнеров для окружений на уязвимости

Коллеги, у кого какие отзывы по поводу Coreos-Clair и как в вашей практике происходит проверка контейнеров для окружений на уязвимости

Он работает. Вот только что делать с его результатами я так и не понял:) Например в актуальном базовом образе дебиан всегда будут уязвимости на которые еще нет готовых патчей и обновлять нечего. Можно проверять образ в ci через klar В vmware/harbor есть радикальная настройка: он не разрешает docker pull образов с уязвимостями

наверняка кто нибудь юзал helm prometheus-operator - как там на графану exteranlIP навесить? добавлял в конфиг externalIPs: [ 1.2.3.4 ] - сервис не реагирует. тер сервис подымал заново тоже нифига. причем prometheus из той же пачки спокойно себе слушает

когда пытался прикрутить внутренний балансер (дело происходит на амазоне) графана создала внешний - потер попробовал заново с той же конфигурацией создал внутренний хаос вобщем какой то

в каком именно конфиге задавали exteranlIP?

там их два

в каком именно конфиге задавали exteranlIP?

разобрался - там в темплейте почему то не был добавлен блок для externalIPs из values.yaml

угу

Всем привет. Кто-то настраивал доступ в кластер гугла через их встроенный VPN? Столкнулся с тем, что ClusterIP у сервисов недоступны из on-premise network. Они с подами в одной сети, поды пингутся и доступны, ноды кластера при этом тоже доступны. Доступ через nodePort есть, к ClusterIP - нет. В firewall все открыто. Куда можно покопать?

spec: clusterIP: clusterIP externalTrafficPolicy: Cluster ports: - nodePort: 32210 port: 5432 protocol: TCP targetPort: 5432 selector: app: app sessionAffinity: None type: NodePort status: loadBalancer: {} curl nodeIP:33210 - ок curl clusterIP:5432 - не ок

Потому что они из разных подсетей?

У тебя роут в кластер-айпи подсеть вообще есть?

Да, естественно

Сами поды в одной /14 с сервисными адресами, и сами поды доступны

Показывай трейс тогда

По трейсу уходит в облако, но из него ответ не возвращается

Точнее по счетчикам ipsec

Подскажите, кто использовал ceph для k8s в проде под нормальной нагрузкой? Есть какие-то подводные камни? Что нужно учесть? Или может есть что почитать на эту тему? Я пока только на стейджинге гонял.

а в чем именно вопрос?

@Enchantner Я тут интересную штуку нашёл. Похоже, что может помочь вашему кейсу. https://kubernetes.io/blog/2018/06/07/dynamic-ingress-in-kubernetes/ getambassador.io

амбассадор пока не настроил, его на миникубе сложно тестить - каждый из подов требует аж цельный 1 CPU

а вот в ingress-nginx-controller до сих пор не вижу в упор, как роутить в разные неймспейсы

контроллер сам раздеплоил, проблем нет, но дальше не очень понятно

mtr не очень помогает, на самом деле: К кластерному адресу mtr -t 10.7.242.252 1. Шлюз в on-premise сети 2. ??? К поду mtr -t 10.4.5.236 1. Шлюз в on-premise сети 2. 10.156.0.8 - IP адрес ноды 3. 10.4.5.236 Под и кластерный адрес в одной подсети 10.4.0.0/14

контроллер сам раздеплоил, проблем нет, но дальше не очень понятно

Вот пример простой автоматической создавалки ингрессов, в зависимости от аннотации в Service объекте. Можете подхакать её в соответствии со своими нуждами. https://github.com/hxquangnhat/kubernetes-auto-ingress

Вот пример простой автоматической создавалки ингрессов, в зависимости от аннотации в Service объекте. Можете подхакать её в соответствии со своими нуждами. https://github.com/hxquangnhat/kubernetes-auto-ingress

а если будет в двух ингрессах одинаковый урл?

а если будет в двух ингрессах одинаковый урл?

Ну, path (компонент URL) же разный будет, да?

Какими костылями увеличить rlimit_nofile в ingress_nginx?

Какими костылями увеличить rlimit_nofile в ingress_nginx?

ulimit настроить?

Какими костылями увеличить rlimit_nofile в ingress_nginx?

Он сам запросит максимум. Исходя из системного вызова getrlimit(2). Он покажет значение /proc/sys/fs/file-max, потому что в Kubernetes и Docker по-умолчанию тюнинга ulimit для контейнеров в подах нет нет, да и через API тоже пока никак. Так что крутите file-max и полчите увеличение открытых файлов. https://github.com/kubernetes/ingress-nginx/blob/c9a0c9029505b8d4258a720ebb76d696eae947c8/internal/ingress/controller/util.go#L63

Варианты: 1) выставить опцией дефолт для контэйнеров в докер демоне 2) перебить контэйнер ингреса для выставления ulimit Еще варианты?

file-max на хостсистеме стоит 6500000

В контейнере тоже значение

Так в чём проблема?

Он забирает значение ulimit -n 65000

Его уже делит на количество процессов нгинкс минус 1024

Получается около 7000 на процесс Мне нужно больше, раз в 8

Ингрес берет ulimit а должен fs max

Ну, path (компонент URL) же разный будет, да?

не факт. Но попробую так сделать, да

Докер ulimit кстати умеет Только поддержка в кубере только планируется По сырцам я уже прошелся Поэтому и спрашиваю кто какимикостылями пользуется

не факт. Но попробую так сделать, да

Если и он одинаковый, то я не понимаю, как вы собрались через один одинаковый URL ходить в разные сервисы. Идинтификации же не будет никакой.

Если и он одинаковый, то я не понимаю, как вы собрались через один одинаковый URL ходить в разные сервисы. Идинтификации же не будет никакой.

не, я думал на контроллере задавать маппинг, а не в ингрессах

видимо, неправильно думал

Он забирает значение ulimit -n 65000

Это ulimit в контейнере выдаёт? Без каких-то дополнительных настроек?

Да

Я, кажется, знаю, что это такое. Минуту.

Ну не ровно Но смысл понятен

Это инт16

Ну не ровно Но смысл понятен

Можете скинуть вывод sudo systemctl cat docker.service с хоста?

Нет Не за компом Но там бесконечность

Для докер демона

Ясно всё, я с этим уже сталкивался. Это баг в systemd.

https://github.com/systemd/systemd/issues/6559

Мой issue.

infinity в ранних версиях systemd равны 65535. :)

Я вручную поднял или можно дистрибутив на хостах обновить: LimitNOFILE=1048576

Проблема у версий systemd <234. https://github.com/systemd/systemd/issues/6559#issuecomment-320868301

Хм О как Они что в константах бесконечность в max int 16 определили? Ай да Потеринг Ай да молодец Проверю Спасибо

Хм О как Они что в константах бесконечность в max int 16 определили? Ай да Потеринг Ай да молодец Проверю Спасибо

Гляньте diff. Он статически был определён, да. https://github.com/systemd/systemd/commit/6385cb31ef443be3e0d6da5ea62a267a49174688#diff-108b33cf1bd0765d116dd401376ca356L1186

Его уже делит на количество процессов нгинкс минус 1024

Вот это неправильно, ulimit -n по процессам работает, никакого деления нет. Можно нафоркать тонну процессов и легко превысить этот лимит.

Это логика в ингессе по сырцам

А, хорошо. В них не заглядывал, думал, про Linux только речь.