Lucky SB
Ребят а подскажите, есть nginx в кубере как reverse_proxy но форвардит свой IP в хедерах. Кто-нибудь сталкивался?
Свой он не может форвардить. может ставить адрес вышестоящего прокси, с которого запрос приходит. потому что нет директивы set_real_ip_from и он не доверяет хидерам от вышестоящей прокси
Andrey
Привет. Есть проблема: ставлю чарт helm-ом, получаю: Release "release" failed: etcdserver: request timed out Машина бодрая, вэйта нет, SSD диск. Но в логе etcd запросы “took too long” и время от 4 до 20 с. Куда можно копнуть?
Lucky SB
Это Nginx обычный с External IP
цеа ? wtf ? что за обычный nginx ? я знаю kind: service с externalIP
Solyar
Понял
Solyar
Есть Service с External IP который отправляет трафик в NGINX
Solyar
Nginx в свою очередь раскидывает трафик по нужным сервисам
Solyar
Эти сервисы получают в хедере IP nginx
Lucky SB
надо смотреть правила NAT на узлах. но мне помнится, что там двойной нат делается и src-ip заменяется на адрес узла
Марат
как правила фаервола могут хедеры получать? (если iptables)
Lucky SB
нафейхуа вообще эти сервисы с externalIP, когда можно hostnetwork:true
Solyar
нафейхуа вообще эти сервисы с externalIP, когда можно hostnetwork:true
Потому что тачки не торчат задницей в интернет
Solyar
Закрыты за приватной сетью
Solyar
И это барметал
Lucky SB
как правила фаервола могут хедеры получать? (если iptables)
запрос приходит на узел. попадает в нат. его там натят в src И dst. в итоге до nginx доезжает пакет с src ip узла, на котором делался NAT
Solyar
То есть проблема может быть в сетевом оборудовании с которым поднята BGP сессия?
Марат
все верно, некому там добавить адрес источника в хедеры, это другой уровень
Lucky SB
Закрыты за приватной сетью
Т.е. у тебя уже есть на edge route portforward или какой-то балансировщик ?
Solyar
с BGP
Dmitrii
externalTrafficPolicy: Local стоит?
Dmitrii
В описании сервиса
Solyar
Nginx ?
Solyar
Нет не стоит
Lucky SB
Где именно?
https://kubernetes.io/docs/tasks/access-application-cluster/create-external-load-balancer/#preserving-the-client-source-ip
Dmitrii
Ну вот как вы вообще ставите metallb не прочитав документации))
Dmitrii
BGP With the default Cluster traffic policy... The other downside of the “Cluster” policy is that kube-proxy will obscure the source IP address of the connection when it does its load-balancing, so your pod logs will show that external traffic appears to be coming from your cluster’s nodes.
Lucky SB
объясните мне зачем вам сервис то ?
Solyar
И документацию я читал
Solyar
Всё работает
Arumato
Удалите этого бота он везле спамит
Arumato
Ребят сорян не по теме, у кого postgresql (pacemaker, corosync ) кластер?
Lucky SB
@SashaGood [tesla@236065 ~]$ kubectl get cs NAME AGE scheduler <unknown> controller-manager <unknown> etcd-0 <unknown> это сломали в 1.16.xxx в 1.15 там хелз статус показывало
Anton
как в кубере прописать днс? например что бы у всех под пингуя гугл пинговался 127.0.0.1
Sasha
@SashaGood [tesla@236065 ~]$ kubectl get cs NAME AGE scheduler <unknown> controller-manager <unknown> etcd-0 <unknown> это сломали в 1.16.xxx в 1.15 там хелз статус показывало
я только не совсем понял, они далее хотят эту информацию вообще удалить или починить?
Andrey
для начала можно начать собирать с etcd метрики
и они ничего не дадут, когда приложение не может подняться, например, по риднесс пробам :)
Sasha
@SashaGood [tesla@236065 ~]$ kubectl get cs NAME AGE scheduler <unknown> controller-manager <unknown> etcd-0 <unknown> это сломали в 1.16.xxx в 1.15 там хелз статус показывало
Это почти успех? [tesla@lol ~]$ kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx ClusterIP 10.102.61.62 85.24.421.62 80/TCP,443/TCP 22s [tesla@lol ~]$
Lucky SB
ну в браузере видно хоть чтото ?
Sasha
ну в браузере видно хоть чтото ?
так я только ингресс настроил
Lucky SB
ну хоть 404 получаешь от ингресс контроллера ?
Sasha
время ожидания истекло.
Lucky SB
время ожидания истекло.
значит неуспех ))) клевый у тебя exteranlip
Sasha
значит неуспех ))) клевый у тебя exteranlip
я чутка его подправил. На самом деле другой.
Alex
как в кубере прописать днс? например что бы у всех под пингуя гугл пинговался 127.0.0.1
https://kubernetes.io/docs/concepts/services-networking/add-entries-to-pod-etc-hosts-with-host-aliases/
Anton
hosts ?
ну да. в каждую поду прописывать. а как прописать для кубера в целом ? на хосте где мастер меняю то не помогает
Etki
зачем тебе это? в зависимости от ответа на вопрос это может быть либо не быть решения через эндпоинты
Solyar
https://kubernetes.io/docs/tasks/administer-cluster/dns-custom-nameservers/
Solyar
Во
Solyar
Пожалуйста
George
И настрой его, чтобы у него был приоритет перед внешним. Хотя я уверен, что иногда можно в поде свой днс настроить, в обход кластерного
Sasha
значит неуспех ))) клевый у тебя exteranlip
эм... дело походу в этом kubectl get pods --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE ingress-nginx nginx-ingress-controller-568867bf56-h76bt 0/1 Pending 0 6m27s
Lucky SB
смотри в describe
Sasha
смотри в describe
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml namespace/ingress-nginx created configmap/nginx-configuration created configmap/tcp-services created configmap/udp-services created serviceaccount/nginx-ingress-serviceaccount created clusterrole.rbac.authorization.k8s.io/nginx-ingress-clusterrole created role.rbac.authorization.k8s.io/nginx-ingress-role created rolebinding.rbac.authorization.k8s.io/nginx-ingress-role-nisa-binding created clusterrolebinding.rbac.authorization.k8s.io/nginx-ingress-clusterrole-nisa-binding created deployment.apps/nginx-ingress-controller created Тут ведь всё прошло хорошо?
Andrey
А это здесь при чем?
к тому что тормоза etcd и таймаут helm деплоя могут быть не связаны, намек на то, что человеку начать бы с простого, посмотреть что с подами творится, а метрики - это хорошо, согласен
Andrey
в этом конкретном случае
Andrey
в этом конкретном случае
да, согласен. сорри, невнимательно прочитал
Sasha
ну синтаксис прошел
а здесь я не должен был показать под , который хочу запускать? apiVersion: v1 kind: Service metadata: name: ingress-nginx namespace: ingress-nginx spec: ports: - name: http port: 80 targetPort: 80 protocol: TCP - name: https port: 443 targetPort: 443 protocol: TCP selector: app.kubernetes.io/name: ingress-nginx externalIPs: - xx.xx.xx.xx
Lucky SB
а здесь я не должен был показать под , который хочу запускать? apiVersion: v1 kind: Service metadata: name: ingress-nginx namespace: ingress-nginx spec: ports: - name: http port: 80 targetPort: 80 protocol: TCP - name: https port: 443 targetPort: 443 protocol: TCP selector: app.kubernetes.io/name: ingress-nginx externalIPs: - xx.xx.xx.xx
бегом доку читать. откуда в сервисе поды, которые ты хочешь запускать ? там есть selector: app.kubernetes.io/name: ingress-nginx по которому сервису сообщаешь на какие поды надо трафик направлять
Михаил
ни у кого не было траблы что spring boot app падает с дикой ошибкой в виде java.lang.NumberFormatException: For input string: "tcp://10.233.22.6:8080" ? с одной единственной апой такая трабла, причем спринг подсасывает откуда то cluster ip сервиса и пытается его скастить в инт (похоже что ждет порт) О_о локально этот же эпп нормально запускается, ложит ли что-то по дефолту сам кубер в енвы контейнеру?
Sasha
бегом доку читать. откуда в сервисе поды, которые ты хочешь запускать ? там есть selector: app.kubernetes.io/name: ingress-nginx по которому сервису сообщаешь на какие поды надо трафик направлять
[tesla@lol ~]$ kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx ClusterIP 10.102.61.62 185.244.42.6 80/TCP,443/TCP 46m [tesla@lol ~]$ kubectl describe svc -n ingress-nginx Name: ingress-nginx Namespace: ingress-nginx Labels: <none> Annotations: <none> Selector: app.kubernetes.io/name=ingress-nginx Type: ClusterIP IP: 10.102.61.62 External IPs: 185.244.42.6 Port: http 80/TCP TargetPort: 80/TCP Endpoints: <none> Port: https 443/TCP TargetPort: 443/TCP Endpoints: <none> Session Affinity: None Events: <none>
Sasha
омг. describe pod ! у тебя же под c контроллером на запускается
да оно всё в пенденге висит kubectl describe pod Name: wordpress-5d5b5df6f5-sgz2z Namespace: default Priority: 0 Node: <none> Labels: pod-template-hash=5d5b5df6f5 run=wordpress Annotations: <none> Status: Pending IP: IPs: <none> Controlled By: ReplicaSet/wordpress-5d5b5df6f5