а вот дескрайп пода

kubectl describe po modest-bee-em-maps-5c47668987-wsb2n Name: modest-bee-em-maps-5c47668987-wsb2n Namespace: default Priority: 0 PriorityClassName: <none> Node: tst-k8s-node.msk.test.ru/192.168.81.106 Start Time: Wed, 05 Dec 2018 13:53:44 +0000 Labels: app.kubernetes.io/instance=modest-bee app.kubernetes.io/name=em-maps pod-template-hash=5c47668987 Annotations: <none> Status: Running IP: 10.233.121.28 Controlled By: ReplicaSet/modest-bee-em-maps-5c47668987 Containers: em-maps: Container ID: docker://f9e9417d69fcd238ca67d1ce333b827d1eebfe116585a1ee86ab5ac9157e2169 Image: registry.test.ru/test/em-maps:latest Image ID: docker-pullable://registry.test.ru/test/em-maps@sha256:50b0e1fa5ce4fe8f6e6f3c5a737327bb013ca2df3732d92a908d9e4eae157d10 Port: <none> Host Port: <none> State: Running Started: Wed, 05 Dec 2018 13:53:46 +0000 Ready: True Restart Count: 0 Environment: <none> Mounts: /var/run/secrets/kubernetes.io/serviceaccount from default-token-9gpb4 (ro) Conditions: Type Status Initialized True Ready True ContainersReady True PodScheduled True Volumes: default-token-9gpb4: Type: Secret (a volume populated by a Secret) SecretName: default-token-9gpb4 Optional: false QoS Class: BestEffort Node-Selectors: <none> Tolerations: node.kubernetes.io/not-ready:NoExecute for 300s node.kubernetes.io/unreachable:NoExecute for 300s Events: <none>

эндроины?

Эндпоинты. Писа́л на ходу с телефона

kubectl get services NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.233.0.1 <none> 443/TCP 13d modest-bee-em-maps ClusterIP 10.233.14.21 <none> 80/TCP 86m kubectl get ingress NAME HOSTS ADDRESS PORTS AGE test-ingress maps.csat.ru 80, 443 78m kubectl describe ingress test-ingress Name: test-ingress Namespace: default Address: Default backend: default-http-backend:80 (<none>) TLS: ssl-csat-ru terminates maps.test.ru Rules: Host Path Backends ---- ---- -------- maps.csat.ru / modest-bee-em-maps:80 (<none>) Annotations: kubectl.kubernetes.io/last-applied-configuration: {"apiVersion":"extensions/v1beta1","kind":"Ingress","metadata":{"annotations":{},"name":"test-ingress","namespace":"default"},"spec":{"rules":[{"host":"maps.csat.ru","http":{"paths":[{"backend":{"serviceName":"modest-bee-em-maps","servicePort":80},"path":"/"}]}}],"tls":[{"hosts":["maps.test.ru"],"secretName":"ssl-test-ru"}]}}

Можете это все в гист засунуть, пожалуйста? В телеграме вообще не читаемо

Можете это все в гист засунуть, пожалуйста? В телеграме вообще не читаемо

тупой вопрос, а как это?

gist.github.com

dpaste.net

http://dpaste.com/3VZB2K0

http://dpaste.com/0D85SHM

сделал ингресс, но он отдает 503 ошибку

Как вы получаете 503? Вы курлом тестируете или в браузере открываете? Какой адрес вписываете?

и так и так пробовал

Какой айпи адрес вписываете? Ноды на которой крутится кубернетис?

на которой ингресс контроллер

Какой вы используете ингресс контроллер? Посмотрите в его лог

у него в логе вообще ничего нет

отдельно опубликовал дашборд - работает

у него в логе вообще ничего нет

секрет точно есть? просто http работает?

Если у вас traefik, там можно поправить чуть-чуть конфигурацию и включить дебаг аутпут, станет видно как он шлёт запрос на апстрим и что получает обратно

Если у вас traefik, там можно поправить чуть-чуть конфигурацию и включить дебаг аутпут, станет видно как он шлёт запрос на апстрим и что получает обратно

nginx аналогично, debug уровень выставляется. Только ошибку с секретом я свою последний раз не увидел.

у меня нжикс

вот что нашел в логах

W1130 17:15:29.267456 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint. W1201 06:16:59.582288 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint. W1201 19:18:29.885100 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint.

хотя нет, это старый кусок, не актуально

W1130 17:15:29.267456 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint. W1201 06:16:59.582288 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint. W1201 19:18:29.885100 11 controller.go:824] Service "tst/musty-wolf-em-maps" does not have any active Endpoint.

во, у меня так же было, проверяйте секреты

секрет есть, как только его добавляю, то 503 ошибку отдает по хттпс и там мой серт

Сервис находит нужные поды по селектору

Скопируйте этот селектор и сделайте kubectl get с селектором самостоятельно. Поды видно?

kubectl get app.kubernetes.io/instance=modest-bee,app.kubernetes.io/name=em-maps

так?

Selector: app.kubernetes.io/instance=modest-bee,app.kubernetes.io/name=em-maps

вот так

kubectl get po --selector=app.kubernetes.io/instance=modest-bee,app.kubernetes.io/name=em-maps NAME READY STATUS RESTARTS AGE modest-bee-em-maps-5c47668987-wk6hp 1/1 Running 0 116m

🤔

Создаю всё это через хелм. Сейчас удалил и попробовал установить чарт заново

во, у меня так же было, проверяйте секреты

Не увидел сразу, ок

вот такой лог в ингресс контроллере

I1205 15:52:19.565648 11 event.go:221] Event(v1.ObjectReference{Kind:"Ingress", Namespace:"default", Name:"angry-peahen-em-maps", UID:"bf2f225e-f8a5-11e8-af9a-0050569f1197", APIVersion:"extensions/v1beta1", ResourceVersion:"2306133", FieldPath:""}): type: 'Normal' reason: 'CREATE' Ingress default/angry-peahen-em-maps W1205 15:52:19.566749 11 endpoints.go:79] Error obtaining Endpoints for Service "default/angry-peahen-em-maps": no object matching key "default/angry-peahen-em-maps" in local store W1205 15:52:19.566772 11 controller.go:824] Service "default/angry-peahen-em-maps" does not have any active Endpoint. I1205 15:52:19.566907 11 controller.go:177] Configuration changes detected, backend reload required. I1205 15:52:19.697063 11 controller.go:195] Backend successfully reloaded. I1205 15:52:19.700988 11 controller.go:212] Dynamic reconfiguration succeeded. W1205 15:52:22.898912 11 controller.go:824] Service "default/angry-peahen-em-maps" does not have any active Endpoint. I1205 15:52:29.744213 11 status.go:362] updating Ingress default/angry-peahen-em-maps status to [{ }] I1205 15:52:29.748079 11 event.go:221] Event(v1.ObjectReference{Kind:"Ingress", Namespace:"default", Name:"angry-peahen-em-maps", UID:"bf2f225e-f8a5-11e8-af9a-0050569f1197", APIVersion:"extensions/v1beta1", ResourceVersion:"2306179", FieldPath:""}): type: 'Normal' reason: 'UPDATE' Ingress default/angry-peahen-em-maps W1205 15:52:29.749397 11 controller.go:824] Service "default/angry-peahen-em-maps" does not have any active Endpoint. I1205 15:52:45.078006 11 backend_ssl.go:189] Updating local copy of SSL certificate "default/ssl-csat-ru" with missing intermediate CA certs W1205 15:52:45.078349 11 controller.go:824] Service "default/angry-peahen-em-maps" does not have any active Endpoint. I1205 15:52:45.078476 11 controller.go:177] Configuration changes detected, backend reload required. I1205 15:52:45.301016 11 controller.go:195] Backend successfully reloaded. I1205 15:52:45.304573 11 controller.go:212] Dynamic reconfiguration succeeded.

http://dpaste.com/09M4G83 он же

а вот дескрайб сервиса

Name: em-maps Namespace: tst Labels: app.kubernetes.io/instance=em-maps app.kubernetes.io/managed-by=Tiller app.kubernetes.io/name=em-maps helm.sh/chart=em-maps-0.1.0 Annotations: <none> Selector: app.kubernetes.io/instance=em-maps,app.kubernetes.io/name=em-maps Type: ClusterIP IP: 10.233.9.6 Port: http 80/TCP TargetPort: http/TCP Endpoints: <none> Session Affinity: None Events: <none>

Endpoints none, эх

Target порт норм?

Точно есть и называется http?

а он разве вообще во что-то резолвится? это ж просто зона

Ну эта зона конфигурируемая, хочется знать какая она в текущем кластере без костылей вроде чтения /etc/resolv.conf

http://dpaste.com/0D85SHM не вижу здесь ничего про то какой порт слушает контейнер в поде

http://dpaste.com/0D85SHM не вижу здесь ничего про то какой порт слушает контейнер в поде

не в курсе, где это в темлейтах хельма конфигурируется?

kubectl explain pod.spec

подозреваю, что косяк где-то здесь у меня

spec: containers: - name: em-maps image: "registry.csat.ru/csat/em-maps:latest" imagePullSecrets: - name: myregistrykey imagePullPolicy: Always ports: - name: http containerPort: 80 protocol: TCP livenessProbe: httpGet: path: / port: http readinessProbe: httpGet: path: / port: http resources: {}

spec: containers: - name: em-maps image: "registry.csat.ru/csat/em-maps:latest" imagePullSecrets: - name: myregistrykey imagePullPolicy: Always ports: - name: http containerPort: 80 protocol: TCP livenessProbe: httpGet: path: / port: http readinessProbe: httpGet: path: / port: http resources: {}

Отступ кажется не правильный

У портов, и всего что за ними

Ура!

Косяк в этом куске, нужно было ниже опустить пуллсекрет

спасибо большое!

напомните плиз как ноды общаются между собой? поднимается vpn между ними при условии что у каждой есть статичный адрес?

статичный*

overlay или IPIP

у меня почему то не создается секрет, уже не знаю куда смотреть $ kubectl create -f - <<EOF > apiVersion: v1 > kind: Secret > metadata: > name: build-robot-secret > annotations: > kubernetes.io/service-account.name: build-robot > type: kubernetes.io/service-account-token > EOF secret/build-robot-secret created $ kubectl delete secret build-robot-secret Error from server (NotFound): secrets "build-robot-secret" not found

разобрался

разобрался

В чем была проблема?

сначала нужно было создать service-account

Не понимаю, откуда берется 5й под с ошибкой? Кластер на GCE, autoscaling включен и preemptible instances, replicas: 4 в конфиге. Он тут появляется через 12ч после деплоя примерно.

Ну вот 4 рабочих и есть

В маске наверное видно плохо

hi all! дилетантский вопрос - настроен k8s в локальной сети, load balancer и ingress. можно ли как-то указать ingress'у, чтобы если к нему идет обращение с определенного доменного имени, то делался редирект не =внутрь= k8s, а на сервер, расположенный на другом хосте в локальной сети?

External service вероятнее всего поможет

спасибо, почитаю

External name же.

Коллеги подскажете по prometheus-operator, почему конфиг не перегружается, когда я изменяю уже имеющие servicemonitor, разве только на создание/удаление есть реакция?

Хотите кровавых историй? Проебал сертификаты , кластер развалился , вроде апы должны продолжать работать, но то ли я тестировал криво такую ситуацию, то ли хитро развалилось кусками, но вобщем каким то макаром контроллер менеджер достучался до аписерверов, до которых кублеты как раз достучаться не могли и пометил почти все ноды NotReady , а заодно и все поды на них. Ингресс контроллер это тоже увидеть успел перед тотальной смертью всего и повыключал все :) сижу репу чешу, как сделать чтоб такой хуиты не повторилось. Себя уволить не предлагать

поди сеть сломалась, достучался до аписервера на локалхосте

видимо, нужно ставить хитрый лоадбалансер на аписерверы и какие-то хелсчеки на каждый?

поди сеть сломалась, достучался до аписервера на локалхосте

У меня все селф хостед (кроме етцд) , так что стучалось оно на kiberbetes.default

но как оно достучалось если один из аписерверов не был доступен? Тогда же емнип накрывается все звездой

У меня все селф хостед (кроме етцд) , так что стучалось оно на kiberbetes.default

Но это же и есть локалхост, если грубо.

Тебя netfilter завернёт в локальный интерфейс просто.

Хотите кровавых историй? Проебал сертификаты , кластер развалился , вроде апы должны продолжать работать, но то ли я тестировал криво такую ситуацию, то ли хитро развалилось кусками, но вобщем каким то макаром контроллер менеджер достучался до аписерверов, до которых кублеты как раз достучаться не могли и пометил почти все ноды NotReady , а заодно и все поды на них. Ингресс контроллер это тоже увидеть успел перед тотальной смертью всего и повыключал все :) сижу репу чешу, как сделать чтоб такой хуиты не повторилось. Себя уволить не предлагать

еб какая дичь

видимо, нужно ставить хитрый лоадбалансер на аписерверы и какие-то хелсчеки на каждый?

Да пофиг на аписервера, мне б что б нормально работающие контейнеры продолжали светиться в ингресе/ендпоинтах. Например чтобы поды NotReady не делать, но тогда внутренние запросы буду через раз работать для "законно" отвалившихся нод. Похоже надо вешать финалайзеры на endpoints и убирать их только когда нода из NotReady выходит (или удаляют ее совсем) вобщем относиться к endpoints как к персистент вольюмам :)

Вообще как внутри и снаружи надо делать выводы о состоянии пода по ответам пода, а не через цепочку "раз нода нотреди то и поды нотреди"