да, это баг в java

Судя по тамошнему обсуждению - вопросы скорее к overlayfs

Там в конце есть ссылка на патч

как запустить процесс ? если kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/etc/systemd/system/kubelet.service; enabled; vendor preset: disabled) Drop-In: /etc/systemd/system/kubelet.service.d └─10-kubeadm.conf Active: activating (auto-restart) (Result: exit-code) since Сб 2018-02-10 23:59:54 MSK; 131ms ago Docs: http://kubernetes.io/docs/ Process: 14677 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=1/FAILURE) Main PID: 14677 (code=exited, status=1/FAILURE)

Help! https://dpaste.de/Mjmm

кто prometheus operator пользуется?

чет у меня кастомный экспортер не дискаверится ;(

Help! https://dpaste.de/Mjmm

Евгений, вы понимаете что логи которые вы запостили обрезаны?

по обрезку что вы показали я могу предположить что вам может быть поможет это https://github.com/kubernetes/kubernetes/issues/53333#issuecomment-339793601

как можно отладить dns в кубе?

$ kubectl exec -it busybox-855686df5d-tsh44 -- nslookup kubernetes вот это отваливается по таймауту, напечатав, что сервер — 10.32.0.10

$ kubectl exec -it busybox-855686df5d-tsh44 -- nslookup kubernetes вот это отваливается по таймауту, напечатав, что сервер — 10.32.0.10

Вы kube-dns запустили?

Вы kube-dns запустили?

да

$ kubectl -n kube-system exec -it kube-dns-6c857864fb-k6t6f -c kubedns -- curl -I localhost:8081/readiness HTTP/1.1 200 OK

$ kubectl -n kube-system exec -it kube-dns-6c857864fb-k6t6f -c kubedns -- curl -I localhost:8081/readiness HTTP/1.1 200 OK

Тогда посмотрите запущен ли сервис, если да, то посмотрите на правила iptables

Куберовский сервис я имею ввиду

$ kubectl get svc --all-namespaces NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE default kubernetes ClusterIP 10.32.0.1 <none> 443/TCP 15h kube-system kube-dns ClusterIP 10.32.0.10 <none> 53/UDP,53/TCP 1h— это имеется ввиду?

а что в правилах надо искать?

$ kubectl get svc --all-namespaces NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE default kubernetes ClusterIP 10.32.0.1 <none> 443/TCP 15h kube-system kube-dns ClusterIP 10.32.0.10 <none> 53/UDP,53/TCP 1h— это имеется ввиду?

Ага

а что в правилах надо искать?

Как обрабатывается обращение к 0.10

Kube-proxy тоже работает?

Не пишет ничего в логах? Прав ему хватает?

в целом вроде работает, из ошибок только это: Feb 10 23:26:58 ng40tpcvnf-dp1 kube-proxy[17228]: E0210 23:26:58.961868 17228 proxier.go:1701] Failed to delete stale service IP 10.32.0.10 connections, error: error deleting connection tracking state for UDP service IP: 10.32.0.10, error: error looking for path of conntrack: exec: "conntrack": executable file not found in $PATH

Ага. Ну можно поставить чтобы не ругалось. А так вообще надо проверить насколько все корректно в iptables

Правильный ендпоинт

Вся ли цепочка

KUBE-MARK-MASQ udp -- !10.200.0.0/16 10.32.0.10 /* kube-system/kube-dns:dns cluster IP */ udp dpt:domain KUBE-SVC-TCOU7JCQXEZGVUNU udp -- anywhere 10.32.0.10 /* kube-system/kube-dns:dns cluster IP */ udp dpt:domain KUBE-MARK-MASQ tcp -- !10.200.0.0/16 10.32.0.10 /* kube-system/kube-dns:dns-tcp cluster IP */ tcp dpt:domain KUBE-SVC-ERIFXISQEP7F7OF4 tcp -- anywhere 10.32.0.10 /* kube-system/kube-dns:dns-tcp cluster IP */ tcp dpt:domain

Я не вижу тут куда в итоге трафик уходит

Должен быть ip пода где живет кубе днс

Этим заведует kube-proxy

я отфильтровал вывод iptables по ip dns

Ага. Ну разбирайтесь, я все же спать :) да и с Телефона не удобно смотреть на правила.

ok, спасибо, спокойной ночи :)

если из пода не пингуется сервисная сеть, что нужно проверить?

если из пода не пингуется сервисная сеть, что нужно проверить?

она и не должна. идите прямо на порт сервиса

нет никакой сервисной сети

я все еще отлаживаю нерабочий dns, думал, что из пода dns сервер должен пинговаться (его айпишник в "сервисной сети" же)

сервисная сеть - это виртуальная сеть в нат таблице netfilter

сервис из сервисной сети, это набор правил трансляции, в результате трафик идет в соответствующие поды

и пинговаться там ничего не будет, там просто нет соответствующих правил…

у меня при попытке резолвинга трафик приходит на под с dns (вижу через tcpdump), но такое ощущение, что ответа от dns не поступает

а если пытаться резолвить с контейнеров kube-dns, резолвит?

сервисы — нет, интернет — да

может быть kube-dns, не может достучаться до api?

в логах есть чо?

в логах все спокойно

вполне может быть, что и не может, но непонятно, что для этого ему нужно

сетевой доступ и валидный токен

и как можно узнать, чего из этого ему не хватает?

я думаю это было бы видно в логах kube-dns, api-сервера

и как можно узнать, чего из этого ему не хватает?

Может вы пользуетесь NetworkPolicy и не включили ДНС в правила?

я думаю это было бы видно в логах kube-dns, api-сервера

из всех не "I" записей, только один warning Got EOF from stdout в dnsmasq контейнере

Может вы пользуетесь NetworkPolicy и не включили ДНС в правила?

как можно в этом убедиться?

в том же неймспейсе где ваш под: kubectl get networkpolicy

так же и для неймспейса с kube-dns

ни там ни там нет таких ресурсов

ну значит не оно)

Привет, а кто может проконсультировать на счет GCP и контейнеров с общим диском?

В google cloud (в отличие от aws, azure) нету облачного nfs сервиса. А persistent disks могут работать только как read many или read/write once. Если вам нужен read/write many, то как вариант поднимайте свой nfs (у гугла есть инструкция). Подробней ничего сказать не могу, ибо туда не ходил.

а нет варианта, где в одном контейнере только писать и читать, а в других только читать?

привет, а киньте ссылку на опеншифт телеграм или слак плиз

OpenShift Platform as a Service product https://t.me/OpenShift

спасибо

OpenShift Platform as a Service product https://t.me/OpenShift

но там же ничего нет

но там же ничего нет

Это чат, что от него требуется?

по ссылке - канал

Оу, сорри, не заметил. Впрочем создать свой чат не проблема

Ха-ха. Канал такой-же пустой как и перспективы openshift после выхода kubernetes 1.9.

😂

кто-нибудь использовал metallb? Оно вроде работает, но непонятно, будет ли оно стабильно работать

Ха-ха. Канал такой-же пустой как и перспективы openshift после выхода kubernetes 1.9.

Интересны аргументы подобного высказывания

Что может предложить openshift из того чего не может предложить "голый" kubernetes?

Что может предложить openshift из того чего не может предложить "голый" kubernetes?

buildconfigs, imagestream, jenkins pipelines, поддержку древнего, например. роутер с днсом, встроенная регистри с консолькой, метрики\логгинг изкоробки

jenkins pipelines? вы серьезно? Какое отношение имеет к ним openshift?

jenkins pipelines? вы серьезно? Какое отношение имеет к ним openshift?

https://blog.openshift.com/wp-content/uploads/jenkins-pipeline-view.png

Но зачем это в openshift? Чего не хватает в интерфейсе jenkins?

я думаю, там не просто jenkins

я думаю, там не просто jenkins

Не та мпросто дженкинс)

ПРотос они его таки втянули

а какой-нибудь HA jenkins с нужным набором плагинов для интеграции с OC/K8s/Docker registry