G72K
тп что нить ответила ?
У нас дев кластер там пока,нет ТП плана. Пожаловался на server fault :)
G72K
засекай время. за сколько починят
Уже починил апгрейдом :)
Nikolay
если ты про это --cadvisor-port=0
да, но по идее, он только должен отключать внутренний порт кадвизора - 4194, а в самом кубелете все должно работать
Pavel
по идее, еще можно глянут на localhost:10255/metrics
сам запрос к api /api/v1/nodes/node/proxy/metrics ОТрабатывает корректно
G72K
Этот вебхук есть в kubectl get mutatingwebhookconfigurations , можно попробовать удалить его будет ,если еще раз случится :)
G72K
Неплохой пример маленького, но добротного бизнеса (open core) : kubecost.com
Oleg
Ребят подскажите порфавор. у меня есть три ноды воркеров. и три мастера. ноды коннектятся к мастерам через проксю где указаны все три апи мастера. так вот сейчас надо реализовать ингресс и я пытаюсь metallb запилить для него. но когда поднимаю ingress service - то у меня нода вываливается и больше с нее коннекта до апи мастеров нет (до порта 6443). и после ребута кублета, ноды, все равно нет коннекта я так понимаю что какое то правило в Iptables создается, но какое не пойму, может кто подсказать ?
Oleg
да, в общем поднимал kubespray. без каких либо значимых изменений в vars. металлб поднимаю - потому что у клиента хецнер :( собственно я металлб скормил конфиг, где указал в адресе одну из моих нод воркеров apiVersion: v1 kind: ConfigMap metadata: namespace: metallb-system name: config data: config: | address-pools: - name: default protocol: layer2 addresses: - 1.2.3.4/32 Далее стандартный сервис ingress LB kind: Service apiVersion: v1 metadata: name: ingress-nginx namespace: ingress-nginx labels: app.kubernetes.io/name: ingress-nginx app.kubernetes.io/part-of: ingress-nginx spec: type: LoadBalancer selector: app.kubernetes.io/name: ingress-nginx app.kubernetes.io/part-of: ingress-nginx ports: - name: http port: 80 targetPort: http - name: https port: 443 targetPort: http
Oleg
собственно я увидел сервис с корректным external ip NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/ingress-nginx LoadBalancer 10.233.25.32 1.2.3.4 80:32739/TCP,443:30480/TCP 14s но нода в итоге в NotReady стала, и больше не может достучаться до master api 6443
Solyar
Никто не сталкивался с зависанием PVC ?
Solyar
Удаляю а он с*ка не хочет
Solyar
Его ничего не держит
Solyar
Был в неймспейсе с монгой. Монгу снёс.
Eduard
Дескрайб и эвенты где?
Solyar
Всё. Решилось
Solyar
Что-то долго удалял
Solyar
10 минут :\
Eduard
Шедуллер тупит, норма
𝚔𝚟𝚊𝚙𝚜
Solyar
Finalizer держит?
Возможно
Solyar
Об этом мы увы не узнаем
Oleg
а чей это адрес 1.2.3.4/32?
это адрес воркера
Oleg
одного из
Andrey
Господа, а кто-нибудь linkerd в проде юзает? Каковы впечатления?
𝚔𝚟𝚊𝚙𝚜
это адрес воркера
С металлб юзай адреса которые ещё никому не назначенны
Oleg
С металлб юзай адреса которые ещё никому не назначенны
А, тоесть надо зарезервировать в хецнере адреса? И их указать?
Oleg
Вай пипец?
Ай не знаю) в норм клаудпровайдере попроще)
Lucky SB
это адрес воркера
Я конечно считаю metallb кривым костылем. но разве он этот адрес не переносит между узлами ? и это не должен быть адрес воркера ?
Lucky SB
А, тоесть надо зарезервировать в хецнере адреса? И их указать?
ты с хетцнером вообще работал когда нить ?
Lucky SB
или это твой первый опыт ?
Eduard
Ай не знаю) в норм клаудпровайдере попроще)
Я по такой схеме в хц делаю, не парюсь с потерей etcd мэмберов
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
что такое ворлоад ?
Под с эндпоинтом
Oleg
А как вернуть потерявшуюся ноду. Почему то не стало коннекта до 6443 до мастеров
Oleg
Там портянка в логах кублета) но суть в том что не может до мастера
Eduard
kubetpl
Чем хельм не торт?)
Lucky SB
Ага
у тебя в /etc/kubernetes/kubelet.conf прописан server 127.0.0.1:6443 ?
Joe
Чем хельм не торт?)
Может быть избыточным
Lucky SB
а что нить слушает этот порт на узле ? это процесс nginx ? есть контейнер, который назвается типа k8s_POD_nginx-proxy-node-1
Lucky SB
curl на 127.0.0.1:6443 с узла проходит ?
Oleg
tcp 0 0 127.0.0.1:6443 0.0.0.0:* LISTEN 7104/nginx: master
Oleg
ну да в логе нджинска якобы нет коннекта к апстримам 2019/10/30 11:28:37 [error] 6#6: *42396 no live upstreams while connecting to upstream, client: 127.0.0.1, server: 127.0.0.1:6443, upstream: "kube_apiserver", bytes from/to client:0/0, bytes from/to upstream:0/0 2019/10/30 11:28:37 [error] 6#6: *42404 no live upstreams while connecting to upstream, client: 127.0.0.1, server: 127.0.0.1:6443, upstream: "kube_apiserver", bytes from/to client:0/0, bytes from/to upstream:0/0 2019/10/30 11:28:37 [error] 6#6: *42405 no live upstreams while connecting to upstream, client: 127.0.0.1, server: 127.0.0.1:6443, upstream: "kube_apiserver", bytes from/to client:0/0, bytes from/to upstream:0/0 2019/10/30 11:28:37 [error] 6#6: *42406 no live upstreams while connecting to upstream, client: 127.0.0.1, server: 127.0.0.1:6443, upstream:
Oleg
Неткат?
? вот телнет root@node5 ~ # telnet masterip 6443 Trying masterip...
Oleg
curl на 127.0.0.1:6443 с узла проходит ?
root@node5 ~ # curl http://localhost:6443 curl: (56) Recv failure: Connection reset by peer
Oleg
С металлб юзай адреса которые ещё никому не назначенны
так все-таки это надо в хецнере заюзать какие то адреса? просто я знаю что есть floating ip но он вроде только в hetzner cloud. для дедиков есть тоже что похожее ?
Oleg
Тык у тебя связи между тупо нет
а она была, до того как металб накатил)
Eduard
а что в ipvs ?
Мало ли, kube-router нынче модно накатывать
Lucky SB
так все-таки это надо в хецнере заюзать какие то адреса? просто я знаю что есть floating ip но он вроде только в hetzner cloud. для дедиков есть тоже что похожее ?
крче - металлб в хетцнере работать не будет. ))) 1. там все ip адреса прибиты к серверам. к порту коммутатора, куда сервер подключен и к его маку - так что все потуги металлб по переносу адреса останутся только потугами. 2. у хетцнер есть FailoverIP, для которого в админке хетцнера можно указать - на каком сервере он находится. (грубо говоря на какой сервер роутить трафик для этого адреса). есть скрипты для автоматизации. https://wiki.hetzner.de/index.php/Failover_Skript/ru у меня на всех узлах в конфиге FIP адрес прописан. и pacemaker роутинг переключает.
Oleg
там корректный айпишки. кароче у меня пропал тупо физический коннект и я не пойму куда копнуть)
Oleg
ssh. в админку нету)
Lucky SB
ааа )
Oleg
а в hetzner cloud работает да? с floating ip ?
Lucky SB
а в hetzner cloud работает да? с floating ip ?
хз. с хетзнер клауд не работал
Oleg
в общем, видимо проще забутсрапить свежий кластер )