Roman
Добрый день, кто то сталкивался с проблемой когда из пода раз через раз не резолвилось доменное имя: while true; do kubectl run -ti --rm test --image=alpine:3.10 --restart=Never -- nslookup google.com; done Если добавить echo или sleep в комманду то все работает. while true; do kubectl run -ti --rm test --image=alpine:3.10 --restart=Never -- echo 1 ; nslookup google.com; done Возможно kube-proxy не успевает создать правила в iptables и сети первык милисекунды нету в новом поде. Но проблема в том что у нас в k8s живет gitlab-runner и он не может зарезолвить доменное имя нашего гита, какиъ-то слипов не нашел для раннера
Lucky SB
да оно всё в пенденге висит kubectl describe pod Name: wordpress-5d5b5df6f5-sgz2z Namespace: default Priority: 0 Node: <none> Labels: pod-template-hash=5d5b5df6f5 run=wordpress Annotations: <none> Status: Pending IP: IPs: <none> Controlled By: ReplicaSet/wordpress-5d5b5df6f5
у тебя кластер ОПЯТЬ сломаный. поды не стартуют. висят ВСЕ в пендниге. покажи kubectl get node и kubectl describe deployment ingress-nginx
Отделение Bereke Bank
Правда я так и не углублялся с чем это связано
Sasha
у тебя кластер ОПЯТЬ сломаный. поды не стартуют. висят ВСЕ в пендниге. покажи kubectl get node и kubectl describe deployment ingress-nginx
kubectl get node NAME STATUS ROLES AGE VERSION lol.kubernetes.info NotReady master 82m v1.16.2 вообще нет kubectl describe deployment ingress-nginx Error from server (NotFound): deployments.apps "ingress-nginx" not found а тут пендинг kubectl get pods --all-namespaces -l app.kubernetes.io/name=ingress-nginx --watch NAMESPACE NAME READY STATUS RESTARTS AGE ingress-nginx nginx-ingress-controller-568867bf56-h76bt 0/1 Pending 0 56m
Lucky SB
kubectl get node NAME STATUS ROLES AGE VERSION lol.kubernetes.info NotReady master 82m v1.16.2 вообще нет kubectl describe deployment ingress-nginx Error from server (NotFound): deployments.apps "ingress-nginx" not found а тут пендинг kubectl get pods --all-namespaces -l app.kubernetes.io/name=ingress-nginx --watch NAMESPACE NAME READY STATUS RESTARTS AGE ingress-nginx nginx-ingress-controller-568867bf56-h76bt 0/1 Pending 0 56m
lol.kubernetes.info NotReady master 82m v1.16.2 узел NotReady - потому что скорее всего CNI криво встал. а криво встал он потому что ты какую то дичь залил в как манифест от фланнел. а я тебе давал ссылку на доку по кубадму. но ты ей пренебрег.
Отделение Bereke Bank
Спасибо, сейчас гляну
В крайнем случае зашей нужные сервисы в hostAliases Я туда всякие Бд хосты прописываю и время на резолв не тратится
Отделение Bereke Bank
Lucky SB
https://github.com/icobra/cent_scripts/blob/master/readme.md
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network
Lucky SB
вот же все по шагам. и ссылки на рабочие манифесты
Sasha
да тоже самое... может нужно было создать токен?*
Lucky SB
да тоже самое... может нужно было создать токен?*
сдаюсь. ты победил. настолько не читать, что тебе пишут ....
Sasha
сдаюсь. ты победил. настолько не читать, что тебе пишут ....
у меня все теже шаги... до этого пункта Joining your nodes
Sasha
а если там было 1 ядро, то могло не взлететь?
Отделение Bereke Bank
а если там было 1 ядро, то могло не взлететь?
У меня etcd на двух ядрах подыхал на свежем кластере. Так что может быть
Lucky SB
а если там было 1 ядро, то могло не взлететь?
сравни по буквам url манифестов откуда ты калико ставишь, и что в доке на кубадм написано. найди два одинаковый слова. потом пиши про точно так же
Михаил
Да там портянка в env получается Особенно забавно смотреть на дебаг вывод ларавела, который высирает все енвы Зайди в контейнер и сделай env
Действительно кубер там норм в енв навалил и имя енва пересеклось с используемым в конфиге апы. Где можно почитать про стандартные енвы поды и как их отключить?
Игорь
Nik
а что рекреейтит сервис kubernetes в неймспейсе default?
Nik
(я охренительно себе выстрелил в ногу, сменив месяц назад подсеть сервисов на рабочем кластере. и после рекреейта этого сервиса - у меня серт не валиен для нового ip)
Lucky SB
ну вернее какой нить контроллер конечно же
Nik
api-сервер
а у него конфиг есть как его рекреейтить?
Lucky SB
а у него конфиг есть как его рекреейтить?
kubectl edit svc kubernetes не помогает ?
Lucky SB
изменения затираются ?
Anonymous
Привет. Если для пода лимиты и реквесты cpu использовать без описания ядер с m, а просто цифры ставить типа limits: Cpu: 5 Memory: 1Gi Это же не критично?
Nik
и я могу его максимум удалить
Lucky SB
если я в порядках не ошибся
Lucky SB
и я могу его максимум удалить
хмм. никогда не менял его. поэтому не знал. а чего в нем не так ?
Nik
а серт подписан на другйо адрес
Nik
и у меня ща объекты в кубе не создаются)
Lucky SB
а серт подписан на другйо адрес
и что ты хочешь от сервиса ?
Lucky SB
тебе надо сертификат апи-сервера выпустить новый
Nik
2019-10-29 14:18:15.806 [INFO][9] startup.go 331: Hit error connecting to datastore - retry error=Get https://192.168.0.1:443/api/v1/nodes/foo: x509: certificate is valid for 10.96.0.1, 10.35.12.146, 10.35.12.145, 10.35.12.145, not 192.168.0.1
Nik
тебе надо сертификат апи-сервера выпустить новый
я хочу выставить внешний ip аписервера
Nik
он и доступен
Nik
и подписан
Nik
тебе надо сертификат апи-сервера выпустить новый
я не придумал как это сделать и не прикончить кластер
Nik
он конечно для dev сред но его жалко
Lucky SB
он конечно для dev сред но его жалко
https://habr.com/ru/company/southbridge/blog/465733/ вторая часть. про то как через openssl серты продлять. попробуй в конфиг openssl.conf добавить свой новый адрес. и перевыпустить сертификат
Nik
я ей кстати попытался объяснить что ходи по днс
Nik
но стало интереснее
Nik
2019-10-29 14:29:58.038 [INFO][9] startup.go 331: Hit error connecting to datastore - retry error=Get https://kubernetes.default.svc.cluster.local:443/api/v1/nodes/foo: dial tcp: lookup kubernetes.default.svc.cluster.local on 10.34.6.2:53: no such host
Nik
резолы почему то во что то странное
Nik
при этом из других подов резолв корректны
Grigorii
https://habr.com/ru/company/southbridge/blog/465733/ вторая часть. про то как через openssl серты продлять. попробуй в конфиг openssl.conf добавить свой новый адрес. и перевыпустить сертификат
Класс. Не в курсе, кубспрей умеет обновлять серты сам? Я им поднял 3 мастер в НА режиме, v1.13.3, уже подванивать начинают
Отделение Bereke Bank
Отделение Bereke Bank
зачем ?
а CA тоже обновляется?
Grigorii
как поднял ? kubeadm? https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
Думаю да, там используется кубадмин https://i.imgur.com/U4NN3ks.png
Lucky SB
как поднял ? kubeadm? https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
кубспрей нет. начиная с 15 версии каажется кубадм обновляет сертификаты при обновлении кластера автомагически, если укажешь ключик. но сертификат кублета на первом мастере не обновляет. PR на эту тему пока еще в работе. обещают к 1.17 сделать
Lucky SB
а CA тоже обновляется?
неа. он на 10 лет. время еще не пришло им почесатсо
Andrey
CA на 10 лет, вроде, генерятся через kubeadm. Это что то типа к этому моменту "что-нибудь придумаем" или "столько кластера не живут"?
Отделение Bereke Bank
неа. он на 10 лет. время еще не пришло им почесатсо
воот. самая боль то это обновление CA. я как-то пробовал - плюнул и выписал все серты на 10 лет
Отделение Bereke Bank
интересно было бы почитать что делать если протух СА)
Lucky SB
интересно было бы почитать что делать если протух СА)
создать ишью ;) а пока взять в руки openssl и продлить его
Отделение Bereke Bank
создать ишью ;) а пока взять в руки openssl и продлить его
кстати, раз уж зашла речь про серты. Вот у меня кубелеты воркеров подключаются с --bootstrap-kubeconfig Далее надо аппрувить csr После чего для воркера выписывается серт на год Что произойдет после истечения такого серта? CSR появится автоматически или как? Не нашел нигде инфы
Lucky SB
как поднял ? kubeadm? https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
зацени количество warning в тексте ) и я к ним руку приложил
G72K
ну вернее какой нить контроллер конечно же
Каждый аписервер прописывает туда свой advertise IP
Lucky SB
кстати, раз уж зашла речь про серты. Вот у меня кубелеты воркеров подключаются с --bootstrap-kubeconfig Далее надо аппрувить csr После чего для воркера выписывается серт на год Что произойдет после истечения такого серта? CSR появится автоматически или как? Не нашел нигде инфы
эм. есть два виде сертов у кублета. 1. по которому кублет авторизуется на API-Сервера - вот для него все автоматом делается. при бутстрапе делается CSR, который автоматически аппрувится и получается сертификат. как год начнет заканчиваться кублет сам сделает новый CSR и пошлет на аппрув в API, там контроллер его заапрувит и вернет новый сертификат. еще на год. 2. а есть сертификаты, которые стоят на кублетах. kublet-server-certificate, они обычно самоподписанные и не ротируются. потому что используются только для шифрования обмена API-сервер->kubelet (это когда ты делаешь kubectl logs .... и апи идет на кублет за логами). вот им тожно можно настроить CSR-и прочее, но эти CSR придется вручную аппрувить. обычно никто не заморачивается такой фигней
Lucky SB
Из вопроса было видно, что у них нету авто апрува CSR,
ну я из вопроса увидел только то, что там есть бааальшие пробелы в знаниях о процедуре бутстрап
Отделение Bereke Bank
понятно, спасибо. автоапрува нет
G72K
По факту будет так - кублет создаст CSR, никто не заметит, серт кублета протухнет , нода not ready, все поды вылетают . Все ноды создавались в пределах десяти минут раскаткой кластера за раз - весь кластер not ready , сирены воют, админы-девопс-сре седеют . Зачем это надо. Серты надо выписывать на 50 лет
Отделение Bereke Bank
как так ?
hard way с некоторыми изменениями)