⎈
я гопник прежде всего!
Да мы уш понели
⎈
Но ведь правда не нужен
ПАЧИМУ?!!111 (не бизнесу, а простому одмину)
Bohdan
а в kubectl describe pod умеешь ?
Именно такое не помогает, так как до подов дело не доходит. Ошибки видны только в Деплойменст
Bohdan
и что там в евентах деплоймента ?
Error creating: context deadline exceeded
Aleksandr
где-то не туда вы свернули 🙂
это не совсем мой вопрос, но стало интересно. на гите висит с 2016 года ишью, все-таки не одному человеку это надо
Lucky SB
Error creating: context deadline exceeded
А сам кластер живой ? c контрол-плейном и etcd все норм ? они не рестартятся постоянно ?
Konstantine
Да устраивает , в принципе. Но лёгкий привкус костыльности остаётся :) Я просто думал, что наконец зависимости джобов подвезли, но, видимо, не в этом релизе. :)
Anton Lebedevich
о, в kubeflow еще есть зависимости
Anton Lebedevich
но через несколько десятков доп сервисов
Bohdan
А сам кластер живой ? c контрол-плейном и etcd все норм ? они не рестартятся постоянно ?
Та вроде норм все, никае коробочные поды не рестартяться, евенты чистые
Bohdan
Та вроде норм все, никае коробочные поды не рестартяться, евенты чистые
Неймспейсы удаляються, поды грохаються норм если делать rio uninstall, он идет чистит CDR и все норм удаляеться
Lucky SB
Та вроде норм все, никае коробочные поды не рестартяться, евенты чистые
ну попробуй руками этот деплоймент задеплоить, а не через рио
Lucky SB
ну да
Bohdan
А вообще по дефолту в k3s такое количество подов?
Bohdan
И вообще у меня поды подняты только на мастере, насколько помню что то на агентах тоже должно быть поднято О_о
inqfen
Я никак не котирую, экзамен крайне простой и ничего не расскажет о навыках ни проектирования, ни администрирования
Кстати, а там есть всякие вопросы уровня по написанию операторов, более глубокие как cni работает и подобное?
Stas
нет
inqfen
А то я думаю сдавать в следующем году, ну так вот надо что то раскуривать или так в голове всего хватит
Konstantine
Если это джобы, которые связаны с процессом деплоя - вынеси их в отдельные стадии в pipeline Я так и сделал
Ну, не совсем с деплоем. Генерация данных, наполнение БД. Плюс, это надолго, по таймауту будут отваливаться. А один джоб из нескольких собрать попробую, интересно, как он себя поведёт.
⎈
Что простому админу?
Он премисес НИНУЖОН
inqfen
Есть отдельный стейдж гитлаба, который запускает последовательно нужные джобы
⎈
Что именно?
Полукубер-up
Konstantine
Есть отдельный стейдж гитлаба, который запускает последовательно нужные джобы
Тоже подумаю. самих джобов в CI нет, но добавить несложно.
Отделение Bereke Bank
Есть отдельный стейдж гитлаба, который запускает последовательно нужные джобы
А как он проверяет что предыдущая джоба в кубере завершилась?
inqfen
Это в ансибле выполняется https://docs.ansible.com/ansible/latest/modules/k8s_info_module.html#k8s-info-module
Отделение Bereke Bank
Тоже подумаю. самих джобов в CI нет, но добавить несложно.
Кстати у хелма есть хуки для контроля порядка деплоя объектов. Если юзаешь хелм - посмотри в эту сторону
Bohdan
Полукубер-up
https://github.com/alexellis/k3sup
Konstantine
Кстати у хелма есть хуки для контроля порядка деплоя объектов. Если юзаешь хелм - посмотри в эту сторону
Видимо да, придётся чарт делать под всё это. Что, в любом случае, неизбежно, ямлов уже под полсотни в проекте.
⎈
Полукубер-up
Кетчуп! Во память, а!
Bohdan
А сам кластер живой ? c контрол-плейном и etcd все норм ? они не рестартятся постоянно ?
В вообще все странно, по kubectl delete crd --namespace rio-system --all видно что rio uninstall не всегда все чистит, и вот сейчас неймсвейс не удалился. И по kubectl delete crd --namespace rio-system --all зависает на customresourcedefinition.apiextensions.k8s.io "challenges.acme.cert-manager.io" deleted, причем эта штука повторяеться переодически, и при условии что я кластер 5й раз разворачиваю с нуля. Именно из за того что неймспейс не доубиваеться никак
Igor
Меня apparmor задолбал. Не могу удалить контейнер и kubelet тоже. Его безопасно остановить таким образом? Я слышал , что это вызовет проблемы в каких-то программах
Anton
мож проще правила для него сделать?
Igor
drain ноды
Yuriy
Ой а спроси, они запилили провайдер для терраформа в бареметал?)
Докладываю, провайдера для баре метала нету, но мысли о нем у них витают
Igor
мож проще правила для него сделать?
наверное , просто странно ,что при дефолтной раскатке kubeadm он вдруг начал мешать
Igor
это вообще суперстранно
https://kubernetes.io/docs/setup/production-environment/container-runtimes/#docker
Yuriy
как ивент в целом? для новосиба ?
Бывали и покруче, доклад про истио норм от итсуммы
Yuriy
Менеджед куба у селектела пока нет, но скоро будет, открыли они AZ в нск
Anton
как бы есть)
Revolman
Господа, подскажите плиз куда копать. Разворачиваю кластер c kubectl v1.16.0 по kelseyhightower (но на виртуалках vmware) всё работает, за исключением CoreDNS. Поды, сервис и конфиг мапа в неймспейсе kube-system крутятся, ошибок не наблюдаю. 10.32.0.10 - Cluster-IP CoreDNS svc Проверяю так: $ kubectl exec -ti busybox -- cat /etc/resolv.conf search default.svc.cluster.local svc.cluster.local cluster.local nameserver 10.32.0.10 options ndots:5 $ kubectl exec -ti busybox -- nslookup kubernetes Server: 10.32.0.10 Address 1: 10.32.0.10 nslookup: can't resolve 'kubernetes' command terminated with exit code 1 Ожидаю увидеть ошибку, а не вижу: $ for p in $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name); do kubectl logs --namespace=kube-system $p; done .:53 2019-12-05T15:10:19.805Z [INFO] plugin/reload: Running configuration MD5 = f64cb9b977c7dfca58c4fab108535a76 2019-12-05T15:10:19.805Z [INFO] CoreDNS-1.6.2 2019-12-05T15:10:19.805Z [INFO] linux/amd64, go1.12.8, 795a3eb CoreDNS-1.6.2 linux/amd64, go1.12.8, 795a3eb .:53 2019-12-05T15:10:19.861Z [INFO] plugin/reload: Running configuration MD5 = f64cb9b977c7dfca58c4fab108535a76 2019-12-05T15:10:19.861Z [INFO] CoreDNS-1.6.2 2019-12-05T15:10:19.861Z [INFO] linux/amd64, go1.12.8, 795a3eb CoreDNS-1.6.2 linux/amd64, go1.12.8, 795a3eb ConfigMap так выглядит: apiVersion: v1 kind: ConfigMap metadata: name: coredns namespace: kube-system data: Corefile: | .:53 { errors health ready kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa ttl 30 } prometheus :9153 forward . /etc/resolv.conf cache 30 loop reload loadbalance } /etc/resolv.conf воркер ноды выглядит так: nameserver 8.8.8.8 что я делаю не так? сорян за длинную портянку)
Yuriy
как бы есть)
Как бы он пока не зарелижен
Yuriy
Но со дня на день обещают
Lucky SB
Господа, подскажите плиз куда копать. Разворачиваю кластер c kubectl v1.16.0 по kelseyhightower (но на виртуалках vmware) всё работает, за исключением CoreDNS. Поды, сервис и конфиг мапа в неймспейсе kube-system крутятся, ошибок не наблюдаю. 10.32.0.10 - Cluster-IP CoreDNS svc Проверяю так: $ kubectl exec -ti busybox -- cat /etc/resolv.conf search default.svc.cluster.local svc.cluster.local cluster.local nameserver 10.32.0.10 options ndots:5 $ kubectl exec -ti busybox -- nslookup kubernetes Server: 10.32.0.10 Address 1: 10.32.0.10 nslookup: can't resolve 'kubernetes' command terminated with exit code 1 Ожидаю увидеть ошибку, а не вижу: $ for p in $(kubectl get pods --namespace=kube-system -l k8s-app=kube-dns -o name); do kubectl logs --namespace=kube-system $p; done .:53 2019-12-05T15:10:19.805Z [INFO] plugin/reload: Running configuration MD5 = f64cb9b977c7dfca58c4fab108535a76 2019-12-05T15:10:19.805Z [INFO] CoreDNS-1.6.2 2019-12-05T15:10:19.805Z [INFO] linux/amd64, go1.12.8, 795a3eb CoreDNS-1.6.2 linux/amd64, go1.12.8, 795a3eb .:53 2019-12-05T15:10:19.861Z [INFO] plugin/reload: Running configuration MD5 = f64cb9b977c7dfca58c4fab108535a76 2019-12-05T15:10:19.861Z [INFO] CoreDNS-1.6.2 2019-12-05T15:10:19.861Z [INFO] linux/amd64, go1.12.8, 795a3eb CoreDNS-1.6.2 linux/amd64, go1.12.8, 795a3eb ConfigMap так выглядит: apiVersion: v1 kind: ConfigMap metadata: name: coredns namespace: kube-system data: Corefile: | .:53 { errors health ready kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure fallthrough in-addr.arpa ip6.arpa ttl 30 } prometheus :9153 forward . /etc/resolv.conf cache 30 loop reload loadbalance } /etc/resolv.conf воркер ноды выглядит так: nameserver 8.8.8.8 что я делаю не так? сорян за длинную портянку)
а просто с узла dig @10.32.0.10 kubernetes.default.svc.cluster.local. работает ?
Lucky SB
а dig на ip пода с корднс ?
Отделение Bereke Bank
А че мое сообщение удалилось 😑
krakazyabra
Народ, всем привет! Скажите, а при деплое графаны, как ей указать создать апи-ключ?
krakazyabra
и желательно прибить гвоздями этот api
Revolman
а dig на ip пода с корднс ?
В busybox нет dig, а репозитории не резолвятся ) Сейчас запущу какой-нибудь образ подходящий для проверки, спасибо
Lucky SB
Tadeusz
А че мое сообщение удалилось 😑
ты работу проспал просто 😊
Отделение Bereke Bank
слишком токсичное
Да я почти то же самое что и ты написал 😠
krakazyabra
и желательно прибить гвоздями этот api
запустить сайдкар, который курлом запостит через апи организацию и токен?
Revolman
не из контейнера. а напряму с мастера
с мастера не проходит на кластер-ип [revolman@controller-0 ~]$ dig @10.32.0.10 kubernetes.default.svc.cluster.local. ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> @10.32.0.10 kubernetes.default.svc.cluster.local. ; (1 server found) ;; global options: +cmd ;; connection timed out; no servers could be reached а на под проходит [revolman@controller-0 ~]$ dig 10.200.0.150 ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> 10.200.0.150 ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 26504 ;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4000 ;; QUESTION SECTION: ;10.200.0.150. IN A ;; Query time: 68 msec ;; SERVER: 192.168.0.10#53(192.168.0.10) ;; WHEN: Чт дек 05 18:59:47 MSK 2019 ;; MSG SIZE rcvd: 41 а с воркера ок [revolman@worker-0 ~]$ dig @10.32.0.10 kubernetes.default.svc.cluster.local. ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> @10.32.0.10 kubernetes.default.svc.cluster.local. ; (1 server found) ;; global options: +cmd ;; Got answer: ;; WARNING: .local is reserved for Multicast DNS ;; You are currently testing what happens when an mDNS query is leaked to DNS ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56866 ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1 ;; WARNING: recursion requested but not available ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4096 ;; QUESTION SECTION: ;kubernetes.default.svc.cluster.local. IN A ;; ANSWER SECTION: kubernetes.default.svc.cluster.local. 30 IN A 10.32.0.1 ;; Query time: 1 msec ;; SERVER: 10.32.0.10#53(10.32.0.10) ;; WHEN: Чт дек 05 18:57:13 MSK 2019 ;; MSG SIZE rcvd: 117
Tadeusz
о щит, освой +short
Revolman
хехе)
Andrey
о щит, освой +short
from scapy.all import * answer = sr1(IP(dst="8.8.8.8")/UDP(dport=53)/DNS(rd=1,qd=DNSQR(qname="k8s.io")),verbose=0) print answer[DNS].summary()
Andrey
о боже, за что ты так со мной
Вспомнил, как конструировал пакеты, работая с роутерами Huawei, которые ошиблись в RFC DHCP'шном. Слава богу, всё позади. Теперь ОБЛАКА только.
Lucky SB
с мастера не проходит на кластер-ип [revolman@controller-0 ~]$ dig @10.32.0.10 kubernetes.default.svc.cluster.local. ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> @10.32.0.10 kubernetes.default.svc.cluster.local. ; (1 server found) ;; global options: +cmd ;; connection timed out; no servers could be reached а на под проходит [revolman@controller-0 ~]$ dig 10.200.0.150 ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> 10.200.0.150 ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 26504 ;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4000 ;; QUESTION SECTION: ;10.200.0.150. IN A ;; Query time: 68 msec ;; SERVER: 192.168.0.10#53(192.168.0.10) ;; WHEN: Чт дек 05 18:59:47 MSK 2019 ;; MSG SIZE rcvd: 41 а с воркера ок [revolman@worker-0 ~]$ dig @10.32.0.10 kubernetes.default.svc.cluster.local. ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-9.P2.el7 <<>> @10.32.0.10 kubernetes.default.svc.cluster.local. ; (1 server found) ;; global options: +cmd ;; Got answer: ;; WARNING: .local is reserved for Multicast DNS ;; You are currently testing what happens when an mDNS query is leaked to DNS ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 56866 ;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1 ;; WARNING: recursion requested but not available ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 4096 ;; QUESTION SECTION: ;kubernetes.default.svc.cluster.local. IN A ;; ANSWER SECTION: kubernetes.default.svc.cluster.local. 30 IN A 10.32.0.1 ;; Query time: 1 msec ;; SERVER: 10.32.0.10#53(10.32.0.10) ;; WHEN: Чт дек 05 18:57:13 MSK 2019 ;; MSG SIZE rcvd: 117
ну воть. если с мастер не проходит, а с воркера проходит - то надо смотреть в сторону kube-proxy на мастере видимо. что-то у тебя с iptables или ipvs не-торт
Tadeusz
галеры, ты хотел сказать 😂
Andrey
галеры, ты хотел сказать 😂
Летучий Голландец. В облаках.