𝚔𝚟𝚊𝚙𝚜
коллега хочет плоскую сеть, без всяких изысков. Разве у букинга не так же?
Фланнель никогда не коннектит бриджи к физическим интерфейсам, он именно прописывает маршруты, даже в режиме host-gw он будет только маршрутами рулить, но без vxlan-оверлея
Sergey
Фланнель это бридж ) а по сути мне нужен hostnetwork + возможность аллоцировать в POD ипшники из плоской сети
𝚔𝚟𝚊𝚙𝚜
Фланнель это бридж ) а по сути мне нужен hostnetwork + возможность аллоцировать в POD ипшники из плоской сети
Друже, я тебе уже несколько раз сказал cni-bridge или cni-macvlan это вероятно именно то, что ты ищешь
𝚔𝚟𝚊𝚙𝚜
Все остальные сетки будут пытаться держать bridge disconnected так как это своего рода антипаттерн
Tadeusz
а ТЫ что предлангаешь?
не страдать херней :)
𝚔𝚟𝚊𝚙𝚜
Да
George
мда. Сеть это сложно
𝚔𝚟𝚊𝚙𝚜
оно https://github.com/containernetworking/plugins/tree/master/plugins/main/bridge ?
Только subnet для каждой ноды соответственно должен быть разным
Sergey
@kvaps ну тоесть я могу свою сетку /21 поделить на более мелкие пулы, но поды серавно будут в одном L2 верно?
Maxim
Как почистить логи ingress? Тут логов на несколько гигов собралось…
Andrey
контейнер удали
Maxim
Ого, так а пользователей куда дену?
Maxim
Как поставить лимит на логи?
George
только я бы постремался на ноду отдавать меньше, чем /24
𝚔𝚟𝚊𝚙𝚜
только я бы постремался на ноду отдавать меньше, чем /24
Почему? Я /26 отдаю, пока ни разу не упёрлись
𝚔𝚟𝚊𝚙𝚜
но /25 128 адрессов на ноду должно точно хватить
𝚔𝚟𝚊𝚙𝚜
т.е. 62 валидных адреса?
Да, но у меня не так много подов на ноду, у меня много нод :)
Gleb
Привет. есть интересный вопрос. Есть под в кубернетесе, image: justwatch/elasticsearch_exporter@sha256:9b07116671dfa4eb292c487deee288994ae12f0dcb34f2d8b1669cb356de623d Он на busybox. Изнутри него nslookup резолвит все домены, кроме настоящих, на какой-то рандомный IP. /tmp $ nslookup kubernetes.default Server: 10.56.0.10 Address 1: 10.56.0.10 kube-dns.kube-system.svc.cluster.local Name: kubernetes.default Address 1: 10.56.0.1 kubernetes.default.svc.cluster.local /tmp $ nslookup kubernetes.default.asdad Server: 10.56.0.10 Address 1: 10.56.0.10 kube-dns.kube-system.svc.cluster.local Name: kubernetes.default.asdad Address 1: 185.162.9.62 hosted-by.eurohoster.onlin как бы это отдебажить? Я даже dig не могу глянуть, файловая система readonly Из других подов всё ок
Gleb
Как будто он случайно на вайлдкард чей-то улетает или еще куда-то
George
nssconf смотри
Gleb
смотри в /etc/resolv.conf или что конкретно ты хочешь отдебажить?
Откуда этот IP берется /tmp $ cat /etc/resolv.conf nameserver 10.56.0.10 search infrastructure-monitoring.svc.cluster.local svc.cluster.local cluster.local fdp44wvg2u1uvm1wahddoiuwdg.ax.internal.cloudapp.net options ndots:5
Gleb
nssconf смотри
nsswitch нет в имадже
George
nsswitch нет в имадже
Ага, я от этого отхватил боли... Ибо дефолты говно
𝚔𝚟𝚊𝚙𝚜
а версия?
𝚔𝚟𝚊𝚙𝚜
https://github.com/golang/go/issues/21160
Gleb
🤔
Gleb
вообще конечно это может оьбъяснить, резолв типа уходит не туда
Gleb
с другой стороны мой резолв конф .local включает и azure vm внутренний домен
Andrei
@gorilych благодарю
Andrey
чёйта?
Andrey
а
Andrey
давно это было
𝚔𝚟𝚊𝚙𝚜
image: aksrepos.azurecr.io/mirror/coredns:1.2.6
нужно выяснить какая версия go там используется, т.к. она может содержать данный баг. Если проблема в размере пакета, конечно. В любом случае проблему эту не решит, т.к. они сказали что мы будем делать по RFC всё, то есть в го такие пакеты будут просто дропаться, даже несмотря на то что сишный клиент их переваривает без проблем. Нужно смотреть на ваш вышестоящий dns-сервер, чтобы делил пакеты больше 512 байт согласно RFC.
𝚔𝚟𝚊𝚙𝚜
у вас там wildcard прописан скорее всего, оттуда и айпишник
𝚔𝚟𝚊𝚙𝚜
в своё время я долго эту багу отлавливал :)
Gleb
10.56.0.10? это IP coredns сервиса
не, я про Name: kubernetes.default.asdad Address 1: 185.162.9.62 hosted-by.eurohoster.online
Gleb
я уже думаю пойти на ноду strace запустить, чтобы понять, кто виноват - busybox или coredns
Gleb
причем на busybox:latest в другом поде нет такого
Отделение Bereke Bank
Gleb
а на какой вайлдкард оно тогда улетает? мои серчдомены: infrastructure-monitoring.svc.cluster.local svc.cluster.local cluster.local fdp44wvg2u1uvm1wahddoiuwdg.ax.internal.cloudapp.net
Gleb
ndots можно попробовать, да, но все равно непонятно
Отделение Bereke Bank
Сообщение удалилось
Отделение Bereke Bank
Отделение Bereke Bank
не из пода а с ноды
Andrey
Привет. есть интересный вопрос. Есть под в кубернетесе, image: justwatch/elasticsearch_exporter@sha256:9b07116671dfa4eb292c487deee288994ae12f0dcb34f2d8b1669cb356de623d Он на busybox. Изнутри него nslookup резолвит все домены, кроме настоящих, на какой-то рандомный IP. /tmp $ nslookup kubernetes.default Server: 10.56.0.10 Address 1: 10.56.0.10 kube-dns.kube-system.svc.cluster.local Name: kubernetes.default Address 1: 10.56.0.1 kubernetes.default.svc.cluster.local /tmp $ nslookup kubernetes.default.asdad Server: 10.56.0.10 Address 1: 10.56.0.10 kube-dns.kube-system.svc.cluster.local Name: kubernetes.default.asdad Address 1: 185.162.9.62 hosted-by.eurohoster.onlin как бы это отдебажить? Я даже dig не могу глянуть, файловая система readonly Из других подов всё ок
у меня этот образ так не делает ~$ ctrun justwatch/elasticsearch_exporter@sha256:9b07116671dfa4eb292c487deee288994ae12f0dcb34f2d8b1669cb356de623d /bin/sh If you don't see a command prompt, try pressing enter. / # nslookup kubernetes.default Server: 10.96.0.10 Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local Name: kubernetes.default Address 1: 10.96.0.1 kubernetes.default.svc.cluster.local / # nslookup kubernetes.default.asdf Server: 10.96.0.10 Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local nslookup: can't resolve 'kubernetes.default.asdf'
Gleb
поделай nslookup kubernetes.default.asdad.подставляй_свои_серчи 10.56.0.10
:/ NXDOMAIN там везде azureuser@aks-nodepool1-31974015-8:~$ nslookup kubernetes.default.infrastructure-monitoring.svc.cluster.local.fdp44wvg2u1uvm1wahddoiuwdg.ax.internal.cloudapp.net 10.5.32.70 Server: 10.5.32.70 Address: 10.5.32.70#53 ** server can't find kubernetes.default.infrastructure-monitoring.svc.cluster.local.fdp44wvg2u1uvm1wahddoiuwdg.ax.internal.cloudapp.net: NXDOMAIN
Gleb
мож реально strace
Отделение Bereke Bank
видимо чтото с бизибокс образом
Gleb
хотя я там не увижу же
Отделение Bereke Bank
alpine 💩
Gleb
хз, в поде еще вот это есть: securityContext: capabilities: drop: - SETPCAP - MKNOD - AUDIT_WRITE - CHOWN - NET_RAW - DAC_OVERRIDE - FOWNER - FSETID - KILL - SETGID - SETUID - NET_BIND_SERVICE - SYS_CHROOT - SETFCAP readOnlyRootFilesystem: true
Gleb
но не понимаю как дроп капабилитей может повлиять на такую дичь
Отделение Bereke Bank
ХЗ, я вот стал лезть в capabilities не зная досконально что означает каждая 😂
Отделение Bereke Bank
а
𝚔𝚟𝚊𝚙𝚜
я уже думаю пойти на ноду strace запустить, чтобы понять, кто виноват - busybox или coredns
возьми tcpdump для начала и проверь размер ответов от вышестоящего dns
𝚔𝚟𝚊𝚙𝚜
ещё можешь попробовать запустить coredns с GODEBUG=netdns=cgo, чтобы использовать сишный резолвер
Gleb
Ага, точно
Gleb
я аот тут нагуглил еще вариант
Gleb
Right, so the problem is that if the domain that gets listed in the search line does wildcard matching, then because of the ndots:5, basically all hostnames will end up being treated as subdomains of the default domain. Eg, *.josbourne.com appears to resolve to a particular AWS hostname, so if you look up, say, github.com, it ends up matching as github.com.josbourne.com which resolves to the AWS IP.