Отделение Bereke Bank
Да и всем спасибо за советы 👍
George
1 поставь
Уверен ?
Отделение Bereke Bank
Уверен ?
У меня 1 и нет проблем
Dmitry
Да и всем спасибо за советы 👍
что в итоге порешал? Писать код, который будет по API запускать все сервисы в CI/CD? Или политику компании менять?
Отделение Bereke Bank
Пока ничего не порешал. Буду думать
Отделение Bereke Bank
Да блин это southbridge заразили идеей. Вот только у Селиванова был пример в сферическом вакууме 😐
Dmitry
У меня 1 и нет проблем
а вдруг у него сервисы между namespace'ами общаются?
George
Пока он не даст рабочее решение
Отделение Bereke Bank
Отделение Bereke Bank
У него там с helm было
George
Ты боишься хельма ?
Отделение Bereke Bank
Мне становится плохо от голанг темплейтов после прекрасной Jinja
Vadim
.ndots:1 ниче не меняет, у меня по фулнейму сервиса в инет также лезет
Dmitry
Мне становится плохо от голанг темплейтов после прекрасной Jinja
Да ладно, функции вместо выражений в ифах это весело. Lisp вспоминается, emacs, стеденчиеские годы, м...
Vadim
отредактировал /etc/resolv.conf и делаю tcptraceroute servicename.namespace.svc.cluster.local
George
Я тебе второй раз говорю
George
Покажи все имеющие отношение к делу конфиги
Vadim
какие конфиги?
George
Все места, которые нужно смотреть - были названы. Может коллеги могут вспомнить что-то еще
Отделение Bereke Bank
а вдруг у него сервисы между namespace'ами общаются?
servicename.namespace так же работает при 1
Vadim
nameserver 10.96.0.10 search default.svc.cluster.local svc.cluster.local cluster.local mydomain.ru options ndots:1
Vadim
2.
я с пода проверяю тестового с утилитами, там нет деплоймента, а в описании пода нет никаких параметров, значит default видимо
Отделение Bereke Bank
.ndots:1 ниче не меняет, у меня по фулнейму сервиса в инет также лезет
У меня была похожая проблема. В search значилось часть имени ноды. Допустим k8s.example.com И есть wildcard A-запись *.k8s.example.com В результате любой днс запрос возвращал результат этого вайлдкарда ndots 1 решило проблему
Vadim
"dnsPolicy": "ClusterFirst" да в описании пода
George
3.
Это ?
Vadim
если это в поде надо, то там нет nsswitch
Vadim
А можешь дать вывод этой проверки?
bash-5.0# tcptraceroute zookeeper-persistent.logging.svc.cluster.local Selected device eth0, address 10.244.163.34, port 45145 for outgoing packets Tracing the path to zookeeper-persistent.logging.svc.cluster.local (10.111.9.253) on TCP port 80 (http), 30 hops max 1 10.20.6.246 0.081 ms 0.064 ms 0.062 ms 2 10.20.0.1 0.231 ms 0.246 ms 0.210 ms 3 10.7.9.6 0.759 ms 0.499 ms 0.675 ms 4 m10-sw1-vlan300.msk.corbina.net (83.102.131.33) 4.906 ms 3.175 ms 2.813 ms 5 fiord.corbina.net (89.179.176.62) 2.187 ms 3.104 ms 1.819 ms 6 gw.corbina.net (89.179.176.61) 2.726 ms 2.712 ms 2.591 ms 7 85.21.224.194 5.149 ms 5.226 ms 7.063 ms 8 ko-crs-be17.corbina.net (195.14.54.176) 3.319 ms 3.590 ms 3.623 ms 9 mo-crs-be4.corbina.net (78.107.184.23) 3.530 ms 4.099 ms 3.342 ms 10 mo-bb-be1.corbina.net (195.14.54.84) 4.950 ms 3.801 ms 3.467 ms 11 10.219.2.186 4.474 ms 3.792 ms 3.766 ms 12 10.219.34.86 3.543 ms 3.614 ms 3.547 ms 13 * * * 14 * * *
Dmitry
10.111.9.253 - правильный ip службы?
Отделение Bereke Bank
Эмм
Dmitry
Почему мы решили что проблема вообще в DNS?
Отделение Bereke Bank
У тебя сеть подов случаем не конфликтует с другой?
Etki
как вообще пакет до адреса 10.х может путешествовать по публичной сетке
Etki
зачем вы сломали интернет
Отделение Bereke Bank
ip ro сделай на ноде
Vadim
ip ro сделай на ноде
default via 10.20.0.1 dev ens192 proto dhcp src 10.20.6.246 metric 100 10.20.0.0/19 dev ens192 proto kernel scope link src 10.20.6.246 10.20.0.1 dev ens192 proto dhcp scope link src 10.20.6.246 metric 100 blackhole 10.244.163.0/26 proto bird 10.244.163.24 dev cali71648e69928 scope link 10.244.163.28 dev calibedfd734945 scope link 10.244.163.31 dev calie4724222d4e scope link 10.244.163.32 dev cali12674deea60 scope link 10.244.163.33 dev calif988cfeb44f scope link 10.244.163.34 dev cali527b0801ecb scope link 10.244.179.64/26 via 10.20.5.193 dev tunl0 proto bird onlink 10.244.210.192/26 via 10.20.7.13 dev tunl0 proto bird onlink 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown
Vadim
не знаю, ip сервисов тож надо менять? подсеть при установке CNI только для подов и нод задается
Dmitry
обычно /24 подсети для подов. Все выглядит странно
Dmitry
10.244.0.0/16 создавал для CNI
Да, но cni обычно на каждую ноду делает по /24. Меня смутило 10.244.179.64/26 А сколько нод у тебя?
Vadim
но для сервисов IP же не меняется от того какую сеть в --pod-network-cidr выставляешь
Dmitry
сервис 10.111.9.253 , под 10.244.179.84
вот этот адрес пода зукипера твоего?
Vadim
вот этот адрес пода зукипера твоего?
да я написал ip сервиса и ип пода
Dmitry
да я написал ip сервиса и ип пода
а если с хоста traceroute (там где твой под для дебага) делать до 10.244.179.84 тоже самое?
Dmitry
а если с хоста traceroute (там где твой под для дебага) делать до 10.244.179.84 тоже самое?
Просто маршрут 10.244.179.64/26 via 10.20.5.193 dev tunl0 proto bird onlink по идее должен направить на 10.20.5.193, а он у тебя в default идет
George
если это в поде надо, то там нет nsswitch
Повторюсь, это может быть проблемой
Vadim
а если с хоста traceroute (там где твой под для дебага) делать до 10.244.179.84 тоже самое?
traceroute to 10.244.179.84 (10.244.179.84), 30 hops max, 60 byte packets 1 10.244.179.64 (10.244.179.64) 0.521 ms 0.454 ms 0.406 ms 2 10.244.179.84 (10.244.179.84) 0.382 ms 0.357 ms 0.322 ms
Vadim
но pod-network я ей взял фланелевский чтоб с локальной 192 не пересекаться
Vadim
traceroute to 10.244.179.84 (10.244.179.84), 30 hops max, 60 byte packets 1 10.244.179.84 (10.244.179.84) 0.373 ms 0.314 ms 0.294 ms
Dmitry
у тебя под с зукипером и под для дебага на одном хосте?
А нет, сори. 10.244.163.34 - твой под для дебага
Vadim
тот трейс с другой ноды был, вот трейс с той ноды где зукипер,
Dmitry
traceroute to 10.244.179.84 (10.244.179.84), 30 hops max, 60 byte packets 1 10.244.179.64 (10.244.179.64) 0.521 ms 0.454 ms 0.406 ms 2 10.244.179.84 (10.244.179.84) 0.382 ms 0.357 ms 0.322 ms
ну тогда ты эту трасировку сделал не от туда. Сделай с ноды, где под для дебага
Vadim
1 трейс с ноды с подом для дебагка traceroute to 10.244.179.84 (10.244.179.84), 30 hops max, 60 byte packets 1 10.244.179.64 (10.244.179.64) 0.483 ms 0.413 ms 0.395 ms 2 10.244.179.84 (10.244.179.84) 1.283 ms 1.264 ms 1.243 ms 2. трейс с ноды с самим zookeper raceroute to 10.244.179.84 (10.244.179.84), 30 hops max, 60 byte packets 1 10.244.179.84 (10.244.179.84) 0.373 ms 0.314 ms 0.294 ms
Vadim
raceroute to 10.111.9.253 (10.111.9.253), 30 hops max, 60 byte packets 1 _gateway (10.20.0.1) 0.386 ms 0.348 ms 0.328 ms 2 srx240.diasoft.ru (10.7.9.6) 1.653 ms 1.638 ms 0.884 ms 3 m10-sw1-vlan300.msk.corbina.net (83.102.131.33) 4.056 ms 4.027 ms 4.009 ms 4 fiord.corbina.net (89.179.176.62) 3.892 ms 2.468 ms 3.789 ms 5 gw.corbina.net (89.179.176.61) 3.911 ms 3.879 ms 3.871 ms 6 85.21.224.194 (85.21.224.194) 8.490 ms^C
Vadim
с хоста ИП сервиса не должен трассироваться сразу?
Отделение Bereke Bank
падажжи. у тебя же трейс до 10.111.9.253 в гаргантюа улетал сделай iptables-save | grep '10.111.9.253'
Vadim
или должен
Vadim
падажжи. у тебя же трейс до 10.111.9.253 в гаргантюа улетал сделай iptables-save | grep '10.111.9.253'
-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:client cluster IP" -m tcp --dport 2181 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:client cluster IP" -m tcp --dport 2181 -j KUBE-SVC-6OQCBSX65URXPR2W -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:election cluster IP" -m tcp --dport 3888 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:election cluster IP" -m tcp --dport 3888 -j KUBE-SVC-NOX7SLAAZVDZUJ2U -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:follower cluster IP" -m tcp --dport 2888 -j KUBE-MARK-MASQ -A KUBE-SERVICES -d 10.111.9.253/32 -p tcp -m comment --comment "logging/zookeeper-persistent:follower cluster IP" -m tcp --dport 2888 -j KUBE-SVC-Y6EOT7O7X5DELT7H
Vadim
с ноды