А где он? В калико не нашел
В calico-node смотрите сначала по ps axf должен быть bird и у него логи в /var/logs гдето
G72K
G72K
Кстати calico-node отличный контрпример всем борцам за "один докер контейнер - один процесс" :)
G72K
Ну мы можем проблему перед нами решать или рассуждать что же могло пойти не так. Логи bird ищите
G72K
И ещё я б проверил что calico-node под вот точно 100% запущен с host network
A
Ну мы можем проблему перед нами решать или рассуждать что же могло пойти не так. Логи bird ищите
Это смешно, но не нашел не по одному известному пути, var/log, lib/log, tmp/log
A
И ещё я б проверил что calico-node под вот точно 100% запущен с host network
Это конфиг посмотреть?
Aleksey
Господа, кто-нибудь может сказать что-то хорошее или плохое относительно таких компонентов. Планируются использоваться сервисы которые будут использовать как ClusterIP, так и HostNetrowk:
cilium + istio + metallb
A
И ещё я б проверил что calico-node под вот точно 100% запущен с host network
В конфиге ipam.type=host-local
Denis
В конфиге ipam.type=host-local
А спецификации, т.е в yaml файле, который ты грузил через kubectl apply
A
А спецификации, т.е в yaml файле, который ты грузил через kubectl apply
Там такой же конфиг, они же синхронятся...
A
Ничего руками не трогал, все как было
Denis
Вам бы правилам хорошего поучится общения в сообщевстве. И вообще слушать хоть немного что Вам пишут и советуют.
A
Вам бы правилам хорошего поучится общения в сообщевстве. И вообще слушать хоть немного что Вам пишут и советуют.
Что не так делаю? Как я вас оскорбил?
Denis
Я вопрос задал между прочим выше.
Denis
Это имеет значение?
Andrey
ребята не ссорьтесь
A
Это имеет значение?
Это не грубость, а поинтересовался что как это относится к cni... Только и всего
A
Какой такойже? кто синхронится? манифесты для k8s?
Там есть в конфигмап этот же конфиг, который лежит в cni.d
Denis
Denis
Вообщем проверьте мнифест k8s на корретность, и логи bird
Denis
Это не грубость, а поинтересовался что как это относится к cni... Только и всего
А я ответил что мне интересно. Вообщем сами разбирайтесь со своей проблемой)
Aleksey
Denis
Товарищи, подскажите плез, что это за дашборд на скрине ?
Denis
A
Kubernetes-dasboard
Denis
спс)Я не знал что в нем есть такая инфа
A
@rossmohax Нет логов бёрда - /var/log/calico/bird
A
Обыскал внутри пода, ничего не нашел
Mikhail
Берд пишет логи на ноде в сислог
A
G72K
Что в bird.cfg
A
Что в bird.cfg
# Generated by confd
include "bird_aggr.cfg";
include "bird_ipam.cfg";
router id 10.244.0.1;
# Configure synchronization between routing tables and kernel.
protocol kernel {
learn; # Learn all alien routes from the kernel
persist; # Don't remove routes on bird shutdown
scan time 2; # Scan kernel routing table every 2 seconds
import all;
export filter calico_ipip; # Default is export none
graceful restart; # Turn on graceful restart to reduce potential flaps in
# routes when reloading BIRD configuration. With a full
# automatic mesh, there is no way to prevent BGP from
# flapping since multiple nodes update their BGP
# configuration at the same time, GR is not guaranteed to
# work correctly in this scenario.
}
# Watch interface up/down events.
protocol device {
debug { states };
scan time 2; # Scan interfaces every 2 seconds
}
protocol direct {
debug { states };
interface -"cali*", ""; # Exclude cali but include everything else.
}
# Template for all BGP clients
template bgp bgp_template {
debug { states };
description "Connection to BGP peer";
local as 64512;
multihop;
gateway recursive; # This should be the default, but just in case.
import all; # Import all routes, since we don't know what the upstream
# topology is and therefore have to trust the ToR/RR.
export filter calico_pools; # Only want to export routes for workloads.
source address 10.244.0.1; # The local address we use for the TCP connection
add paths on;
graceful restart; # See comment in kernel section about graceful restart.
}
# ------------- Node-to-node mesh -------------
# For peer /host/dev1/ip_addr_v4
protocol bgp Mesh_10_244_1_1 from bgp_template {
neighbor 10.244.1.1 as 64512;
}
# For peer /host/dev2/ip_addr_v4
# Skipping ourselves (10.244.0.1)
# For peer /host/dev3/ip_addr_v4
protocol bgp Mesh_10_244_2_1 from bgp_template {
neighbor 10.244.2.1 as 64512;
}
# ------------- Global peers -------------
# No global peers configured.
# ------------- Node-specific peers -------------
# No node-specific peers configured.
G72K
Какая сеть на нодах? (вывод ip a)
Rainbow
проще уже попросить свой ключ добавить на сервы
G72K
Я наушники забыл , кубкон видео все равно смотреть не могу пока еду :)
Sergey
https://github.com/kelseyhightower/kubernetes-the-hard-way
под baremetal сгодится или надо гцп иметь?
A
Какая сеть на нодах? (вывод ip a)
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000
link/ether 00:50:56:88:57:8b brd ff:ff:ff:ff:ff:ff
inet 10.86.53.55/24 brd 10.86.53.255 scope global noprefixroute ens32
valid_lft forever preferred_lft forever
inet6 fe80::250:56ff:fe88:578b/64 scope link
valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default
link/ether 02:42:a4:81:de:fd brd ff:ff:ff:ff:ff:ff
inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
valid_lft forever preferred_lft forever
inet6 fe80::42:a4ff:fe81:defd/64 scope link
valid_lft forever preferred_lft forever
4: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1440 qdisc noqueue state UNKNOWN group default qlen 1000
link/ipip 0.0.0.0 brd 0.0.0.0
inet 10.244.0.1/32 brd 10.244.0.1 scope global tunl0
valid_lft forever preferred_lft forever
18: flannel.1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default
link/ether 66:c5:cf:c8:05:0d brd ff:ff:ff:ff:ff:ff
inet 10.244.0.0/32 scope global flannel.1
valid_lft forever preferred_lft forever
inet6 fe80::64c5:cfff:fec8:50d/64 scope link
valid_lft forever preferred_lft forever
39: cni0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default qlen 1000
link/ether 0a:58:0a:f4:00:01 brd ff:ff:ff:ff:ff:ff
inet 10.244.0.1/24 scope global cni0
valid_lft forever preferred_lft forever
inet6 fe80::c4e7:9cff:fea1:b35c/64 scope link
valid_lft forever preferred_lft forever
41: vethcede117f@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether f6:4f:4d:61:18:ff brd ff:ff:ff:ff:ff:ff link-netnsid 1
inet6 fe80::f44f:4dff:fe61:18ff/64 scope link
valid_lft forever preferred_lft forever
43: vethe5af8a20@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether e6:69:36:12:f0:2c brd ff:ff:ff:ff:ff:ff link-netnsid 3
inet6 fe80::e469:36ff:fe12:f02c/64 scope link
valid_lft forever preferred_lft forever
47: vetha7d3e80d@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether d2:71:e6:07:54:c2 brd ff:ff:ff:ff:ff:ff link-netnsid 7
inet6 fe80::d071:e6ff:fe07:54c2/64 scope link
valid_lft forever preferred_lft forever
48: veth1497e48e@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether 72:a7:86:ff:ed:ba brd ff:ff:ff:ff:ff:ff link-netnsid 8
inet6 fe80::70a7:86ff:feff:edba/64 scope link
valid_lft forever preferred_lft forever
55: vethf9e9e905@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether 92:e7:22:90:b4:bb brd ff:ff:ff:ff:ff:ff link-netnsid 5
inet6 fe80::90e7:22ff:fe90:b4bb/64 scope link
valid_lft forever preferred_lft forever
56: veth6083ccf7@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue master cni0 state UP group default
link/ether fe:66:57:31:37:c0 brd ff:ff:ff:ff:ff:ff link-netnsid 4
inet6 fe80::fc66:57ff:fe31:37c0/64 scope link
valid_lft forever preferred_lft forever
58: cali6271107032a@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 2
inet6 fe80::ecee:eeff:feee:eeee/64 scope link
valid_lft forever preferred_lft forever
59: cali3b2054f8411@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 6
A
Какая сеть на нодах? (вывод ip a)
inet6 fe80::ecee:eeff:feee:eeee/64 scope link
valid_lft forever preferred_lft forever
62: calib19b3c288d6@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1440 qdisc noqueue state UP group default
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet6 fe80::ecee:eeff:feee:eeee/64 scope link
valid_lft forever preferred_lft forever
G72K
Чего то у вас намешано всякого
Anonymous
Error creating: pods "tiller-deploy-7cdf989b4-" is forbidden: error looking up service account kube-system/tiller-deploy: serviceaccount "tiller-deploy" not found
блин я похоже перезаписал service-account в тиллере
как мне узнать какой service account должен быть?
A
Чего то у вас намешано всякого
( возможно, может как то можно все почистить в ноль и заново поставить калико? Только как без следов почистить
G72K
( возможно, может как то можно все почистить в ноль и заново поставить калико? Только как без следов почистить
У вас сеть на ноде 10.86.53.55/24 в bird.cfg должны быть ИП адреса из этой сети а у вас из какой то оверлейной. Что калико думает про ноду (kubectl get nodename -o yaml) (интересует spec.podCIDR и аннотации в metadata.annotations)
Denis
https://github.com/kelseyhightower/kubernetes-the-hard-way
под baremetal сгодится или надо гцп иметь?
сгодится. Я пробовал этот мануал подгонять под инстансы, нарезанные в среде kvm. Все ок
cent
Подскажите, как можно из дашборда вытянуть настройкм для kubectl?
A
У вас остатки flannel , вы точно ноду перезагружали после того как на calico откатились?
Как правильно надо было?
G72K
Ребутайтесь прям сейчас :)
A
Давайте попробую, и фланел должен убраться? Кто это сделает?
A
Перегружают это несколько минут
G72K
Ну вы потратили несколько часов уже, так что можно и перезагрузиться
G72K
Это сделает "никто", просто после перезагрузки контейнеры поднимутся и сеть для них будет без фланнел конфига
G72K
У calico-node есть автодетектор ИП адреса ноды, вот он сума сошел и взял ИП с фланнеловского интерфейса , вместо ens32
Andrey
У calico-node есть автодетектор ИП адреса ноды, вот он сума сошел и взял ИП с фланнеловского интерфейса , вместо ens32
К слову, у него есть переменная окружения, где можно задать шаблон для имен интерфейсов, на которые надо глядеть
A
К слову, у него есть переменная окружения, где можно задать шаблон для имен интерфейсов, на которые надо глядеть
Посмотрю, сейчас после перезагрузки что изменится
Andrey
Марлезонский балет, господи прости
G72K
Да ладно
cent
Одной же curl командой это можно как-то забрать?
A
У calico-node есть автодетектор ИП адреса ноды, вот он сума сошел и взял ИП с фланнеловского интерфейса , вместо ens32
Изменилась ошибка, стал ип перегруженной ноды фигурировать в ошибке пробы. Получается это надо каждую еду так перегрузить?
A
Можно как-то без перезагрузки интерфейсы сбросить фланела?
G72K
После перезагрузки в "ip a" больше нет flannel и veth? В bird.cfg router id ноды?
G72K
Можно как-то без перезагрузки интерфейсы сбросить фланела?
Красиво - нет, kubelet не сохраняет cni конфиг и бинарники для контейнеров, которые запускает. Это значит что если cni конфиг сменился пока контейнеры были запущены - погасить он их не сможет
G72K
В целом можно хирургически их вырезать , но проще перезагрузить ноду
Andrey
Красиво - нет, kubelet не сохраняет cni конфиг и бинарники для контейнеров, которые запускает. Это значит что если cni конфиг сменился пока контейнеры были запущены - погасить он их не сможет
Я думаю, ему будет достаточно убить интерфейсы фланнеля через ip link delete и рестартнуть kubelet, не?
Rainbow
kubectl delete pod $(kubetl get pod | awk '{print $1}')
?
Rainbow
а, или kubectl delete pod работает так же как kubectl get pod на все?