Sn00part
шедулеры хуюлеры
NM
так разворачивал или нет?
Разворачивал разворачивал. Что не день то откровения. Ну пойми что kubeadm это просто панелька управления для инициализации и апргрейда - он дальше чем через API ничего не дергает - ну посмотри сам какой он жырный в плане импорта пакетов : https://github.com/kubernetes/kubeadm/blob/master/operator/controllers/operation_controller.go "github.com/go-logr/logr" "github.com/pkg/errors" apierrors "k8s.io/apimachinery/pkg/api/errors" "k8s.io/apimachinery/pkg/util/uuid" "k8s.io/client-go/tools/record" capierrors "sigs.k8s.io/cluster-api/errors" "sigs.k8s.io/cluster-api/util/patch" ctrl "sigs.k8s.io/controller-runtime" "sigs.k8s.io/controller-runtime/pkg/client" operatorv1 "k8s.io/kubeadm/operator/api/v1alpha1" operatorerrors "k8s.io/kubeadm/operator/errors" "k8s.io/kubeadm/operator/operations"
Andrey
инит бутстрапит контролплейн, а там апи, кубелеты, цни и прочее
нет же. cni ставиться отдельно, я выше ссылку на доку давал
Andrey
Ресет точно не помог?
да как же, помог. Я тут из спортивного интереса болтаю
Sn00part
cni это часть контролплейна, он также бутсрапится
NM
нет же. cni ставиться отдельно, я выше ссылку на доку давал
cni ставится отдельно ну хоть это плюс в понимании.
Sn00part
бахаха
Sn00part
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
Andrey
cni это часть контролплейна, он также бутсрапится
не через kubeadm https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network
Sn00part
да я нашел ога
Sn00part
но это не меняет сути, без cni и любого плагина - сеть работать не будет, хоть какие подцидры ты там будешь включать
Andrey
cni ставится отдельно ну хоть это плюс в понимании.
да я и говорю, что cni ещё не поставлен. Мне надо поменять cidr до установки
Andrey
надо было, точнее сказать
NM
но это не меняет сути, без cni и любого плагина - сеть работать не будет, хоть какие подцидры ты там будешь включать
есть исключение - старые weave ставили свои бинарники я помню года три назад они еще работали
Sn00part
Л-логика О-отсутствует (кубеадм)
Andrey
дебиан
NM
ага, а как ты ставишь или ставил там kubernetes ? 😉
Sn00part
так врубай флаг и любой цидр будет!
Sn00part
на экзамене пункт про kubeadm я пропустил, каюсь, есть другие способы ))
NM
Вот вытащил даже info из DEB пакета kubernetes-cni_0.7.5-00_amd64.deb - там простые бинарники и ставятся как отдельно так и вместе : new debian package, version 2.0. size 6473084 bytes: control archive=800 bytes. 299 bytes, 10 lines control 696 bytes, 13 lines md5sums Package: kubernetes-cni Version: 0.7.5-00 Architecture: amd64 Maintainer: Kubernetes Authors <kubernetes-dev@googlegroups.com> Installed-Size: 49002 Section: misc Priority: optional Homepage: https://kubernetes.io Description: Kubernetes CNI The binaries required to provision container networking
Andrey
короче, дабы уйти от двусмысленностей. kubeadm init при установке принимает такой параметр как --pod-network-cidr который использует для конфигурации kubelet на ноде через аргументы --allocate-node-cidrs=true --cluster-cidr=10.244.0.0/16 и конфиг kubelet. Эта хрень потом проникает в спек ноды как podCIDR и некоторые cni её используют. Это всё происходит при разворачивании кластера до установки cni. Я когда-то давным давно кластер поставил, с romana. Недавно кластер обновил до 1.16, с которым как оказалось, romana не работает. Поэтому и возникла задача поменять cni, ну и cidr для кластера (не для cni, а именно для кластера, тот самы, который при kubeadm init передаётся)
Andrey
т.е. не через deb
Solyar
Посоны есть тут кто-то кто HLF в кубере крутил?
Andrey
kubernetes-cni это не пакет с cni плагинами
NM
kubernetes-cni это не пакет с cni плагинами
конечно нет - это бинарники
Andrey
конечно нет - это бинарники
ну фланнел там нет
Andrey
вру
Andrey
:)
Andrey
хорошо, calico там нет :)
Sn00part
kubeadm контролплейн разворачивает онли короче. а сеть поверх сам потом обмазываешь!
NM
там ничего нет кроме бинарников а плагины могут добавлять свои как weave
Sn00part
сеть берет настройки контролплейна
NM
есть и flannel 😉 -rwxr-xr-x 1 root root 2856252 Mar 15 2019 flannel
Andrey
это не оно. С kubeadm cni ставится через манифесты и поды с hostNetwork=true
Andrey
я думаю, если /opt/cni грохнуть, то ничего не поломается
NM
Хм... почему то у меня он используется : 😉 flanneld 4201 31146 root cwd DIR 0,120 4096 25686 / flanneld 4201 31146 root rtd DIR 0,120 4096 25686 / flanneld 4201 31146 root txt REG 202,2 35249016 5211900 /opt/bin/flanneld
NM
я думаю, если /opt/cni грохнуть, то ничего не поломается
Не делай этого - посмотри лучше по lsof 😉
Andrey
у меня вот так: kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
NM
у тебя cni как ставился?
Два варианта - через deb пакеты идет в поставке штатно kubernetes-cni и через ansible тоже скачиваю его и ставлю до kubeadm/kubelet бинарников
Andrey
ну то есть у тебя локально на ноде сервис flannel
Andrey
а у меня daemonset
Sn00part
Ранчер надо вам попробвать и забить на это все навсегда -_-
NM
ну то есть у тебя локально на ноде сервис flannel
На нескольких. Вот например через ansible разливается : - name: clone CNI environment: http_proxy: http://1.1.1.1 https_proxy: http://1.1.1.1 git: repo: https://github.com/containernetworking/plugins dest: /root/src/github.com/containernetworking/plugins force: yes
NM
В твоей ситуации надо просто проверить что у тебя есть все deployment и replication controller прежде чем менять сеть и проверить на пустом pod-e 😉 не через kubeadm а ручками я бы рекомендовал сделать update сети в config map. Счас найду один кластер попробую
NM
Первое: kubectl edit cm kube-flannel-cfg -n kube-system
NM
Второе: ip link del cni0; sudo ip link del flannel.1
NM
Третье : kubectl delete pod --selector=app=flannel -n kube-system
NM
Четвертое: kubectl delete pod --selector=k8s-app=kube-dns -n kube-system
NM
Ну и все
NM
контроллеры пересоздали под-ы
NM
и никакого kubeadm
NM
office первый pod 1/1 Running 4 6d16h office второй pod 1/1 Running 5 5d18h office третий pod 1/1 Running 5 6d16h office четвертый pod 1/1 Running 5 6d16h office пятый pod 1/1 Running 2 10h
NM
C этого момента новые pod будут с новым адресами
NM
Выше я уже говорил что надо проверить что pod создается через deployments и controller replica - тогда все получится
Andrey
Выше я уже говорил что надо проверить что pod создается через deployments и controller replica - тогда все получится
я устал повторять. Мне надо (было) поменять podCidr который передаётся kubelet. А не тот, который передаётся flannel
Andrey
синдром чукча не читателя меня достал
Andrey
поменять ip у подов это плёвое дело. переконфигури cni, убил текущие поды им выдались новые ip
NM
Тогда через контроллер меняй так будет надежнее
NM
https://github.com/kubernetes/kube-controller-manager
Andrey
Тогда через контроллер меняй так будет надежнее
я не настолько эксперт в этом, чтоб туда лезть. Я уже передеплоил кластер, чтоб не мучатся
NM
получилось ?
Andrey
ну, пока не всё, надо обратно все сервисы поднять
Andrey
да и сеть пока толком не заработала, где-то что-то не так
Andrey
короче, почему-то перестали работать сервисы с nodeport
G72K
короче, почему-то перестали работать сервисы с nodeport
За nodePort отвечает kube-proxy, я б его логи глянул
Andrey
iptables рулы есть
Andrey
похоже вот https://github.com/kubernetes/kubernetes/issues/71305
G72K
А, новый дебиан?
Andrey
ага
Andrey
обновился на свою голову