Sn00part
шедулеры хуюлеры
G72K
NM
так разворачивал или нет?
Разворачивал разворачивал. Что не день то откровения. Ну пойми что kubeadm это просто панелька управления для инициализации и апргрейда - он дальше чем через API ничего не дергает - ну посмотри сам какой он жырный в плане импорта пакетов : https://github.com/kubernetes/kubeadm/blob/master/operator/controllers/operation_controller.go
"github.com/go-logr/logr"
"github.com/pkg/errors"
apierrors "k8s.io/apimachinery/pkg/api/errors"
"k8s.io/apimachinery/pkg/util/uuid"
"k8s.io/client-go/tools/record"
capierrors "sigs.k8s.io/cluster-api/errors"
"sigs.k8s.io/cluster-api/util/patch"
ctrl "sigs.k8s.io/controller-runtime"
"sigs.k8s.io/controller-runtime/pkg/client"
operatorv1 "k8s.io/kubeadm/operator/api/v1alpha1"
operatorerrors "k8s.io/kubeadm/operator/errors"
"k8s.io/kubeadm/operator/operations"
Andrey
Sn00part
cni это часть контролплейна, он также бутсрапится
NM
Sn00part
бахаха
Sn00part
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init/
Sn00part
да я нашел ога
Sn00part
но это не меняет сути, без cni и любого плагина - сеть работать не будет, хоть какие подцидры ты там будешь включать
Andrey
надо было, точнее сказать
Andrey
NM
Sn00part
Л-логика О-отсутствует (кубеадм)
NM
Andrey
дебиан
NM
ага, а как ты ставишь или ставил там kubernetes ? 😉
Sn00part
так врубай флаг и любой цидр будет!
Sn00part
на экзамене пункт про kubeadm я пропустил, каюсь, есть другие способы ))
NM
Вот вытащил даже info из DEB пакета kubernetes-cni_0.7.5-00_amd64.deb - там простые бинарники и ставятся как отдельно так и вместе :
new debian package, version 2.0.
size 6473084 bytes: control archive=800 bytes.
299 bytes, 10 lines control
696 bytes, 13 lines md5sums
Package: kubernetes-cni
Version: 0.7.5-00
Architecture: amd64
Maintainer: Kubernetes Authors <kubernetes-dev@googlegroups.com>
Installed-Size: 49002
Section: misc
Priority: optional
Homepage: https://kubernetes.io
Description: Kubernetes CNI
The binaries required to provision container networking
Andrey
короче, дабы уйти от двусмысленностей. kubeadm init при установке принимает такой параметр как --pod-network-cidr который использует для конфигурации kubelet на ноде через аргументы --allocate-node-cidrs=true --cluster-cidr=10.244.0.0/16 и конфиг kubelet. Эта хрень потом проникает в спек ноды как podCIDR и некоторые cni её используют. Это всё происходит при разворачивании кластера до установки cni. Я когда-то давным давно кластер поставил, с romana. Недавно кластер обновил до 1.16, с которым как оказалось, romana не работает. Поэтому и возникла задача поменять cni, ну и cidr для кластера (не для cni, а именно для кластера, тот самы, который при kubeadm init передаётся)
Andrey
Andrey
т.е. не через deb
Solyar
Посоны есть тут кто-то кто HLF в кубере крутил?
Andrey
kubernetes-cni это не пакет с cni плагинами
NM
NM
Andrey
Andrey
вру
Andrey
:)
Andrey
хорошо, calico там нет :)
Sn00part
kubeadm контролплейн разворачивает онли короче.
а сеть поверх сам потом обмазываешь!
NM
там ничего нет кроме бинарников а плагины могут добавлять свои как weave
Sn00part
сеть берет настройки контролплейна
NM
есть и flannel 😉 -rwxr-xr-x 1 root root 2856252 Mar 15 2019 flannel
Andrey
Andrey
это не оно. С kubeadm cni ставится через манифесты и поды с hostNetwork=true
Andrey
я думаю, если /opt/cni грохнуть, то ничего не поломается
NM
Хм... почему то у меня он используется : 😉
flanneld 4201 31146 root cwd DIR 0,120 4096 25686 /
flanneld 4201 31146 root rtd DIR 0,120 4096 25686 /
flanneld 4201 31146 root txt REG 202,2 35249016 5211900 /opt/bin/flanneld
NM
Andrey
Andrey
у меня вот так: kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
NM
у тебя cni как ставился?
Два варианта - через deb пакеты идет в поставке штатно kubernetes-cni и через ansible тоже скачиваю его и ставлю до kubeadm/kubelet бинарников
Andrey
ну то есть у тебя локально на ноде сервис flannel
Andrey
а у меня daemonset
Sn00part
Ранчер надо вам попробвать и забить на это все навсегда -_-
NM
ну то есть у тебя локально на ноде сервис flannel
На нескольких. Вот например через ansible разливается :
- name: clone CNI
environment:
http_proxy: http://1.1.1.1
https_proxy: http://1.1.1.1
git:
repo: https://github.com/containernetworking/plugins
dest: /root/src/github.com/containernetworking/plugins
force: yes
NM
Andrey
NM
В твоей ситуации надо просто проверить что у тебя есть все deployment и replication controller прежде чем менять сеть и проверить на пустом pod-e 😉 не через kubeadm а ручками я бы рекомендовал сделать update сети в config map. Счас найду один кластер попробую
NM
Первое: kubectl edit cm kube-flannel-cfg -n kube-system
NM
Второе: ip link del cni0; sudo ip link del flannel.1
NM
Третье : kubectl delete pod --selector=app=flannel -n kube-system
NM
Четвертое: kubectl delete pod --selector=k8s-app=kube-dns -n kube-system
NM
Ну и все
NM
контроллеры пересоздали под-ы
NM
и никакого kubeadm
NM
office первый pod 1/1 Running 4 6d16h
office второй pod 1/1 Running 5 5d18h
office третий pod 1/1 Running 5 6d16h
office четвертый pod 1/1 Running 5 6d16h
office пятый pod 1/1 Running 2 10h
NM
C этого момента новые pod будут с новым адресами
NM
Выше я уже говорил что надо проверить что pod создается через deployments и controller replica - тогда все получится
Andrey
синдром чукча не читателя меня достал
Andrey
поменять ip у подов это плёвое дело. переконфигури cni, убил текущие поды им выдались новые ip
NM
Тогда через контроллер меняй так будет надежнее
NM
https://github.com/kubernetes/kube-controller-manager
NM
получилось ?
Andrey
ну, пока не всё, надо обратно все сервисы поднять
Andrey
да и сеть пока толком не заработала, где-то что-то не так
Andrey
короче, почему-то перестали работать сервисы с nodeport
G72K
Andrey
Andrey
iptables рулы есть
Andrey
похоже вот https://github.com/kubernetes/kubernetes/issues/71305
G72K
А, новый дебиан?
Andrey
ага
Andrey
обновился на свою голову