NM
докер можно использовать как cri или только на containerd?
ну в 7ке можно все а вот в 8ке лучше CRI
Nik
Failed to get system container stats for "/system.slice/docker.service": failed to get cgroup stats for "/system.slice/docker.service": failed to get container info for "/system.slice/docker.service": unknown container "/system.slice/docker.service"
NM
Хм, а rancher на k3s работает? Кто то пробовал?
хотя тут и 1000 узлов: https://youtu.be/WYPd7i15XOg
Nik
--runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice в /etc/sysconfig/kubelet
https://github.com/kontena/pharos-cluster/issues/440#issuecomment-399014418
Nik
вот тут говорят что это не корректно
Nik
или они не очень правы
Nik
(или я их не правильно понял)
NM
они правы для 1.14 и выше кубера.
NM
он откуда - ce или io ?
Nik
он откуда - ce или io ?
кубер? с офф рпм репо кубера
NM
ага, эти траблы только в centos в ubuntu/debian я не ловил. поэтому конфигури в 2 местах /etc/kubelet + /usr/lib/kubelet
NM
но мой совет - лучше перевести на CRI все - тогда переход с 7 на 8 потом будет безболезненный, если ты сам конечно под себя kubelet не собираешь
Nik
но мой совет - лучше перевести на CRI все - тогда переход с 7 на 8 потом будет безболезненный, если ты сам конечно под себя kubelet не собираешь
а переход на крио исключает эти все проблемы? и можно ли переключать по одной ноде меняя конфиг и ребутая кубелет на ноде?
NM
конечно, это же низкоуровневые вещи для кубернета
Solyar
Не после зоопарка с подключением полисей калико а после миграции
Anonymous
что если k8s это просто локальный хаеп какого-то манагера для продвижения по карьере? 🤔
Solyar
Некакого хайпа
Anonymous
go это тоже локальный хайп для продвижения
Lucky SB
Не после зоопарка с подключением полисей калико а после миграции
понятия не имею про какой ты зоопарк и что делает миграция. я делал по первой ссылке, где надо один манифест применить.
Lucky SB
и потом новым подам стало выдавать уже занятые адреса
Vladimir K
Господа, а есть ли какой бест практис по раздаче прав доступа к кластеру девам (кластер свой на baremetal)? SA+rolebindings, или есть варианты проще/надежнее?
George
По неймспейсам - не ?
Lucky SB
Ребут кластера помог?
нет. убил старые поды, чтобы им калико адреса выдал
Lucky SB
потом оказалось, что кое-где в иптеблес остались правила от фланеля.
Lucky SB
можно было iptables restart на узлах сделать
Lucky SB
но я ребутнул
Vladimir K
По неймспейсам - не ?
Да, по неймспейсам, мне больше интересна сама механика. Типа, на каждого разработчика создавать SA, и всем им давать уже доступы rolebinding'ами?
George
Актив директори
George
Чтоб прльзаков не заводить, а по группам синхронизировать
Vladimir K
Актив директори
Надо поглядеть Спасибо!
Alex
Подскажите, каким образом добавить ограничение для подов с приложением один под на одну ноду?
Anonymous
не работает pv pvc app/prometheus - name: storage-volume persistentVolumeClaim: claimName: prometheus-prometheus-serverссылается на pvc "prometheus-prometheus-server" apiVersion: v1 kind: PersistentVolumeClaim metadata: creationTimestamp: "2019-10-15T14:01:36Z" finalizers: - kubernetes.io/pvc-protection labels: app: prometheus chart: prometheus-6.7.3 component: server heritage: Tiller release: prometheus name: prometheus-prometheus-server namespace: gitlab-managed-apps resourceVersion: "3079529" selfLink: /api/v1/namespaces/gitlab-managed-apps/persistentvolumeclaims/prometheus-prometheus-server uid: 07a28ec8-3da1-43f9-bade-2c7f2a7a4d11 spec: accessModes: - ReadWriteOnce resources: requests: storage: 8Gi volumeMode: Filesystemкоторый ссылаается на pv volumeMode: Filesystem создаю PV --- apiVersion: v1 kind: PersistentVolume metadata: name: storage-volume labels: type: local spec: volumeMode: Filesystem storageClassName: manual accessModes: - ReadWriteMany hostPath: path: "/storage/prometheus/data" capacity: storage: 30Giв PVC получаю ошибку: no persistent volumes available for this claim and no storage class is set
Alex
Сенькс, буду смотреть
Solyar
/report
Solyar
Не работает
Dmitry
В телеге штатный репорт есть 🤔
Lucky SB
@dabster2 Вот тебе кусочек из моей лекции на Slurm.io sc kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer создаешь pv скоко надо apiVersion: v1 kind: PersistentVolume metadata: name: node1-pv1 spec: capacity: storage: 5Gi # volumeMode field requires BlockVolume Alpha feature gate to be enabled. volumeMode: Filesystem accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /local/pv1 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - node-1.m000.slurm.io pvc для подключения apiVersion: v1 kind: PersistentVolumeClaim metadata: name: pvc1 spec: accessModes: - ReadWriteOnce storageClassName: local-storage resources: requests: storage: 1Gi Каталоги на узлах создавать руками. поды будут привязаны к узлам где том.
Lucky SB
👍
а hostpath никогда не используй. оставь его системным штукам типа мониторинга.
Anonymous
а есть пример дефолтного сторадж класса
Lucky SB
а есть пример дефолтного сторадж класса
в манифест sc добавляешь аннотацию kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"
Anonymous
супер спасибо
Lucky SB
и он становится дефолтным
Nik
а как перегнать живой 1.15 кластер на CRI (containerd)?
George
George
Хм
Nik
Именно каждую ноду отдельно ?
ну тут я могу позволить все погасить на докере и поднять на контейнерд
Nik
но хочется отработать переход по одной
Nik
(это дев кластер, ребятки работают, не хочу их без работы оставить)
Nik
я пока эвиктнул все поды с одной ноды, поставил контейнерд и прокинул параметры в кубелет Environment="KUBELET_EXTRA_ARGS=--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock"
Lucky SB
параллельно докер и CRI кри на одной машине запустить ?
Nik
но он все равно на старте докер захотел
Lucky SB
а чего в логах ? ;) у него еще параметры в /var/lib/kubelet могут быть ...
Nik
а чего в логах ? ;) у него еще параметры в /var/lib/kubelet могут быть ...
server.go:273] failed to run Kubelet: failed to create kubelet: failed to get docker version: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
Nik
ну вот. значит твои параметры до кублета не прокинулись
судя по юнитфайлу пришли sudo systemctl cat kubelet # /usr/lib/systemd/system/kubelet.service [Unit] Description=kubelet: The Kubernetes Node Agent Documentation=https://kubernetes.io/docs/ [Service] ExecStart=/usr/bin/kubelet Restart=always StartLimitInterval=0 RestartSec=10 [Install] WantedBy=multi-user.target # /usr/lib/systemd/system/kubelet.service.d/0-containerd.conf [Service] Environment="KUBELET_EXTRA_ARGS=--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock" # /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf # Note: This dropin only works with kubeadm and kubelet v1.11+ [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml" # This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env # This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file. EnvironmentFile=-/etc/sysconfig/kubelet ExecStart=
Vadim
Зачем га CRI переезжать?
Nik
судя по всему в моей операционке в следующей версии не будет докера
Lucky SB
судя по юнитфайлу пришли sudo systemctl cat kubelet # /usr/lib/systemd/system/kubelet.service [Unit] Description=kubelet: The Kubernetes Node Agent Documentation=https://kubernetes.io/docs/ [Service] ExecStart=/usr/bin/kubelet Restart=always StartLimitInterval=0 RestartSec=10 [Install] WantedBy=multi-user.target # /usr/lib/systemd/system/kubelet.service.d/0-containerd.conf [Service] Environment="KUBELET_EXTRA_ARGS=--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock" # /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf # Note: This dropin only works with kubeadm and kubelet v1.11+ [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml" # This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env # This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use # the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file. EnvironmentFile=-/etc/sysconfig/kubelet ExecStart=
ну ты чо такой упертый ) с кублетом споришь.... чего у тебя в файлах EnvironmentFile=-/etc/sysconfig/kubelet EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env может там переопределяется KUBELET_EXTRA_ARGS
Nik
вот как раз только что увидел что да
Nik
(стыдно)
Alex Sharov
господа, а кто-нибудь вкатывал чисто графану на гке? Мне нужно снять метрики и не хочется особо сильно что-то поднимать, а судя по контейнерам прометей в gke уже стоит.
Nik
но сама нода поднялась, кубер ей поверил и попытался зашедулить на нее нагрузку
Nik
Oct 16 18:53:43 worker06 kubelet: E1016 18:53:43.592473 39983 remote_runtime.go:105] RunPodSandbox from runtime service failed: rpc error: code = Unknown desc = failed to setup network for sandbox "37877849f95412a5969cf9e554f148f441bde13758a110e594fce9568330b4bf": error getting ClusterInformation: Get https://[10.96.0.1]:443/apis/crd.projectcalico.org/v1/clusterinformations/default: Service Unavailable