W0426 14:32:38.985320 4461 raw.go:87] Error while processing event ("/sys/fs/cgroup/memory/libcontainer_23074_systemd_test_default.slice": 0x40000100 == IN_CREATE|IN_ISDIR)

куча такого есть

4461 pod_workers.go:190] Error syncing pod 2bab9544-6810-11e9-8058-0050568458c3

такие еще

W0426 14:32:38.985320 4461 raw.go:87] Error while processing event ("/sys/fs/cgroup/memory/libcontainer_23074_systemd_test_default.slice": 0x40000100 == IN_CREATE|IN_ISDIR)

Что describe node говорит?

W0426 14:32:38.985320 4461 raw.go:87] Error while processing event ("/sys/fs/cgroup/memory/libcontainer_23074_systemd_test_default.slice": 0x40000100 == IN_CREATE|IN_ISDIR)

Что в полях Conditions и Events ?

на одной из нод у меня System OOM encountered (x21 over 55m), но на других 3х где его нет к ним тоже не подключается

на других трех эвентов нет, а кондишн такой Conditions: Type Status LastHeartbeatTime LastTransitionTime Reason Message ---- ------ ----------------- ------------------ ------ ------- MemoryPressure False Fri, 26 Apr 2019 14:50:07 +0300 Fri, 26 Apr 2019 13:42:06 +0300 KubeletHasSufficientMemory kubelet has sufficient memory available DiskPressure False Fri, 26 Apr 2019 14:50:07 +0300 Fri, 26 Apr 2019 13:42:06 +0300 KubeletHasNoDiskPressure kubelet has no disk pressure PIDPressure False Fri, 26 Apr 2019 14:50:07 +0300 Fri, 26 Apr 2019 13:42:06 +0300 KubeletHasSufficientPID kubelet has sufficient PID available Ready True Fri, 26 Apr 2019 14:50:07 +0300 Fri, 26 Apr 2019 13:44:17 +0300 KubeletReady kubelet is posting ready status

ито после OOM с той ноды поды уже перенес на другие, теперь там памяти хватает

привет возник такой вопросец: а как юзать helm правильно для бесшовных релизов? если делитить все - то тогда нифига не бесшовно, а если просто апгрейдить релиз то тогда возможности ролбека лишаешься

привет! может кто знает, есть какой-то способ примаунтить конфигмапу в под для read-write?

на одной из нод у меня System OOM encountered (x21 over 55m), но на других 3х где его нет к ним тоже не подключается

Что-то мне не верится что так все просто. kubectl get cs что показывает?

привет! может кто знает, есть какой-то способ примаунтить конфигмапу в под для read-write?

Нельзя

Что-то мне не верится что так все просто. kubectl get cs что показывает?

AME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health": "true"}

Сам дико такое хочу, но нельзя

блин. может на костыли какие натыкался?

пытаюсь это с emptyDir обойти, но что-то не очень получается

На данный момент костыль только один придумал. Выполнять из джобы, которая должна конфигмап записать, kubectl, который и будет писать конфигмап

Но мне надо один раз при запуске чарта только его писать, поэтому тут немного проще (хоть всё равно rw на cm было бы сильно проще)

AME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health": "true"}

А kubectl get nodes как понимаю показывает что все ноды Ready?

ага

я ноды рестартовал shutdown -r now тупо) может это как-то повлияло еще

Но мне надо один раз при запуске чарта только его писать, поэтому тут немного проще (хоть всё равно rw на cm было бы сильно проще)

понял, спасибо! видать всё таки придется городить обертку на баше, которая будет двигать файлы из конфигмапы по контейнеру😢

Сколько реплик?

Один под только, реплик нет

блин. может на костыли какие натыкался?

https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-configmap/#mounted-configmaps-are-updated-automatically Как я понимаю kubelet будет синхронизировать configmap постоянно. Есть конечно вариант: Note: A container using a ConfigMap as a subPath volume will not receive ConfigMap updates.

https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-configmap/#mounted-configmaps-are-updated-automatically Как я понимаю kubelet будет синхронизировать configmap постоянно. Есть конечно вариант: Note: A container using a ConfigMap as a subPath volume will not receive ConfigMap updates.

Надо изнутри пода, к которому примаунчено, изменять

https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-configmap/#mounted-configmaps-are-updated-automatically Как я понимаю kubelet будет синхронизировать configmap постоянно. Есть конечно вариант: Note: A container using a ConfigMap as a subPath volume will not receive ConfigMap updates.

это не совсем то, что мне нужно. мне нужно иметь возможность пропихнуть набор конфигов из конфигмапы (и, соответственно, обновлять это конфигмапу) + добавлять/изменять конфиги внутри контейнера

это не совсем то, что мне нужно. мне нужно иметь возможность пропихнуть набор конфигов из конфигмапы (и, соответственно, обновлять это конфигмапу) + добавлять/изменять конфиги внутри контейнера

х.з Вот примерное решение этой проблемы https://serverfault.com/questions/909052/kubernetes-configmap-only-writable-by-root

А kubectl get nodes как понимаю показывает что все ноды Ready?

pod_workers.go:190] Error syncing pod b98bf3a5-628c-11e9-8058-0050568458c3 видимо это самая херовая ошибка

блин. может на костыли какие натыкался?

Если с privileged то mount -o remount,rw вполне работает

4396 fsHandler.go:121] failed to collect filesystem stats - rootDiskErr: du command failed on /var/lib/docker/overlay2/c5dae4c7a3d50eafc2a114325660538 Apr 26 15:13:37 node3 kubelet[4396]: - exit status 1, rootInodeErr: cmd [ionice -c3 nice -n 19 find

еще такая хрень есть

х.з Вот примерное решение этой проблемы https://serverfault.com/questions/909052/kubernetes-configmap-only-writable-by-root

единственный более-менее сносный вариант который я нашел, это двигать файлы после маунта в другое место. как, например, здесь https://github.com/GoogleCloudPlatform/click-to-deploy/pull/17/files#diff-a8ed025396dd3e5563fe1992f7ec85ebR73

понял, спасибо! видать всё таки придется городить обертку на баше, которая будет двигать файлы из конфигмапы по контейнеру😢

Можно в init-container еще

Если с privileged то mount -o remount,rw вполне работает

Оо, круто. спасибо за идею, сейчас поэкспериментирую.

4396 fsHandler.go:121] failed to collect filesystem stats - rootDiskErr: du command failed on /var/lib/docker/overlay2/c5dae4c7a3d50eafc2a114325660538 Apr 26 15:13:37 node3 kubelet[4396]: - exit status 1, rootInodeErr: cmd [ionice -c3 nice -n 19 find

Проверь файловую систему на ошибки

Кстати, не уверен, но возможно через subPath оно в rw смаунтится

[root@5050k8s-master cp]# kubectl get pvc -n cp NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE gluster-cp Pending glfs-webstatic 0 38s

где я могу посмотреть почему он pending?

Кстати, не уверен, но возможно через subPath оно в rw смаунтится

Нет

Кстати, не уверен, но возможно через subPath оно в rw смаунтится

не, уже пробовал. как минимум на 1.12.7

Проверь файловую систему на ошибки

чет странно че она на всех нодах могла отвалитсья как так

У меня вообще 1.10 и всё равно в ro

Если с privileged то mount -o remount,rw вполне работает

Можно попробовать rw сразу в mountOpts прописать)

Но тоже не уверен

Кстати, не уверен, но возможно через subPath оно в rw смаунтится

volumes: - name: config-volume configMap: name: alertmanager-config defaultMode: 777 А если вот так попробовыть замаунтить?

Хотя тут пишут, что с 1.13 только ro без rw

volumes: - name: config-volume configMap: name: alertmanager-config defaultMode: 777 А если вот так попробовыть замаунтить?

Так тоже пробовал

И readOnly: false выставлял

И readOnly: false выставлял

Не помогает?

[root@5050k8s-master cp]# kubectl get pvc -n cp NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE gluster-cp Pending glfs-webstatic 0 38s

хелп ребя, плз

Неа

чет странно че она на всех нодах могла отвалитсья как так

Проверь на всякий случай дисковую подсистему. Честно говоря тут больше ничем тебе подсказать так не могу

Мне надо то из результатов выполнения джобы получить переменную, которую передать в основной контейнер. Вот думал два конфигмапа примаунтить к поду в джобе, в одном - скрипт, который пишет данные в другой конфигмап, а потом второй конфигмап заюзать в качестве значения переменной

[root@5050k8s-master cp]# kubectl get pvc -n cp NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE gluster-cp Pending glfs-webstatic 0 38s

decribe pvc

decribe pvc

[root@5050k8s-master cp]# kubectl describe pvc gluster-cp -n cp Name: gluster-cp Namespace: cp StorageClass: Status: Pending Volume: glfs-webstatic Labels: <none> Annotations: <none> Finalizers: [kubernetes.io/pvc-protection] Capacity: 0 Access Modes: VolumeMode: Filesystem Events: <none> Mounted By: cp-deploy-5f667b86b4-5qpm4 cp-deploy-5f667b86b4-b8r2j

тут как бы тоже не понятно почему Pending

тут как бы тоже не понятно почему Pending

Я бы в логи гластера гляну

там пусто

там пусто

Гластер поддерживает readWrite ?

да

боль:(

где бы лог глянуть на чем он стопорится

Народ после скэйла кластра с kubespray полетел весь нетворкинг.С нодов есть доступ в веб , а с подов нет, кроме калико подов. Куда вообще смотреть (?

руками я скопокно прибиваю gluster

Народ привет, Кто-то делал в Ingress роутинг на основании url paramteters? "?policy=acc" или "?policy=test".

господа а не подскажете, на GKE для 1.12 кластера чтоли нет поддержки у job параметра ttlSecondsAfterFinished ?

господа а не подскажете, на GKE для 1.12 кластера чтоли нет поддержки у job параметра ttlSecondsAfterFinished ?

Она вроде как фича включается в 1.12 судя по доке. Скорее всего нет

да вот смотрю, похоже на то :(

Виртуалки проще мигрировать. Поэтому в любом случае лучше резать физику на виртуалки

Насчёт бм раньше общались, не мог написать, был в транспорте. Но какая разница? Развертываешь-та все равно на хост ОС. Вся разница в том, что ос в Клауде за тебя хостер установил и сделал окружение для работы с его сетями(в основном оверлейными), стораджами и другими сервисами. А с бм, можешь делать что хочешь, особенно с сетью, объединить в в однин VPN, пробросить vlan через тунель, поднять BGP и т.д.

Насчёт бм раньше общались, не мог написать, был в транспорте. Но какая разница? Развертываешь-та все равно на хост ОС. Вся разница в том, что ос в Клауде за тебя хостер установил и сделал окружение для работы с его сетями(в основном оверлейными), стораджами и другими сервисами. А с бм, можешь делать что хочешь, особенно с сетью, объединить в в однин VPN, пробросить vlan через тунель, поднять BGP и т.д.

Ньет

ВМ тоже можно объединять в влан и прочее. Баре метал - это именно, когда а) задачи требуют Макс быстродействия б) есть место, где можно разместить сервера

Можно, но через оверлей хостеров

Например, если требуется ускорение видяхами (под виртуалками с ними много нюансов). Во всем остальном - виртуалки _удобнее_

Под виртуалкамт насчёт видях согласен. Cuda возможно, но через муки.

Под виртуалкамт насчёт видях согласен. Cuda возможно, но через муки.

vmware, и всё гуд

vmware, и всё гуд

Эээ, этаже не к8s

И миграция в VMware ещё геморнее.

Эээ, этаже не к8s

Как бэк.

В к8с легко пробрасываются видяхи. А ноды к8с просто лейблами помечаешь.