Terry
а сам девопс кодер на пхп
Anton
Коллеги, а как-то можно заставить кубелет, при неудачной livenessProbe не контейнер убивать, а весь под пересоздавать?
но ведь probe на уровне container описан
Eugene
15:15:23 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: E0329 15:15:23.932350 1179 pod_workers.go:186] Error syncing pod 1f66fead-5228-11e9-a2ec-02ae37a901b6 ("kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"), skipping: failed to "StartContainer" for "kube-flannel" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a90
Eugene
рабочую ноду джоинил руками к кластеру который разворачивал кубспреем
Eugene
нода заджоинилась и кубконтрол на мастере пишет что нода готова, но на деле фланнел не может никак стартануть
Eugene
раньше была ошибка с таймаутом и фланнел не мог получить конфиг от апи
Алексей
нода заджоинилась и кубконтрол на мастере пишет что нода готова, но на деле фланнел не может никак стартануть
там вероятно сертификатов нет где то
Алексей
заведи через кубеспрей, он всё положит куда нужно
Eugene
а чего не кубеспреем?
мне нужно автоскейлинг сделать, для этого воркерноды должны сами подниматься со всем необхоимым и джоиниться по токену
Алексей
раньше была ошибка с таймаутом и фланнел не мог получить конфиг от апи
он не может получить потому, что не может залогиниться. Залогиниться не может тк видимо нет или не там, или не так указаны в конфигах kubectl линки на сертификаты.
Сам kubectl что говорит?
Eugene
он не может получить потому, что не может залогиниться. Залогиниться не может тк видимо нет или не там, или не так указаны в конфигах kubectl линки на сертификаты.
Сам kubectl что говорит?
я сделал img машины на которой уже стоял кубернетес от кубспрея, поднял с нее новую ноду и кубадмином сделал для нее reset, потом по новому токену заджоинил
Eugene
он не может получить потому, что не может залогиниться. Залогиниться не может тк видимо нет или не там, или не так указаны в конфигах kubectl линки на сертификаты.
Сам kubectl что говорит?
kubectl говорит что я не могу посмотреть логи для этого пода
Eugene
есть ли где-нибудь более подробная документация по фланнелу кроме их гита?
Алексей
kubectl говорит что я не могу посмотреть логи для этого пода
упс, очепятался. Что кубелет пишет в логах?
Eugene
Сак 29 15:25:26 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: I0329 15:25:26.382924 1179 setters.go:72] Using node IP: "10.0.42.243"
Сак 29 15:25:30 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: E0329 15:25:30.639961 1179 pod_workers.go:186] Error syncing pod 1f66fead-5228-11e9-a2ec-02ae37a901b6 ("kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"), skipping: failed to "StartContainer" for "kube-flannel" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"
Сак 29 15:25:36 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: I0329 15:25:36.391781 1179 setters.go:72] Using node IP: "10.0.42.243"
Сак 29 15:25:42 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: E0329 15:25:42.639971 1179 pod_workers.go:186] Error syncing pod 1f66fead-5228-11e9-a2ec-02ae37a901b6 ("kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"), skipping: failed to "StartContainer" for "kube-flannel" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"
Сак 29 15:25:46 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: I0329 15:25:46.399300 1179 setters.go:72] Using node IP: "10.0.42.243"
Сак 29 15:25:56 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: I0329 15:25:56.407114 1179 setters.go:72] Using node IP: "10.0.42.243"
Сак 29 15:25:56 ip-10-0-42-243.us-east-2.compute.internal kubelet[1179]: E0329 15:25:56.639911 1179 pod_workers.go:186] Error syncing pod 1f66fead-5228-11e9-a2ec-02ae37a901b6 ("kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"), skipping: failed to "StartContainer" for "kube-flannel" with CrashLoopBackOff: "Back-off 5m0s restarting failed container=kube-flannel pod=kube-flannel-pnkmn_kube-system(1f66fead-5228-11e9-a2ec-02ae37a901b6)"
Алексей
А что в других подах написано? какие там конфиги примонтированы ? Посмотри в дейскрайбе деплоймента
Eugene
Eugene
у меня подозрения что проблема в маршрутизации новой ноды, но маршрутиацию по идее создает сам фланнел, а он не может стартануть
G72K
Коллеги, а как-то можно заставить кубелет, при неудачной livenessProbe не контейнер убивать, а весь под пересоздавать?
Все можно: сркипт в livenessProbe который сам себя через аписервер убьёт
G72K
мне нужно автоскейлинг сделать, для этого воркерноды должны сами подниматься со всем необхоимым и джоиниться по токену
И правда нужно. Как индустрия выживала 60 лет без автоскейла
Роман
Все можно: сркипт в livenessProbe который сам себя через аписервер убьёт
О, спасибо. Интересное решение.
G72K
О, спасибо. Интересное решение.
Так себе решение. Вам придется поду дать права на убийство любого пода в неймспейсе
Eugene
А в логах пода kube-flannel что?
А в под меня не пускает, я писал выше об ошибке, поды на других нодах проблем не вызывают и показывают логи
G72K
А в под меня не пускает, я писал выше об ошибке, поды на других нодах проблем не вызывают и показывают логи
Не надо в под, надо kubectl logs -p kube-flannel-....
G72K
Оставим на домашнее заданее
Роман
Зачем под пересоздавать, что изменится?
Да у меня странная проблема какая-то. Под с флюентом. Там включён плагин для Прометея. Он должен открыть порт 24231. Но на одной из нод этого не происходит. Пересоздание пода помогает в одном из 30 случаев. Рестарт контейнера не помогает вообще. Речь о gke, может кто сталкивался?
Роман
А иногда и на нескольких.
Anton
Да у меня странная проблема какая-то. Под с флюентом. Там включён плагин для Прометея. Он должен открыть порт 24231. Но на одной из нод этого не происходит. Пересоздание пода помогает в одном из 30 случаев. Рестарт контейнера не помогает вообще. Речь о gke, может кто сталкивался?
Только пожирание памяти видел с экспортом метрик в fluentd. Хз даже есть ли у нас дашборд какой для флюента. Но алерт по буферу есть кажется. В остальном нормально работает, думаю нужно расследовать причины, может issue есть по плагину
G72K
Да у меня странная проблема какая-то. Под с флюентом. Там включён плагин для Прометея. Он должен открыть порт 24231. Но на одной из нод этого не происходит. Пересоздание пода помогает в одном из 30 случаев. Рестарт контейнера не помогает вообще. Речь о gke, может кто сталкивался?
Срочно разыскивается перевод http://xyproblem.info/ или хотя бы названия такого феномена
Евгений
Constantine
Как построить SDN — восемь инструментов с открытым исходным кодом
https://habr.com/ru/company/vasexperts/blog/446058/
Anonymous
heapster начал падать каждые 5 мин:
panic: runtime error: invalid memory address or nil pointer dereference
Anonymous
окей поддержка хипстера прекратилась, а как теперь k8s будет делать scheduling?
Rainbow
autoscale? шедулинг то причем
Incognito
Хипстер это же про метрики или я ошибаюсь ?
Anonymous
autoscale? шедулинг то причем
а как тогда он понимает что сервис начал требовать больше ram?
Anonymous
или heapster это только для дашбоарда
Rainbow
он ореентируется только на request
Rainbow
и на то, что есть на ноде.
Rainbow
точнее по ресурсам на request, там ещё есть параметры типа "а есть ли на ноде image и тп"
Anonymous
ну а автоскейлер же както должен понимать что именно на этот под выросла нагрузка и его надо скейлить?
Ivan
ну а автоскейлер же както должен понимать что именно на этот под выросла нагрузка и его надо скейлить?
Horizontal Pod Autoscaler умеет с metrics-server работать, можно хипстер на него заменить
Ivan
ну а автоскейлер же както должен понимать что именно на этот под выросла нагрузка и его надо скейлить?
https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/#how-does-the-horizontal-pod-autoscaler-work
Incognito
привет, коллеги.
происходит какая то неведаная хрень. на GKE обновился кубер до версии 1.12.6 и теперь я не могу с ним ничего сделать
serviceaccounts is forbidden: User "system:anonymous" cannot create resource "serviceaccounts" in API group "" in the namespace "default"
roles.rbac.authorization.k8s.io is forbidden: User "system:anonymous" cannot create resource "roles" in API group "rbac.authorization.k8s.io" in the namespace "default"
и т.д
что с этим делать ?
Andor
наверное надо стать не-анонимусом
Incognito
класс, а как ?
Incognito
похоже дело в моем kube config
maybe
Я слышал, что если пропускать версии, то могут быть проблемы
Incognito
Версии не пропускались
Incognito
Тем не менее проблему нашёл и решил
Vadim
Incognito
Короче раньше Кубер нормально хавал пустые креды username/password если их не было, просто работал по токену, а теперь они должны быть. Вот так и решил - создаю
Terry
Короче раньше Кубер нормально хавал пустые креды username/password если их не было, просто работал по токену, а теперь они должны быть. Вот так и решил - создаю
"никогда такого не было"б " у меня на ноуте все работает" ))
Incognito
"никогда такого не было"б " у меня на ноуте все работает" ))
Теперь и у меня на ноуте все работает
Incognito
Если что, то у меня был переход с 1.11.8 на 1.12.6
Anonymous
а как через addon-manager посмотреть список аддонов или удалить какойнить?
Alex
а кто-нибудь использует https://git-secret.io/ ? Вроде очень круто выглядит, чтобы не мучаться с секретами, но вдруг есть какие-то подводные камни...
Andrei
а кто-нибудь использует https://git-secret.io/ ? Вроде очень круто выглядит, чтобы не мучаться с секретами, но вдруг есть какие-то подводные камни...
Я юзаю helm secrets, который так же шифрует юзая gpg и не обламываюсь. А сейчас вообще преимущественно vault
𝚔𝚟𝚊𝚙𝚜
а кто-нибудь использует https://git-secret.io/ ? Вроде очень круто выглядит, чтобы не мучаться с секретами, но вдруг есть какие-то подводные камни...
Я юзаю git-crypt - это почти тоже самое только получше
Игорь
а кто-нибудь использует https://git-secret.io/ ? Вроде очень круто выглядит, чтобы не мучаться с секретами, но вдруг есть какие-то подводные камни...
Ну это в принципе неправильно, секреты в гите хранить
Andor
достаточно правильно во многих ситуациях
Tadeusz
А много кто практикует glusterfs в кубер? (в качестве распределенного хранилища)
Dmitry
А много кто практикует glusterfs в кубер? (в качестве распределенного хранилища)
используем, одно из самых простых на подьем «нас»-ов вне облаков
Tadeusz
"несчастные случаи бывали на стройке" ?
Dmitry
о да, но оно у нас ин-кластер и репликейтед/дистрибутед-репликейтед, чаще всего помогало просто подождать синка с соседями после рестарта пода с бриком или отстрелить поды, подключившиеся к конкретному инстансу
Andrew
А много кто практикует glusterfs в кубер? (в качестве распределенного хранилища)
Год назад, когда его тестил, он показал просто ужасающе низкую производительность.
Tadeusz
Хм
Tadeusz
там это... https://discuss.kubernetes.io/t/announce-security-release-of-kubernetes-kubectl-potential-directory-traversal-releases-1-11-9-1-12-7-1-13-5-and-1-14-0-cve-2019-1002101/5712
Tadeusz
таки кто какой CNI плагин юзает? давайте голосовалку закинем?
Sash
Зачем?
Tadeusz
интересно ж