Vladimir
в логах между NodeHasDiskPressure и NodeHasNoDiskPressure есть Attempting to reclaim imagefs
Vladimir
а без прометеев никак? из консольки там.. по старому)
𝚔𝚟𝚊𝚙𝚜
ребят ткните носом где посмотреть текущие значения nodefs.available, nodefs.inodesFree, imagefs.available, imagefs.inodesFree. пытаюсь подебажить DiskPressure и как то не получается
grep -A5 evictionHard /var/lib/kubelet/config.yaml
Vladimir
grep -A5 evictionHard /var/lib/kubelet/config.yaml
I0723 19:53:15.750993 3685 flags.go:27] FLAG: --eviction-hard="imagefs.available<15%,memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<5%"
Vladimir
место на самой ноде есть.. как и иноды. но она постоянно сваливается в DiskPressure
Andor
на всех дисках проверил?
Vladimir
там 1 диск
Andor
покажи df -hi
Andor
полный вывод
Andor
и df -h тоже покажи
𝚔𝚟𝚊𝚙𝚜
место на самой ноде есть.. как и иноды. но она постоянно сваливается в DiskPressure
он там на rootfs и /var/lib/docker проверяет
𝚔𝚟𝚊𝚙𝚜
а вообще kubelet обычно в логах пишет что не так
Vladimir
оу.. ссылки нельзя вставлять?
Etki
как мера антиспама
Vladimir
я пытался.. :)
Vladimir
pastebin . com/XgMKwSNn pastebin . com/FSpS8b2j
G72K
а без прометеев никак? из консольки там.. по старому)
Да там одним curl ом их все получить можно, прям с кублета, без прометеев
Vladimir
docker exec kubelet curl -k https://localhost:10250/stats/summary 401 мне показал.. и был таков
G72K
docker exec kubelet curl -k https://localhost:10250/stats/summary 401 мне показал.. и был таков
Если read only port не включен, то нужен токен/сертификат
Stefan
блин, так и не нашел ничего связанное с проблемой
у кого-то бывало такое, что вольюмы удалены с кластера давно, а они все еще отображаются в метриках promql, еще и место в вольюме показывает
kubectl get pv показывает только актуальные вольюмы
kubectl get pvc или пусто или только акутальные вольюмы...
Yaroslav
Парни кто сталкивался с ситуацией, когда hostPort надо повесить на 443 порт - происходит перекрытие конфигурации сервиса default/kubernetes.
iptables-save | grep 443
-A CNI-DN-e684fda5e854d4336b8a0 -p tcp -m tcp —dport 443 -j DNAT —to-destination 10.244.3.11:443
-A CNI-SN-e684fda5e854d4336b8a0 -s 127.0.0.1/32 -d 10.244.3.11/32 -p tcp -m tcp —dport 443 -j MASQUERADE
-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.96.0.1/32 -p tcp -m comment —comment "default/kubernetes:https cluster IP" -m tcp —dport 443 -j KUBE-MARK-MASQ
-A KUBE-SERVICES -d 10.96.0.1/32 -p tcp -m comment —comment "default/kubernetes:https cluster IP" -m tcp —dport 443 -j KUBE-SVC-NPX46M4PTMTKRN6Y
Возможно, это специфика kuber-router, его реализации kube-proxy ?
Rainbow
блин, так и не нашел ничего связанное с проблемой
у кого-то бывало такое, что вольюмы удалены с кластера давно, а они все еще отображаются в метриках promql, еще и место в вольюме показывает
kubectl get pv показывает только актуальные вольюмы
kubectl get pvc или пусто или только акутальные вольюмы...
метрики из прома удаляются сами собой
Dmitriy
Коллеги, подскажите, есть ли русскоговорящее сообщество по Jenkins?
Sergey
Dmitriy
Спасибо)
Stefan
метрики из прома удаляются сами собой
но странно же
не удаляются нормально метрики из прома как минимум только по вольюмам
Andrey
metallb в помощь
Andrey
апи можно также вывешивать через хапрокси с каким нибудь кипалайвом
Andrey
который тоже в виртуалайпи
Vadim
https://www.youtube.com/watch?v=tdSDigqpR9I
Ferrero
Яндекс облако работает в Крыму?
Ferrero
Если не совсем туда пишу, направьте, пожалуйста
Narek
Jain
где можно посмотреть какие gpu от nvidia поддерживаються в кубере интересует NVIDIA Tesla C2075 и Grid K2 есть ли поддержка vGPU. Видать слепой и тут не вижу https://github.com/NVIDIA/k8s-device-plugin
Сергей
всем привет, подскажите пожалуйста. есть необходимость поменять IP под нодами кубернетиса. вроде как kubectl edit позволяет изменить internal-ip, но вот вопрос в том насколько это безопасно и как всё таки будет лучше изменить IP?
Maksim
Я через maintance делал....
Artem
Добрый день! Подскажите, можно ли как-то в кубере запускать поды с привязкой к локальной сети? сейчас запускаю контейнеры через композ с такой строчкой в конфиге: network_mode: host
Artem
надо теперь эти контейнеры перетащить в кубер
Dmitrii
hostNetwork: true
Отделение Bereke Bank
spec:
hostNetwork: true
Сергей
Я через maintance делал....
в смысле
1. kubectl drain nodename
2. kubectl edit node nodename
3. kubectl uncordon nodename
?
Vadim
где можно посмотреть какие gpu от nvidia поддерживаються в кубере интересует NVIDIA Tesla C2075 и Grid K2 есть ли поддержка vGPU. Видать слепой и тут не вижу https://github.com/NVIDIA/k8s-device-plugin
плагин только прокидывает доступ к драйверу, так что зависит от хоста + версии драйвера
Maksim
Поды удалить с ноды еще. Если приложение в HA то все будет хорошо.
Jain
ясно понятно. Там как я помню у nvidia какаято заподлянка еще с лицензиями была на grid. Буду тестировать
Сергей
Поды удалить с ноды еще. Если приложение в HA то все будет хорошо.
это понятно всё, меня больше интересует вопрос не отвалится ли нода и не будет ли проблем с маршрутизацией, если выполнить kubectl edit node nodename и исправить там internal-ip. сам факт смены внутреннего IP не приведет ли к каким-нибудь катастрофическим последствиям?
Oleh
ясно понятно. Там как я помню у nvidia какаято заподлянка еще с лицензиями была на grid. Буду тестировать
западлянка с лицензиями у NVIDIA в том, что нельзя в продакш среде использовать видеокарты "пользовательского" уровня
Jain
нет. У них с какогто времени западлянка именно с vGPU на грид картах. Я грид карты не отношу к пользовательским игровым картам.
𝚔𝚟𝚊𝚙𝚜
но в идеале лучше ноду вывести из кластера, ребутнуть и добавить заново
𝚔𝚟𝚊𝚙𝚜
т.к. в противном случае на ноде останутся все правила которые нагенерил cni-планин и kube-proxy
Сергей
но в идеале лучше ноду вывести из кластера, ребутнуть и добавить заново
Вывести из кластера как раз таки ‘drain’?
𝚔𝚟𝚊𝚙𝚜
да, а потом delete
𝚔𝚟𝚊𝚙𝚜
кстати можно и не выводить, а просто ноду ребутнуть, т.к. IP только в status.address значится
𝚔𝚟𝚊𝚙𝚜
т.е. кубелет должен сам новый IP подхватить
Viktor
Привет.
А с imagePullPolicy: Always я могу делать
set image -f deployment.yaml image_name=...:<constant_tag>
и получать новый имедж но с тем же тегом?
Anton
Привет.
А с imagePullPolicy: Always я могу делать
set image -f deployment.yaml image_name=...:<constant_tag>
и получать новый имедж но с тем же тегом?
нет. куб не увидит изменения в описании объекта, а значит rolling update не нужно катить
Viktor
нет. куб не увидит изменения в описании объекта, а значит rolling update не нужно катить
А какие костыли самые удобные, чтобы можно было бесконечно деплоиться с одним и тем же image tag'ом?
𝚔𝚟𝚊𝚙𝚜
А какие костыли самые удобные, чтобы можно было бесконечно деплоиться с одним и тем же image tag'ом?
Можно менять что-то еще, например envs
Anton
А какие костыли самые удобные, чтобы можно было бесконечно деплоиться с одним и тем же image tag'ом?
или annotations менять. можно delete pods по лейблам. но самое логичное - съехать с статического тэга образа
𝚔𝚟𝚊𝚙𝚜
или annotations менять. можно delete pods по лейблам. но самое логичное - съехать с статического тэга образа
annotations не будут перезапускать под
𝚔𝚟𝚊𝚙𝚜
а, хотя если в spec.template.metadata.annotations менять, то можно да
Vadim
А какие костыли самые удобные, чтобы можно было бесконечно деплоиться с одним и тем же image tag'ом?
при новом имадже получать image digest -> заменять тэг в деплойменте
Anton
annotations не будут перезапускать под
в helm это рекомендованая методика тригерить апдейт по изменению конфигмапов.
Viktor
спасибо, идея ясна
Yaroslav
Парни кто сталкивался с ситуацией, когда hostPort надо повесить на 443 порт - происходит перекрытие конфигурации сервиса default/kubernetes.
iptables-save | grep 443
-A CNI-DN-e684fda5e854d4336b8a0 -p tcp -m tcp —dport 443 -j DNAT —to-destination 10.244.3.11:443
-A CNI-SN-e684fda5e854d4336b8a0 -s 127.0.0.1/32 -d 10.244.3.11/32 -p tcp -m tcp —dport 443 -j MASQUERADE
-A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.96.0.1/32 -p tcp -m comment —comment "default/kubernetes:https cluster IP" -m tcp —dport 443 -j KUBE-MARK-MASQ
-A KUBE-SERVICES -d 10.96.0.1/32 -p tcp -m comment —comment "default/kubernetes:https cluster IP" -m tcp —dport 443 -j KUBE-SVC-NPX46M4PTMTKRN6Y
Возможно, это специфика kuber-router, его реализации kube-proxy ?
Ну, вобщем, без затей перевесил default/kubernetes с порта 443 на 6443 и проблема ушла.
Andrey
Ну, вобщем, без затей перевесил default/kubernetes с порта 443 на 6443 и проблема ушла.
скука) надо было хапрокси с кипалайвом
Andrey
ну или хотябы вывешивать сервисы с metallb
Andrey
удобно же
Anton
подскажите, обычно в env пода попадают все существующие сервисы неймспейса, однако headless сервисы не присутствуют. это нормальное поведение?
Anton
хочется в рамках statefullset ходить между подами по hostname пода, но этого сделать не получается, ибо обратиться к соседу в стейтфулсете можно лишь по pod_hostname.service_name, в таком случае в конфиге приложения приходится учитывать имя сервиса, что выглядит некорректно. может быть есть более верный путь?
Anton
хочется в рамках statefullset ходить между подами по hostname пода, но этого сделать не получается, ибо обратиться к соседу в стейтфулсете можно лишь по pod_hostname.service_name, в таком случае в конфиге приложения приходится учитывать имя сервиса, что выглядит некорректно. может быть есть более верный путь?
Если очень хочется можно резолвить из днс хедлесс сервайс, например. А зачем ходить во все реплики?
Andrey
Anton
Если очень хочется можно резолвить из днс хедлесс сервайс, например. А зачем ходить во все реплики?
да, но если приложение не умеет резолвить, тогда есть варианты?