𝚔𝚟𝚊𝚙𝚜
vanilla
Max
ну ведь okd это redhat)
George
George
Так не будет. С окд тем более
Отделение Bereke Bank
Подскажите, в каких случаях возможно такое. Есть 20 нод. На каждой свободно +- 3 Гб оперативы
10 подов висят Pending с сообщением 0/23 nodes are available: 20 Insufficient memory, 3 node(s) had taints that the pod didn't tolerate
memory request у пода 1 Гб
Max
Max
что показывает?
Max
сколько в процентах пишет memory?
Max
kubectl describe nodes | grep " memory "
Max
memory 373868Ki (1%) 1368515840 (4%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 1201718Ki (3%) 1470981376 (4%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
memory 689718Ki (2%) 946693376 (2%)
Отделение Bereke Bank
memory 0 (0%) 0 (0%)
memory 0 (0%) 0 (0%)
memory 0 (0%) 0 (0%)
memory 7588Mi (98%) 8572Mi (111%)
memory 7424Mi (96%) 8448Mi (109%)
memory 6704Mi (86%) 8016Mi (103%)
memory 7542Mi (97%) 8954Mi (115%)
memory 7472Mi (96%) 8656Mi (112%)
memory 6844Mi (88%) 7844Mi (101%)
memory 7508Mi (97%) 9036Mi (117%)
memory 7124Mi (92%) 9036Mi (117%)
memory 7228Mi (93%) 8228Mi (106%)
memory 7414Mi (96%) 8698Mi (112%)
memory 7018Mi (90%) 8614Mi (111%)
memory 7694Mi (99%) 8994Mi (116%)
memory 7670Mi (99%) 8954Mi (115%)
memory 6780Mi (87%) 7380Mi (95%)
memory 7588Mi (98%) 8188Mi (106%)
memory 7204Mi (93%) 7804Mi (101%)
memory 7204Mi (93%) 8188Mi (106%)
memory 7460Mi (96%) 8060Mi (104%)
memory 7716Mi (99%) 8316Mi (107%)
memory 7018Mi (90%) 7718Mi (99%)
Max
ну у вас много подов запрашивают много памяти
Max
поэтому не шедулит
Отделение Bereke Bank
Понял. Странно почему так
У всех деплойментов есть requests и limits
И кол-во нод высчитывалось исходя из них + 25% (rollingUpdate)
Max
у вас оверкоммит по лимитам кстати
Отделение Bereke Bank
Причем при подсчете кол-ва полагалось что на ноде 6 Гб, хотя на самом деле 8
Отделение Bereke Bank
Да вижу. Черт знает откуда он взялся. Спасибо, за наводку
Gleb
ну ведь okd это redhat)
okd Это апстрим(альфа-версия) редхата, никогда стабильности ни в одном продукте не было в таком статусе у них
Max
Max
там показывается какой под сколько жрет в процентах cpu и памяти от конкретной ноды
Max
Max
например мониторинг или что-то вроде того
Max
ищите, эти цифры не с неба берутся
Max
у вас 100% есть поды, которые выжирают память
Отделение Bereke Bank
понял, спасибо
Отделение Bereke Bank
поэтому не шедулит
получается шедулинг работает исходя из реквестов и лимитов и ему пофиг на фактически свободную память?
Отделение Bereke Bank
Max
Max
так и должно быть
Max
он прежде всего смотрит на requests
Отделение Bereke Bank
ну пиздец 😂
Max
лимиты он игнорирует
Max
как вы видите у вас оверкоммит по лимитам
Max
это впски?
Max
или bare metal?
Отделение Bereke Bank
впс-ки
Max
ради эксперимента создал пул с blockSize: 32
Max
видимо слишком маленькая сеть
Max
https://github.com/projectcalico/calico/issues/2624
Max
баг в общем
Max
прописал блок /26, все норм, под с айпишником внешним создается, metallb его анонсирует, но почему-то трафик идет на сам хост, а не в под
Max
ipip и nat выключены у пула в калико
Max
подскажите плиз что еще нужно сделать))
Max
щас iptables вместо ipvs
Max
forwarding включен
Max
оказывается когда я поменял в kubespray инвентаре с ipvs на iptables оно не обновило конфиг kube-proxy
Max
поменял на iptables и заработало
Max
всем спасибо за помощь)
Lucky SB
Lucky SB
А у тебя кубспрей и мейнстрима же? Там кубпрокси демонсетом запущен?
Max
Max
Lucky SB
нет, старый.
да, daemonset'ом
тогда не старый. а слегка устаревший. в кубадм режиме ставил. окай. занесу в книжечке. проверить на досуге
Max
Max
я боюсь до апстрима апать, все как обычно по одному месту пойдет, что типично для кубспрея))
Max
как обычно там всю конфигурацию поменяли уже))
Tadeusz
1.15.3 - полет нормальный (kubespray)
Lucky SB
ну куб версии 1.14.3
это не так важно. просто если куб-прокси ставится кубадмом, то при повторном запуске кубспрея... кубспрей поправит конфиги кубадма, а вот запустить kubeadm upgrade для применения этих конфигов - этого не будет.
возможно надо было запускать плейбук cluster-upgrade.yml
Max
upgrade-cluster.yml
Max
блин, проснулся и одна нода отвалилась, вчера уже было такое, сеть ломается
Max
и нода становится недоступна извне
NM
Max
bare metal + kubespray + calico + kube-proxy в режиме iptables + metallb в режиме l2
NM
Max
Ubuntu 18.04
NM
Хм... Тогда ж@#₽
Max
а что с убунтой не так?
Max
просто привык к ней
NM
Ядро
Max
на centos будет стабильней?
Max
NM
В разы и даже плагины через нормальные модули ядра работают стабильнее. Даже Демьян и то более проверенные образы имеет.