𝚔𝚟𝚊𝚙𝚜
vanilla
Max
ну ведь okd это redhat)
Mr.Strange
Недавно это обсуждали https://t.me/kubernetes_ru/194498
Спасибо, попробую почитать. Но через балансер уже попробовал, не добавляет, такое ощущение, что запрос не доходит до apiservera, джойн очень долго висит, больше 10 минут ...
George
Так не будет. С окд тем более
Отделение Bereke Bank
Подскажите, в каких случаях возможно такое. Есть 20 нод. На каждой свободно +- 3 Гб оперативы 10 подов висят Pending с сообщением 0/23 nodes are available: 20 Insufficient memory, 3 node(s) had taints that the pod didn't tolerate memory request у пода 1 Гб
Max
что показывает?
Отделение Bereke Bank
kubectl describe nodes
ну там портянка. Не подскажешь куда смотреть?
Max
сколько в процентах пишет memory?
Max
kubectl describe nodes | grep " memory "
Max
memory 373868Ki (1%) 1368515840 (4%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 1201718Ki (3%) 1470981376 (4%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%) memory 689718Ki (2%) 946693376 (2%)
Отделение Bereke Bank
memory 0 (0%) 0 (0%) memory 0 (0%) 0 (0%) memory 0 (0%) 0 (0%) memory 7588Mi (98%) 8572Mi (111%) memory 7424Mi (96%) 8448Mi (109%) memory 6704Mi (86%) 8016Mi (103%) memory 7542Mi (97%) 8954Mi (115%) memory 7472Mi (96%) 8656Mi (112%) memory 6844Mi (88%) 7844Mi (101%) memory 7508Mi (97%) 9036Mi (117%) memory 7124Mi (92%) 9036Mi (117%) memory 7228Mi (93%) 8228Mi (106%) memory 7414Mi (96%) 8698Mi (112%) memory 7018Mi (90%) 8614Mi (111%) memory 7694Mi (99%) 8994Mi (116%) memory 7670Mi (99%) 8954Mi (115%) memory 6780Mi (87%) 7380Mi (95%) memory 7588Mi (98%) 8188Mi (106%) memory 7204Mi (93%) 7804Mi (101%) memory 7204Mi (93%) 8188Mi (106%) memory 7460Mi (96%) 8060Mi (104%) memory 7716Mi (99%) 8316Mi (107%) memory 7018Mi (90%) 7718Mi (99%)
Max
ну у вас много подов запрашивают много памяти
Max
поэтому не шедулит
Отделение Bereke Bank
Понял. Странно почему так У всех деплойментов есть requests и limits И кол-во нод высчитывалось исходя из них + 25% (rollingUpdate)
Max
у вас оверкоммит по лимитам кстати
Отделение Bereke Bank
Причем при подсчете кол-ва полагалось что на ноде 6 Гб, хотя на самом деле 8
Отделение Bereke Bank
Да вижу. Черт знает откуда он взялся. Спасибо, за наводку
Gleb
ну ведь okd это redhat)
okd Это апстрим(альфа-версия) редхата, никогда стабильности ни в одном продукте не было в таком статусе у них
Max
там показывается какой под сколько жрет в процентах cpu и памяти от конкретной ноды
Отделение Bereke Bank
также можно увидеть в kubectl describe nodes
я в принципе знаю у каких подов большие реквесты и лимиты. под же не мог никак выйти за рамки лимита?
Max
например мониторинг или что-то вроде того
Max
ищите, эти цифры не с неба берутся
Max
у вас 100% есть поды, которые выжирают память
Отделение Bereke Bank
понял, спасибо
Отделение Bereke Bank
поэтому не шедулит
получается шедулинг работает исходя из реквестов и лимитов и ему пофиг на фактически свободную память?
Отделение Bereke Bank
Max
так и должно быть
Max
он прежде всего смотрит на requests
Отделение Bereke Bank
ну пиздец 😂
Max
лимиты он игнорирует
Max
как вы видите у вас оверкоммит по лимитам
Max
это впски?
Max
или bare metal?
Отделение Bereke Bank
впс-ки
Max
проблема не в сабнете, а в том что этиже айпишники юзаются твоими нодами, с IPVS такого быть не должно
error adding host side routes for interface: calie8b9fc97769, error: route (Ifindex: 14, Dst: 91.211.117.106/32, Scope: 253) already exists for an interface other than 'calie8b9fc97769'
Max
ради эксперимента создал пул с blockSize: 32
Max
видимо слишком маленькая сеть
Max
https://github.com/projectcalico/calico/issues/2624
Max
баг в общем
Max
прописал блок /26, все норм, под с айпишником внешним создается, metallb его анонсирует, но почему-то трафик идет на сам хост, а не в под
Max
ipip и nat выключены у пула в калико
Max
подскажите плиз что еще нужно сделать))
Max
щас iptables вместо ipvs
Max
forwarding включен
Max
оказывается когда я поменял в kubespray инвентаре с ipvs на iptables оно не обновило конфиг kube-proxy
Max
поменял на iptables и заработало
Max
всем спасибо за помощь)
Lucky SB
Lucky SB
А у тебя кубспрей и мейнстрима же? Там кубпрокси демонсетом запущен?
Валентин
я тебе более того скажу - прометеус-оператор - если ты руками снесешь им созданные АМ и прометеус, то он их не пересоздаст
Но если ты поправишь их руками - в течение какого-то времени он их назад поправит. Причем AM прям быстро, а прометей у меня около часа как-то раз не менялся обратно
Lucky SB
нет, старый. да, daemonset'ом
тогда не старый. а слегка устаревший. в кубадм режиме ставил. окай. занесу в книжечке. проверить на досуге
Max
я боюсь до апстрима апать, все как обычно по одному месту пойдет, что типично для кубспрея))
Max
как обычно там всю конфигурацию поменяли уже))
Tadeusz
1.15.3 - полет нормальный (kubespray)
Lucky SB
ну куб версии 1.14.3
это не так важно. просто если куб-прокси ставится кубадмом, то при повторном запуске кубспрея... кубспрей поправит конфиги кубадма, а вот запустить kubeadm upgrade для применения этих конфигов - этого не будет. возможно надо было запускать плейбук cluster-upgrade.yml
Max
upgrade-cluster.yml
Lucky SB
я боюсь до апстрима апать, все как обычно по одному месту пойдет, что типично для кубспрея))
в таких случая помогает сделать свой форк и чирипикать в него ))) там все изменения - они следуют за изменениями в кубе...
Lucky SB
upgrade-cluster.yml
сорри. писал по памяти
Max
блин, проснулся и одна нода отвалилась, вчера уже было такое, сеть ломается
Max
и нода становится недоступна извне
Max
На чем плагин?
извиняюсь, не понял вопроса
Max
bare metal + kubespray + calico + kube-proxy в режиме iptables + metallb в режиме l2
Max
Ubuntu 18.04
NM
Хм... Тогда ж@#₽
Max
а что с убунтой не так?
Max
просто привык к ней
NM
Ядро
Max
на centos будет стабильней?
Max
Ядро
типа слишком новое?
NM
В разы и даже плагины через нормальные модули ядра работают стабильнее. Даже Демьян и то более проверенные образы имеет.