В общем прикол в том, что ASG пытается сбалансировать количество нод в каждой из AZ. И если в какой-то момент cluster-autoscaler приведет количество нод в каждой из AZ одной и той же ASG к состоянию (например) 2 (в зоне A)/0 (в зоне B), то ASG через некоторое время молча грохнет одну из нод в зоне A и создаст новую в зоне B (чтобы было 1/1)

Я тут закопался в доку Амазона и вообще, это поведение можно отключить

Но тогда не будет происходить ребалансировки нод по AZ?

If you suspend AZRebalance and a scale-out or scale-in event occurs, the scaling process still tries to balance the Availability Zones. For example, during scale out, it launches the instance in the Availability Zone with the fewest instances.

Вообще звучит как решение всех проблем, приеду в офис - почитаю, спасибо)

https://docs.aws.amazon.com/autoscaling/ec2/userguide/as-suspend-resume-processes.html

Гут) Вообще с EKS сейчас на другую проблему наткнулся. Недели полторы назад перевозил сервисы с eu-west-1 в eu-central-1, ну и соответсвенно под такое дело апгрейднул кластер с 1.10 на 1.11.5 (последняя версия доступная в EKS). Ну и в 1.11.5 есть проблема с kubelet – раз в два-три дня одна из нод повисает на получение ip адреса от cloud provider-а (https://github.com/awslabs/amazon-eks-ami/issues/154, https://github.com/kubernetes/kubernetes/issues/65814). Как решение – предлагают собрать свой AMI для воркер-ноды и обновить на нём kubelet до 1.11.6

Ааа, блин, я почему-то был уверен, что ты с EKS тоже.. Ну ладн)

@gree_gorey вот тебе еще примеров

спасибо! буду дневник вести ;) наблюдение за диким AWS) ну вообще собирать свои AMI-хи в любом случае хорошая идея, хоть для kos'а хоть для EKS. Тем более что да, Packer'ом это можно автоматизировать и будет небольно

коллеги, подскажите плиз, логи ничего информативного не дают запускаю deployment и service, в итоге под в pending статусе всё что пишет в логах это Warning FailedScheduling 47s (x8 over 1m) default-scheduler 0/3 nodes are available: 1 PodToleratesNodeTaints, 3 MatchNodeSelector. поглядел на нодах че по ресурсам, так хватает и оперативки и места на диске

нодселектор проверь

а не подскажите почему этот селектор не правильный? https://pastebin.com/1McGLTPg дело в том, что ровно такая же конфигурация нормально работает и поды подымаются в другом неймспейсе, а тут не хочет, но если закомментирую селектор, то норм

у вас есть другой деплоймент с таким же селектором? если да, то есть ли в нем tolerations?

у вас есть другой деплоймент с таким же селектором? если да, то есть ли в нем tolerations?

нет tolerations

https://gist.github.com/gree-gorey/53674f5c22e04e56936c9422196a35c4 если вдруг понадобится команда для вывода labels/tolerations

-o=custom-columns=NAME:.metadata.name,TAINTS:.spec.taints же

ну не манипуляции а просто вывод инфы о них

предположим я выведу, чем мне эта информация тогда будет полезной?

ты хочешь понять почему скедулер не может выбрать ни одной ноды для пода для этого нужно посмотреть есть ли ноды которые соот твоим критериям

предположим я выведу, чем мне эта информация тогда будет полезной?

Редеплой кластера решает проблему обычно

Редеплой кластера решает проблему обычно

Редеплой кластера решает проблему обычно

ты хочешь понять почему скедулер не может выбрать ни одной ноды для пода для этого нужно посмотреть есть ли ноды которые соот твоим критериям

как мне helm сконектить с моим кластером?

все по getting started можно сделать без проблем

helm install —name prometheus stable/prometheus-operator —namespace monitoring

aws?

не работает kubectl?

не могу понять как доставлять поды в ноды) с локалки на кластер вот