Vladimir
Подскажите не как не могу понять как работает weight для podAntiAffinity. Допустим у меня есть 2 ноды. Первый под пришел на 1ую нода с весом 50 в podAntiAffinity. Если верить документации то следующий под должен пойти на ноду где больше число веса(то есть ресурсы + те 50 которые туда повесил первый под). То есть опять на первую ноду. Разве он не должен при podAntiAffinity выбрать наименьший вес? Или я что то не понимаю
Марат
Марат
Ресурсы и вес суммировали
Anonymous
George
George
Это сотни стоек
Anonymous
Это много, но далеко не самый большой кластерок
George
несомненно
Й
Ребзя, хелп!
Вопрос к тем кто юзает ALB Ingress controller.
Можете поделиться скриптом/лямбдой/чем-то ещё чем вы решаете вопрос лимита 1000 таргетов на каждый АЛБ
𝚔𝚟𝚊𝚙𝚜
Й
АЛБ?
Dmitry
Й
Dmitry
Й
Dmitry
web application firewall. Интересно, уже нашел
Евгений
Й
Dmitry
AWS Web Application Firewall (WAF) – Helps to protect your web applications from common application-layer exploits that can affect availability or consume excessive resources. As you can see in my post (New – AWS WAF), WAF allows you to use access control lists (ACLs), rules, and conditions that define acceptable or unacceptable requests or IP addresses. You can selectively allow or deny access to specific parts of your web application and you can also guard against various SQL injection attacks. We launched WAF with support for Amazon CloudFront.
Интересно, как это работает. Особенно про SQL инъекции, как это решается на уровне балансера. Типо всякие GET параметры парсит на распростронненные инъекции?Интересно дорого ли выходит
Евгений
Ага
Что ага? nginx ModSecurity это WAF для nginx'а, в ингресе он даже стоит по умолчанию:
https://kubernetes.github.io/ingress-nginx/user-guide/third-party-addons/modsecurity/
Й
Евгений
Не понятно чем вам модсекурити не нравится
Dmitry
Евгений
А если сильно не нравится, то натравите просто alb на ingress-nginx
Й
Dmitry
Й
Dmitry
Господам из Самсунга больше нравится AWS WAF 💁♂
Ушли не в ту сторону вопроса. В итоге три варианта получается. Либо по логам определять сколько таргетов, либо слать трафик из alb в nginx ingress (или любой другой), либо не юзать WAF. Два последних как я понял не подходят
Й
Dmitry
Виктор
The current best practice for composing a complex application from discrete parts is to create a top-level umbrella chart that exposes the global configurations, and then use the charts/ subdirectory to embed each of the components.
из доки хелма, кто-то юзает его так? Разве не стремно все сервисы от которых зависит приложение пихать в один релиз?
Dmitry
Виктор
helm install stable/service1
helm install stable/service2
helm install stable/myservice
Виктор
в отдельных релизах
Й
Не люблю абмбрелла чарты. Какая-то лютая неприязнь к ним. Использую хельмфайл
Dmitry
в отдельных релизах
ну если тебе так удобно делай так. Главное не забывай, какая версия сервиса зависит от другой версии сервиса.
У меня прогеры деплоят отдельно, ну они соблюдают обратную совместимость (или нет, но это уже их проблемы)
𝚔𝚟𝚊𝚙𝚜
Й
Но вопрос хороший)
Dmitry
Лол, РКН забанили статику aws - https://a0.awsstatic.com/. У меня все на aws без верстки и картинок =(. Очередной ip маршрутом через vpn... Задолбали
Й
Сергей
забаньте его. он инвайты в левые группы кидает
Tadeusz
+
𝚔𝚟𝚊𝚙𝚜
Shamil
Ребята, подскажите, пожалуйста, как включить StickySessions для nginx-ingress default backend? Указал отдельный сервис бекендом по-умолчанию, но настройки липких сессий применяются только к хостам указанным непосредственно в настройках ингресса, а к произвольным хостнеймам остаются умолчания.
Владимир
Добрый день, кто знает как в eks указать свои параметры bootstrap.sh(в частности пытаюсь --use-max-pods false)
Проблема возникла при скелинге.
т.е. я меняю параметры бутстрапа( сохраняю новую версию и делаю её дефаултной) в launch template привязанному к Auto Scaling Group которая в свою очередь указана в eks кластере.
После чего к пишу
eksctl scale nodegroup --cluster test --name test-ng --nodes 3 (увеличиваю количество)
И ловлю 400 ошибку
Service: AmazonEKS; Status Code: 400; Error Code: InvalidRequestException; Request ID: 5b8b0cdb-5491-4402-b6de-aebb1dccca6b
Node group в eks падает в состояние DEGRADED
А в описании причины
Ec2LaunchTemplateVersionMismatch The Amazon EC2 Launch Template : lt-07a1cc03cd9c57dee has a new version (4), which is not managed by AWS EKS.
Владимир
При этом если Desired count менять непосредственно в ASG то всё будет отлично, но появляются расхождения в eks и asg соответвенно
Vladimir
Vladimir
глянул код, eksctl берёт маппинг из eks-ami, а там рассчеты, основанные на лимитах по ENI
https://raw.githubusercontent.com/awslabs/amazon-eks-ami/master/files/eni-max-pods.txt
так что я бы подумал сильно ли нужно выключать этот флаг
вы упрётесь вот в эти лимиты
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html#AvailableIpPerENI
Владимир
Vladimir
опять же по коду смотрю, возможности отключить там нет (можно создать issue в eksctl, они быстро реагируют), а как хак - указать что-то большое в MAX_PODS
https://github.com/weaveworks/eksctl/blob/master/docs/current-001-node_bootstrap.md#bootstrap-script-for-amazon-linux-2
source /etc/eksctl/kubelet.env # this can override MAX_PODS
Vladimir
а подложить туда значение, видимо, можно вот так
https://github.com/weaveworks/eksctl/blob/master/examples/05-advanced-nodegroups.yaml#L31
Владимир
Ну и результат, одна нода "старая" и две новые
kubectl get nodes -o json | jq '.items[].status.capacity.pods'
"110"
"110"
"17"
Владимир
Vladimir
не, там то можно, я к тому, что в eksctl этого не вижу, и если хотите остаться в рамках этого инсрумента, то либо руками править cloud formation, либо пересоздать группу с этим хаком (+ кинуть issue)
Viktor
Всем привет.
Столкнулся с проблемой - 0/4 nodes are available: 2 Insufficient cpu, 2 Insufficient memory. Не было свободного процессора/памяти, для удовлетворения реквестов новых подов.
Штука рядовая, вычистил мусор, все поехало дальше Решил, что надо себе завести алерт на заканчивающиеся реквесты.
В Прометее нахожу метрику kube_node_status_allocatable_cpu_cores делаю sum, получаю число доступных для алокации ядер. Дальше суммирую метрику kube_pod_container_resource_requests_cpu_cores и получаю число больше, чем allocatable. Что выглядит странно, как-то поды обошли проблему Insufficient.
При этом в describe node видно, что реквесты на нодах на самом деле использованы не полностью.
Спустя какое-то время выясняю, что kube_pod_container_resource_requests_cpu_cores показывает реквесты и для подов со статусом completed. Но шедулер понятно эти поды не учитывает.
Метрики собираю kube-state экспортером.
Для масштаба подов, в статусе completed у меня с реквестами на 8 ядер, а в кластере 32 ядра.
Внимание вопрос - какую метрику использовать, чтобы предсказать что реквесты скоро закончатся(при том, что реального железа в кластере с запасом)?
George
Всем привет.
Столкнулся с проблемой - 0/4 nodes are available: 2 Insufficient cpu, 2 Insufficient memory. Не было свободного процессора/памяти, для удовлетворения реквестов новых подов.
Штука рядовая, вычистил мусор, все поехало дальше Решил, что надо себе завести алерт на заканчивающиеся реквесты.
В Прометее нахожу метрику kube_node_status_allocatable_cpu_cores делаю sum, получаю число доступных для алокации ядер. Дальше суммирую метрику kube_pod_container_resource_requests_cpu_cores и получаю число больше, чем allocatable. Что выглядит странно, как-то поды обошли проблему Insufficient.
При этом в describe node видно, что реквесты на нодах на самом деле использованы не полностью.
Спустя какое-то время выясняю, что kube_pod_container_resource_requests_cpu_cores показывает реквесты и для подов со статусом completed. Но шедулер понятно эти поды не учитывает.
Метрики собираю kube-state экспортером.
Для масштаба подов, в статусе completed у меня с реквестами на 8 ядер, а в кластере 32 ядра.
Внимание вопрос - какую метрику использовать, чтобы предсказать что реквесты скоро закончатся(при том, что реального железа в кластере с запасом)?
Я б ещё добавил
George
У тебя реквесты/лимиты не распространяются на поды, которые были созданы до введения квот на неймспейсы
Viktor
тут речь про cluster-wide реквесты/лимиты
Viktor
Разобрался. Можно из метрики kube_pod_status_phase статус пода Running, заджойнить с реквестами и получится как раз то, что нужно:
sum(sum(kube_pod_container_resource_requests_cpu_cores) by (namespace, pod, node) * on (pod) group_left() (sum(kube_pod_status_phase{phase="Running"}) by (pod, namespace) == 1)) by (node)
Vova
Парни, у кого-то есть опыт разворачивания Sentry в k8s?
Konstantin
https://github.com/helm/charts/tree/master/stable/sentry
George
George
хельм говно
George
у меня с ним было две проблемы
1. редис криво создавался
2. не создавался дефолтный юзер, т.к. джоба не отрабатывала
George
пнул руками
Andrey
а, это
Vova
Andrey
и еще есть https://github.com/getsentry/rb/issues/16
Andrey
оче веселый баг
George
George
еще очень больно модули дополнительные в сентри в кубере устанавливать
George
это надо по сути свой кастомный образ собирать