𝚔𝚟𝚊𝚙𝚜
единственное что напрашивается из мыслей - придется конфу из etcd по сети тащить, тоже + отклик будет, надо ли оно тогда вообще
Разные причины могут быть. Во первых в целях безопасности он может быть задеплоен другими людьми в другом периметре сети. Во вторых etcd-кластер может деплоиться автоматически или даже в другом кластере Kubernetes. Выносить его в целях повышения производительности или распределения нагрузки на мастера я не вижу особого смысла, так как kubeadm предоставляет full cycle менеджмент для всего control-plane включая etcd и автоматического присоединения нод
Vladimir
Подскажите не как не могу понять как работает weight для podAntiAffinity. Допустим у меня есть 2 ноды. Первый под пришел на 1ую нода с весом 50 в podAntiAffinity. Если верить документации то следующий под должен пойти на ноду где больше число веса(то есть ресурсы + те 50 которые туда повесил первый под). То есть опять на первую ноду. Разве он не должен при podAntiAffinity выбрать наименьший вес? Или я что то не понимаю
Марат
Ресурсы и вес суммировали
Anonymous
5000 https://kubernetes.io/docs/setup/best-practices/cluster-large/
Не так уж и много. И наверняка кросс-дц не умеет?
George
Это сотни стоек
Anonymous
Это много, но далеко не самый большой кластерок
George
несомненно
Й
Ребзя, хелп! Вопрос к тем кто юзает ALB Ingress controller. Можете поделиться скриптом/лямбдой/чем-то ещё чем вы решаете вопрос лимита 1000 таргетов на каждый АЛБ
Й
АЛБ?
Dmitry
Ребзя, хелп! Вопрос к тем кто юзает ALB Ingress controller. Можете поделиться скриптом/лямбдой/чем-то ещё чем вы решаете вопрос лимита 1000 таргетов на каждый АЛБ
За aws не в курсе, а можно там поставить несколько ALB ingress (разделить по классам)? Таким образом избежать этого ограничения?
Й
За aws не в курсе, а можно там поставить несколько ALB ingress (разделить по классам)? Таким образом избежать этого ограничения?
Можно. Так и делаем. Но вот как вытащить количество таргетов из АЛБ, чтобы понять сколько ещё осталось до лимита чет не совсем ясно как сделать. Думал может кто-то уже решил этот вопрос и может поделиться готовым решением
Dmitry
Можно. Так и делаем. Но вот как вытащить количество таргетов из АЛБ, чтобы понять сколько ещё осталось до лимита чет не совсем ясно как сделать. Думал может кто-то уже решил этот вопрос и может поделиться готовым решением
Насколько я знаю ALB нормальных метрик не выдает. Судя по Церкви метрик, народ там парсит логи, а потом из этого всего мастерит метрики. Видимо так и придется вытаскаивать таргеты. У меня даже складывается ощущение, что проще взять три ec2 поставить на них обычный nginx ingress, и озадачить pacemaker переключать по ним elastic ip. Зато метрики можно нормально собирать))). Но после такого, задумаешься, а нафига я в облаке, если даже балансеры самому поднимать приходится =)
Dmitry
Важной привязкой к АЛБ является наличие WAF. Это одна из бизнесс-фичей. К нджинксу его не прикрутишь.
А киньте линк, интересно почитать что это такое. Никогда не слышал (простите мое невежство)
Dmitry
web application firewall. Интересно, уже нашел
Dmitry
AWS Web Application Firewall (WAF) – Helps to protect your web applications from common application-layer exploits that can affect availability or consume excessive resources. As you can see in my post (New – AWS WAF), WAF allows you to use access control lists (ACLs), rules, and conditions that define acceptable or unacceptable requests or IP addresses. You can selectively allow or deny access to specific parts of your web application and you can also guard against various SQL injection attacks. We launched WAF with support for Amazon CloudFront. Интересно, как это работает. Особенно про SQL инъекции, как это решается на уровне балансера. Типо всякие GET параметры парсит на распростронненные инъекции?Интересно дорого ли выходит
Евгений
Ага
Что ага? nginx ModSecurity это WAF для nginx'а, в ингресе он даже стоит по умолчанию: https://kubernetes.github.io/ingress-nginx/user-guide/third-party-addons/modsecurity/
Евгений
Не понятно чем вам модсекурити не нравится
Евгений
А если сильно не нравится, то натравите просто alb на ingress-nginx
Й
Мне кажется WAF по круче будет не?
Тут больше репутация. Ну как бы нельзя сравнивать AWS WAF и nginx
Dmitry
А если сильно не нравится, то натравите просто alb на ingress-nginx
Тоже вариант, правда latency чутка подрастет
Евгений
Тут больше репутация. Ну как бы нельзя сравнивать AWS WAF и nginx
Честно говоря спорный вопрос у кого репутация лучше, я бы поставил скорее на Сысоева
Dmitry
Господам из Самсунга больше нравится AWS WAF 💁‍♂
Ушли не в ту сторону вопроса. В итоге три варианта получается. Либо по логам определять сколько таргетов, либо слать трафик из alb в nginx ingress (или любой другой), либо не юзать WAF. Два последних как я понял не подходят
Виктор
The current best practice for composing a complex application from discrete parts is to create a top-level umbrella chart that exposes the global configurations, and then use the charts/ subdirectory to embed each of the components. из доки хелма, кто-то юзает его так? Разве не стремно все сервисы от которых зависит приложение пихать в один релиз?
Виктор
helm install stable/service1 helm install stable/service2 helm install stable/myservice
Виктор
в отдельных релизах
Й
Не люблю абмбрелла чарты. Какая-то лютая неприязнь к ним. Использую хельмфайл
Dmitry
в отдельных релизах
ну если тебе так удобно делай так. Главное не забывай, какая версия сервиса зависит от другой версии сервиса. У меня прогеры деплоят отдельно, ну они соблюдают обратную совместимость (или нет, но это уже их проблемы)
Й
Хелмфайл умеет в хелм3?
А мы пока ещё на хельм2
Й
Но вопрос хороший)
Dmitry
Лол, РКН забанили статику aws - https://a0.awsstatic.com/. У меня все на aws без верстки и картинок =(. Очередной ip маршрутом через vpn... Задолбали
Й
Лол, РКН забанили статику aws - https://a0.awsstatic.com/. У меня все на aws без верстки и картинок =(. Очередной ip маршрутом через vpn... Задолбали
Ох, еп... Зато не скушно) "Пока противник рисует карты наступления, мы меняем ландшафты, причём вручную..."(с)
Сергей
забаньте его. он инвайты в левые группы кидает
Tadeusz
+
Shamil
Ребята, подскажите, пожалуйста, как включить StickySessions для nginx-ingress default backend? Указал отдельный сервис бекендом по-умолчанию, но настройки липких сессий применяются только к хостам указанным непосредственно в настройках ингресса, а к произвольным хостнеймам остаются умолчания.
Владимир
Добрый день, кто знает как в eks указать свои параметры bootstrap.sh(в частности пытаюсь --use-max-pods false) Проблема возникла при скелинге. т.е. я меняю параметры бутстрапа( сохраняю новую версию и делаю её дефаултной) в launch template привязанному к Auto Scaling Group которая в свою очередь указана в eks кластере. После чего к пишу eksctl scale nodegroup --cluster test --name test-ng --nodes 3 (увеличиваю количество) И ловлю 400 ошибку Service: AmazonEKS; Status Code: 400; Error Code: InvalidRequestException; Request ID: 5b8b0cdb-5491-4402-b6de-aebb1dccca6b Node group в eks падает в состояние DEGRADED А в описании причины Ec2LaunchTemplateVersionMismatch The Amazon EC2 Launch Template : lt-07a1cc03cd9c57dee has a new version (4), which is not managed by AWS EKS.
Владимир
При этом если Desired count менять непосредственно в ASG то всё будет отлично, но появляются расхождения в eks и asg соответвенно
Vladimir
глянул код, eksctl берёт маппинг из eks-ami, а там рассчеты, основанные на лимитах по ENI https://raw.githubusercontent.com/awslabs/amazon-eks-ami/master/files/eni-max-pods.txt так что я бы подумал сильно ли нужно выключать этот флаг вы упрётесь вот в эти лимиты https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-eni.html#AvailableIpPerENI
Владимир
выглядит так, что конфликт у вас в том, что создавали вы группу через eksctl (а она через cloudformation), а меняли руками уже лаунч темплейты. eksctl из коробки средств для обновлений, как я вижу, не даёт. может попробуете поменять группу в cloudformation?
Да, вы абсолютно правы, кластер создавался с использованием eksctl. Касательно лимитов, цель как раз уйти от ограничения накладываемого aws-cni, везде раскатан weave и теперь мы не ограничены количеством eth на инстанс.
Vladimir
опять же по коду смотрю, возможности отключить там нет (можно создать issue в eksctl, они быстро реагируют), а как хак - указать что-то большое в MAX_PODS https://github.com/weaveworks/eksctl/blob/master/docs/current-001-node_bootstrap.md#bootstrap-script-for-amazon-linux-2 source /etc/eksctl/kubelet.env # this can override MAX_PODS
Vladimir
а подложить туда значение, видимо, можно вот так https://github.com/weaveworks/eksctl/blob/master/examples/05-advanced-nodegroups.yaml#L31
Владимир
опять же по коду смотрю, возможности отключить там нет (можно создать issue в eksctl, они быстро реагируют), а как хак - указать что-то большое в MAX_PODS https://github.com/weaveworks/eksctl/blob/master/docs/current-001-node_bootstrap.md#bootstrap-script-for-amazon-linux-2 source /etc/eksctl/kubelet.env # this can override MAX_PODS
Без проблем, можно Вот часть бутстрапа отвечающая за количество подов на инстанс if [[ "$USE_MAX_PODS" = "true" ]]; then MAX_PODS_FILE="/etc/eks/eni-max-pods.txt" set +o pipefail MAX_PODS=$(grep ^$INSTANCE_TYPE $MAX_PODS_FILE | awk '{print $2}') set -o pipefail if [[ -n "$MAX_PODS" ]]; then echo "$(jq ".maxPods=$MAX_PODS" $KUBELET_CONFIG)" > $KUBELET_CONFIG else echo "No entry for $INSTANCE_TYPE in $MAX_PODS_FILE. Not setting max pods for kubelet" fi fi т.е. передавая false мы просто игнорируем этот кусок. Статья с амазона https://aws.amazon.com/blogs/opensource/improvements-eks-worker-node-provisioning/
Владимир
Ну и результат, одна нода "старая" и две новые kubectl get nodes -o json | jq '.items[].status.capacity.pods' "110" "110" "17"
Vladimir
не, там то можно, я к тому, что в eksctl этого не вижу, и если хотите остаться в рамках этого инсрумента, то либо руками править cloud formation, либо пересоздать группу с этим хаком (+ кинуть issue)
Viktor
Всем привет. Столкнулся с проблемой - 0/4 nodes are available: 2 Insufficient cpu, 2 Insufficient memory. Не было свободного процессора/памяти, для удовлетворения реквестов новых подов. Штука рядовая, вычистил мусор, все поехало дальше Решил, что надо себе завести алерт на заканчивающиеся реквесты. В Прометее нахожу метрику kube_node_status_allocatable_cpu_cores делаю sum, получаю число доступных для алокации ядер. Дальше суммирую метрику kube_pod_container_resource_requests_cpu_cores и получаю число больше, чем allocatable. Что выглядит странно, как-то поды обошли проблему Insufficient. При этом в describe node видно, что реквесты на нодах на самом деле использованы не полностью. Спустя какое-то время выясняю, что kube_pod_container_resource_requests_cpu_cores показывает реквесты и для подов со статусом completed. Но шедулер понятно эти поды не учитывает. Метрики собираю kube-state экспортером. Для масштаба подов, в статусе completed у меня с реквестами на 8 ядер, а в кластере 32 ядра. Внимание вопрос - какую метрику использовать, чтобы предсказать что реквесты скоро закончатся(при том, что реального железа в кластере с запасом)?
George
Всем привет. Столкнулся с проблемой - 0/4 nodes are available: 2 Insufficient cpu, 2 Insufficient memory. Не было свободного процессора/памяти, для удовлетворения реквестов новых подов. Штука рядовая, вычистил мусор, все поехало дальше Решил, что надо себе завести алерт на заканчивающиеся реквесты. В Прометее нахожу метрику kube_node_status_allocatable_cpu_cores делаю sum, получаю число доступных для алокации ядер. Дальше суммирую метрику kube_pod_container_resource_requests_cpu_cores и получаю число больше, чем allocatable. Что выглядит странно, как-то поды обошли проблему Insufficient. При этом в describe node видно, что реквесты на нодах на самом деле использованы не полностью. Спустя какое-то время выясняю, что kube_pod_container_resource_requests_cpu_cores показывает реквесты и для подов со статусом completed. Но шедулер понятно эти поды не учитывает. Метрики собираю kube-state экспортером. Для масштаба подов, в статусе completed у меня с реквестами на 8 ядер, а в кластере 32 ядра. Внимание вопрос - какую метрику использовать, чтобы предсказать что реквесты скоро закончатся(при том, что реального железа в кластере с запасом)?
Я б ещё добавил
George
У тебя реквесты/лимиты не распространяются на поды, которые были созданы до введения квот на неймспейсы
Viktor
тут речь про cluster-wide реквесты/лимиты
Viktor
Разобрался. Можно из метрики kube_pod_status_phase статус пода Running, заджойнить с реквестами и получится как раз то, что нужно: sum(sum(kube_pod_container_resource_requests_cpu_cores) by (namespace, pod, node) * on (pod) group_left() (sum(kube_pod_status_phase{phase="Running"}) by (pod, namespace) == 1)) by (node)
Vova
Парни, у кого-то есть опыт разворачивания Sentry в k8s?
Konstantin
https://github.com/helm/charts/tree/master/stable/sentry
George
хельм говно
George
у меня с ним было две проблемы 1. редис криво создавался 2. не создавался дефолтный юзер, т.к. джоба не отрабатывала
George
пнул руками
Andrey
а, это
Vova
https://github.com/helm/charts/tree/master/stable/sentry
Это я видел, но оно не официальное(
Andrey
и еще есть https://github.com/getsentry/rb/issues/16
Andrey
оче веселый баг
George
и еще есть https://github.com/getsentry/rb/issues/16
с таким дерьмом не сталкивался
George
еще очень больно модули дополнительные в сентри в кубере устанавливать
George
это надо по сути свой кастомный образ собирать
Andrey
с таким дерьмом не сталкивался
в комбинации редис + сентинел + хапрокси только так