Alexander
Что лучше начать использовать - EKS или гугл cloud?
У Гугла control plane бесплатный, в EKS 150$ в мес
George
надо заказать гуглокластер, а потом вычислительную нагрузку гонять на мастерах. Парни, кто так делал? )
Oleg
У нас всё в амазоне и тестовый кластер уже настроен через терраформ
Dmitry
Пинги есть
dns пингуется, но имена не резолвятся по таймауту?
Oleg
Но уйти с EKS не проблема
Alexander
Dmitry
Запахло мегафоном
Alexander
Недавно Гугловое облако сильно легло целиком и надолго. У Амазон не так сильно и один регион в Европе. AWS до сих пор понадежнее
Alex Sharov
Привет! Подскажите пожалуйста что я не так делаю с роллинг апгрейдом. Конфигурация там такая: maxSurge=33% и maxUnavailable=0. Во время апгрейда куб пересоздает все поды разом, а не занимается оверпровижинингом
George
манифест полностью покажи
George
https://k8s.af/
George
отличная ссылка
Tadeusz
лол, да
G72K
надо заказать гуглокластер, а потом вычислительную нагрузку гонять на мастерах. Парни, кто так делал? )
План хорош, но у GKE контрол плейн не ноды кластера вообще. Просто процессы под каким-нибудь systemd на далёких виртуалках
George
План хорош, но у GKE контрол плейн не ноды кластера вообще. Просто процессы под каким-нибудь systemd на далёких виртуалках
я думал о таком сценарии. Т.е. они вообще как ноды не видны? Классно. Молодцы. Умницы. Хорошо придумали
Alex Sharov
манифест полностью покажи
https://pastebin.com/raw/Y7t3azFU
Alex Sharov
https://pastebin.com/raw/Y7t3azFU
+ pdb https://pastebin.com/raw/WC8nSTYQ
George
у меня с strategy: rollingUpdate: maxSurge: 25% maxUnavailable: 0 type: RollingUpdate
George
вроде все работает
George
и без PodDisruptionBudget
Alex Sharov
попробую сегодня еще раз
Igorь
А можете просветить, как правильно работать с volumeClaimTemplates? В нескольких мануалах я встречал такое: name: my-service replicas: 3 volumeMounts: - mountPath: /data name: zookeeper-vol volumeClaimTemplates: - metadata: name: zookeeper-vol Но когда я делаю так же, то: 1) да, у меня создается 3 pvc 2) у них имена вида zookeeper-vol-my-service-{0,1,2} 3) в самом StatefulSet же монтируется просто zookeeper-vol. Как понять, к кому кто примонтировался и примонтировался ли?
George
Но pvc - pv, а не pvc - pod
Igorь
спасибо, разобрался
Gleb
где админы
Kirill
где админы
Одни девопсы кругом
V 🏴‍☠️
@kvaps
𝚔𝚟𝚊𝚙𝚜
@kvaps
fixed
V 🏴‍☠️
Eugene
Всем привет. Прошу помощи в возможно тривиальной задаче, но я пока не нашел решения. Дано: bare metal cluster, metallb, ingress-nginx, 5 openvpn tunnels Задача: научить ingress принимать трафик сразу по 5 ip на которые подняты openvpn tunnel
George
У тебя ингресс в хост мод ?
Eugene
Пытался сделать несколько service type LoadBalancer, каждый на своем айпи тунелей, но ингресс подтягивает только самый первый ip тунеля
George
Опенвпн как запущен ?
George
Нарисуй архитектуру и чего хочешь. Выглядит странно, т.к..опенвпн требует отдельного айпи на каждом сервере
Eugene
У тебя ингресс в хост мод ?
Не понял что это значит. У меня ингресс посажен на одну ноду, на которую прокинуты опенвпн тунели
Eugene
сек
George
Потом ещё захочешь ospf & bgp поверх этого гонять
Anonymous
кто крутит в k8s Percona XtraDB Cluster? как система сбоит часто ? https://github.com/helm/charts/tree/master/stable/percona-xtradb-cluster
𝚔𝚟𝚊𝚙𝚜
кто крутит в k8s Percona XtraDB Cluster? как система сбоит часто ? https://github.com/helm/charts/tree/master/stable/percona-xtradb-cluster
когда игрался с ним, был один неприятный момент, что если все реплики одновременно вырубить, а затем запустить, то он сам не развернётся, то есть по прежнему нужно выбрать ноду с которой делать будстрап кластера и ручками её запускать
𝚔𝚟𝚊𝚙𝚜
возможно в новых версиях они уже прикрутили что-то для решения этой задачи
𝚔𝚟𝚊𝚙𝚜
если попробуешь, напиши
George
у тебя все адреса опенвпн должны быть на хосте - это раз. Два. У тебя ингресс должен быть в хост моуд
George
тогда все получится, проблем не вижу
𝚔𝚟𝚊𝚙𝚜
имхо, это косяк.
ну изначально оно было by-design так, я хз, может они решили эту же логику в куб затащить
George
а вообще идеальный вариант, кода у тебя впн клиенты цепляются к отдельной тачке (пускай будет номер 6). И у тебя все остальные умеют (знают), что роуты к 10.10.10.1-10.10.10.9 лежат через эту тачку.
George
иначе можно словить спецэффект, когда у тебя пакет приходит через ингресс, идет, скажем, на 5-ю ноду, а она ни слухом, ни духом про впны и клиентов за ним. Но это можно порешать буквально парой правил файрволла (правильный маскарад и понеслась).
George
согласен, что докер + впн - это не прям тривиально, а тем более кубер + впн, но задача не выглядит нерешаемой
Eugene
Можно узнать keywords как загуглить ингресс хост моуд?
George
https://lmgtfy.com/?q=nginx+ingress+host+mode+network ?
D
Привет, подскажите, каким образом должны работать спотовые инстансы в ксластере с автоскейлигом и горизонтальным автоскейлингом? Не совсем понятно... Ну я понял, что с горизонтальным автоскейлингом в ноде будет создаваться разное колличество подов при большой нагрузке на ЦП. Не понял как по итогу должно это работать...
𝚔𝚟𝚊𝚙𝚜
https://github.com/ishantanu/awesome-kubectl-plugins
Alexander
Ну тебе еще нужно что-то, что при росте нагрузки сначала добавит нод в кластер, а потом уже больше подов запустит
Наоборот. Сначала надо запустить больше подов через HPA. А потом Cluster Autoscaler увидит что есть не зашедуленные поды и поднимет ноды для них.
D
Ну тебе еще нужно что-то, что при росте нагрузки сначала добавит нод в кластер, а потом уже больше подов запустит
Ну вот у меня есть 1 ксластер на нем 1 нода для 1 региона, для теста горизонтального автоскейлинга сделал. Там в доке была проверка на то все ли ок скейлится когда сильно грузится проц. Все скейлится. Потом я создал (по доке, как настраивать спот инстансы) через клаудформейшн 3 спот инстанса (создало 3 ноды). На них стоит interraption handler, как у казано в доке. То есть на данный момент получается в кластере 4 ноды, все с автоскейлингом, первая нода она у себя имеет 1 под, который при нагрузке скейлит. То есть как я понимаю мне надо следующее: Мне нужно поду указать чтобы чтобы он старался грузится на спотовых инстансах. А на спотовых инстансах добавить агоризональный автоскейл? Вообще капец каша-малаша какая-то))
Alexander
Ну вот у меня есть 1 ксластер на нем 1 нода для 1 региона, для теста горизонтального автоскейлинга сделал. Там в доке была проверка на то все ли ок скейлится когда сильно грузится проц. Все скейлится. Потом я создал (по доке, как настраивать спот инстансы) через клаудформейшн 3 спот инстанса (создало 3 ноды). На них стоит interraption handler, как у казано в доке. То есть на данный момент получается в кластере 4 ноды, все с автоскейлингом, первая нода она у себя имеет 1 под, который при нагрузке скейлит. То есть как я понимаю мне надо следующее: Мне нужно поду указать чтобы чтобы он старался грузится на спотовых инстансах. А на спотовых инстансах добавить агоризональный автоскейл? Вообще капец каша-малаша какая-то))
Поду через nodeSelector чтоб грузился на нужные ноды. Для подов HPA. А на спотовую ASG группу натравливаешь Cluster Autoscaler. Правила Амазона по скейлу нод просто не ставятся. +1 нода делается Cluster Autoscaler когда не хватает ресурсов зашедулить под
Just a baka
Я делал вот по этой доке https://docs.aws.amazon.com/en_us/eks/latest/userguide/cluster-autoscaler.html чет не очень понимаю как использовать спотовые инстансы в этом случае
https://docs.aws.amazon.com/autoscaling/ec2/userguide/asg-purchase-options.html Где-то здесь надо еще посмотреть, если нужен автоскейлинг нод. Все равно под капотом у кластер автоскейлера должен быть точно тот же ASG.
Andrey
платиновый вопрос: ищу самое лучшее введение в Кубернетес для чайников. Так чтоб доступно было даже для фронтендера.
UglyKoyote
катакода
Andrey
а то на ютубе по запросу kubernetes tutorial слишком много результатов
Andrey
спасибо
Andrey
совсем забыл про катакоду
D
Поду через nodeSelector чтоб грузился на нужные ноды. Для подов HPA. А на спотовую ASG группу натравливаешь Cluster Autoscaler. Правила Амазона по скейлу нод просто не ставятся. +1 нода делается Cluster Autoscaler когда не хватает ресурсов зашедулить под
То есть поду который находится на ноде с горизональным автоскейлингом надо указать в affinity чтобы грузился на спотовые, ок, но спотовые разве его скейлить будут горизонтально? или он будет скейился где угодно из-за того, что ставится метрикс-сервер на кластер?
Fedor
Знает кто как изменить default non-masquerade-cidr - 10.0.0.0/8 ?
D
Хз с affinity, nodeSelector точно подходит. На ASG нужная метка, а правил скалинга нет. Настраиваешь Horizontal Pod Autoscaler по нужным метрикам.
Кароч туго до меня доходит) но как я понял мне нужно просто на спотовой ноде добавить все тоже что я делал для обычной чтобы настроить там горизонтальный автоскейлинг?