Dmytro
NM
Dmytro
NM
Вот немного вброшу про алокацию IP :
Learning from our experiences with Borg, we decided
that Kubernetes would allocate an IP address per pod,
thus aligning network identity (IP address) with application
identity. This makes it much easier to run off-the-shelf
software on Kubernetes: applications are free to use
static well-known ports (e.g., 80 for HTTP traffic), and
existing, familiar tools can be used for things like network
segmentation, bandwidth throttling, and management. All of
the popular cloud platforms provide networking underlays
that enable IP-per-pod; on bare metal, one can use an SDN
(Software Defined Network) overlay or configure L3 routing
to handle multiple IPs per machine.
NM
И как следствие - мы работаем только с верхушкой айсберга в попытках кластеризовать приложение 😉
The vector makes it very hard to support jobs that span multiple clusters in a layer above Borg.
𝚔𝚟𝚊𝚙𝚜
Dmytro
NM
То что у нас есть только половина из перечисленного что умеет Borg:
The following partial list gives
an idea of their range and variety:
1 Naming and service discovery (the Borg Name Service, or
BNS).
2 Master election, using Chubby.2
3 Application-aware load balancing.
4 Horizontal (number of instances) and vertical (size of an
instance) autoscaling.
5 Rollout tools that manage the careful deployment of new
binaries and configuration data.
6 Workflow tools (e.g., to allow running multijob analysis
pipelines with interdependencies between the stages).
7 Monitoring tools to gather information about containers,
aggregate it, present it on dashboards, and use it to trigger
alerts.
Artyom
А вообще это рептилоиды, масоны и скрытая правда
Artyom
Я к тому, что гугл может ещё шире на этот вопрос смотрит
Artyom
Даже шире концепции Borg
Nikita
господа, в ClusterRole есть apiGroups, resources, verbs. Где найти полный список всех возможных вариантов?
𝚔𝚟𝚊𝚙𝚜
А Borg на чём написан? - не на go же?
𝚔𝚟𝚊𝚙𝚜
Andrey
Непривет
Есть задача следующего типа: при деплое k8s secret и k8s deployment нужно расшифровывать значения в секрете и только после этого давать деплойменту этот секрет использовать в качестве env. Есть идеи?
Детали: для работы с секретом надо выполняться от определённого сервисаккаунта; нужно предотвратить работу деплоймента с нерасшифрованным секретом или предыдущей его версией; желательно удалять расшифрованный секрет если удаляют оригинал.
На данный момент попробовал один вариант: вместе с secret и deployment запускается job для расшифровки, а в deployment добавляется initContainer для ожидания расшифровки. Минусы: job не удаляется, не перезапускается при перезаписи секрета.
Andrei
Ребят, подскажите, плиз, а дефолтный планировщик можно как-то сконфигурить чтобы он шедулил поды в деплойменте поровну, игнорируя ресурсы? Или кастомить своим провайдером алгоритмов?
𝚔𝚟𝚊𝚙𝚜
Andrey
вот да, есть идея сделать что-то наподобии sealedsecrets от bitnami, только опыта нет
Andrei
Да я уже шедулер частично сделал, а потом наткнулся на возможность подсунуть чисто алгоритм. Оператор в целом то вообще не сюда
𝚔𝚟𝚊𝚙𝚜
Andrei
Да нифига он не универсальный, как оператор то поможет
George
George
но у него есть второе дно - написать НОРМАЛЬНЫЙ оператор - сложно
Lucky SB
ага. в переводе на русский:
Вы странный и хотите странного. Вот вам совочек, идите грузите камаз песком
George
а чтоб его еще вывести в продакшен. А потом у тебя кпубенейтс и 100500 несовместимых и сырых операторов
George
бинго
someone
всем привет. можно как то в одном поде организовать контйнейр nginx с proxy_pass на на второй контейнер?
Lucky SB
Lucky SB
someone
Можно. proxy_pass 127.0.0.1:xxx;
не совсем понимаю как. nginx слушает порт 443 и перенаправляет на localhost:8080, при этом второй контейнер не может подняться т.к port in use 8080
Andrey
Lucky SB
Евгений
Andrei
Нет. Одной штуки не хватит. Я бы тогда не спрашивал
Andrey
Евгений
Можно запустить n daemonset'ов :)
Евгений
Но вообще вы хотите странного
Dmytro
Как вариант в одном поде запустить несколько одинаковых контейнеров может?
𝚔𝚟𝚊𝚙𝚜
идемпотентность - наше всё
Andrei
Lucky SB
Евгений
Да, самый важный вопрос -- зачем оно вам нужно так?
Dmytro
Но почему тогда сразу не запустить несколько процессов в одном контейнере
Alexander
Andrey
Andrei
Вопрос не странный, он четкий и ответ на него тоже)
Lucky SB
Lucky SB
Евгений
Andrey
волт не подойдёт
Andrey
я знаю, потому что у меня уже он есть, я его использую.
Andrey
перехожу на google kms + workload identity в GKE
Andrey
секреты хранятся в зашифрованном виде в гите, расшифровываются в кубе с помощью сервисного аккаунта имеющего доступ к ключу
Andrey
о чём и речь
Lucky SB
ну если приложение не хочешь научить расшифровывать себе настройки. то сделай как банзай клауд.
отдельная прога, которая все расшифрует и подсунет в переменные окружения процесса
Andrei
Да зачем так сложно, нужно просто закастомить шедулер.
Andrei
Просто я когда начал свой писать, понял что придется добавлять и всю логику возни с affinity/antiaffnity/selectors
А есть вот такая интересная возможность: https://books.google.ru/books?id=TmGLDwAAQBAJ&pg=PA351&lpg=PA351&dq=RegisterAlgorithmProvider&source=bl&ots=lqyOabyCaF&sig=ACfU3U1zjjKrDs0O09p-I30OYKZEym-1nA&hl=ru&sa=X&ved=2ahUKEwiy-6yij6TlAhWilIsKHc5nBAgQ6AEwA3oECAkQAQ#v=onepage&q=RegisterAlgorithmProvider&f=false
Lucky SB
someone
Lucky SB
Ты API для ms azure пилишь ? :D
Andrey
Andrey
приветствую! столкнулся со следующей проблемой: если в ингрессе указываю в правилах для хоста локейшен на новый сервис например:
- host: service.example.ru
http:
paths:
- path: /
backend:
serviceName: service
servicePort: 80
- path: /new
backend:
serviceName: newservice
servicePort: 80
то по какой то причине перестает работать канари ингресс который ведет на этот сервис
nginx.ingress.kubernetes.io/canary: "true"
nginx.ingress.kubernetes.io/canary-weight: "20"
spec:
rules:
- host: service.example.ru
http:
paths:
- backend:
serviceName: newservice
servicePort: 80
может быть кто-нибудь с таким сталкивался?
someone
Lucky SB
netstat -ntpl покажи плиз еще из контейнера nginx