Dmytro
мы с коллегой в свое время написали свой велосипед который с помощью direnv определял в каком кластере и неймспейсе я нахожусь сейчас и брал соответствующие пароли из pass
Igorь
Вариант с sed -i "s/STAGE/$STAGE/g;s/CLUSTER/$CLUSTER/g" values.yaml && vault-template -t vault.yaml && helm upgrade -i ... -f values.yaml как-то проще выглядит, чем все остальное
Евгений
О великий здравый смысл
Dmytro
т.е. есть структура папок: cluster1 -- ns1 -- ns2 ... cluster2 ... делаешь cd в cluster1/ns1 - у тебя меняется kubecontext на этот кластер и ns и секреты берутся из cluster1/ns1, потом фоллбек на cluster1 где общие на весь кластер секреты и потом фоллбек на global
Dmytro
но сейчас есть же Helmfile
Alexander
Коллеги добрый день.Может кто-то использует aks+flex vol+key vault ? Суть в том,что оно пока работает по принципу монтирования диры в под с заданными секретами в файликах.Есть ли какой-то человеческий вид передать сикреты в ENV пода ?
Dmytro
и насколько я смотрел - там можно делать все то же самое но намного прозрачнее
Dmytro
прописать все хелм чарты и подключить в каждый несколько файлов values.yaml
Igorь
так ты можешь в values сделать cluster1: stage:1 params: ... cluster2: ...
А в моем случае не надо где-то перечислять кластера с их кредами. куб-конфиг можно прямо рядом с раннером хранить и деплоиться прямо в тот же кластер, где раннер у тебя запущен
Dmytro
https://github.com/roboll/helmfile#configuration # Values files used for rendering the chart values: # Value files passed via --values - vault.yaml # Inline values, passed via a temporary values file and --values, so that it doesn't suffer from type issues like --set - address: https://vault.example.com # Go template available in inline values and values files.
Dmytro
заодно получаем gitops и все версии чартов задокументированными в файле - можно потом восставноить кластер или продеплоить в новый одной командой (не считая стейтфулсервисы само собой)
Igorь
заодно получаем gitops и все версии чартов задокументированными в файле - можно потом восставноить кластер или продеплоить в новый одной командой (не считая стейтфулсервисы само собой)
в случае с седом то же самое выходит. Все сторонние сервисы с версиями хранятся в requirements.yaml. Он под контролем версий. Все основные параметры, кроме кредов в values.yaml - тоже под контролем версий. То же самое с темплейтами чарта. Единственное, что не в гите находится - это пароли.
Igorь
чтобы раздеплоить новый кластер - просто добавляешь 10 строк в .gitlab-ci.yml, которые строятся точно так же, как у всех остальных кластеров
RE
камрады, какой плагин для jenkins для деплоя в кубер посоветуете? их много, перебирать все не хочется..
Dmytro
свой велосипед с седом ближе к телу, это понятно
Igorь
свой велосипед с седом ближе к телу, это понятно
ну это как бы одна строчка, а не портянка с перечислением однотипных кластеров
Hankey
Добрый день! Товарищи, вопрос по настройке DNS опций для докера, а именно параметр ndots. Верно ли, что при cluster_name: k8s.example.com, необходимо устанавливать ndots: 3?
George
по-помоему нет
George
есть предложение - давай, ты сформулируешь как понял ТЫ СМЫСЛ этого параметра
Dmytro
для докера или для контейнера?
Hankey
есть предложение - давай, ты сформулируешь как понял ТЫ СМЫСЛ этого параметра
как я понял: данная опция позволяет пропустить обработку DNS запросов приложений кластера по зонам .com, .example, .k8s, и напрямую обращаться к другим приложениям своей же зоны. Например, app.k8s.example.com. Собственно, вопрос в том, что DNS имена содержат точку(корневая зона), которую обычно не пишут, и нужно ли её учитывать?
George
George
это кубовая опция
Hankey
нет
почему нет? Я использую kubespray, а данная опция конфигурирует опции докера
George
https://pracucci.com/kubernetes-dns-resolution-ndots-options-and-why-it-may-affect-application-performances.html
George
вот статья была. Когда точка в конце - тоже запрос НЕ идет в куб днс, а сразу наружу
George
получается, что так
RE
Посмотри jenkinsX
это разве плагин? вроде нет...
RE
а дженкинс уже есть просто
Леннарт Zh 🕊
это разве плагин? вроде нет...
Это новый дженкинс для кубера
RE
дада я читал о нем. увы, пока такое поставить не могу. нужно текущий дженкинс использовать
No1
Джен🤮кинс, да, главное штуки две недалеко друг от друга поставить, чтобы не скучно было им
Hankey
камрады, какой плагин для jenkins для деплоя в кубер посоветуете? их много, перебирать все не хочется..
https://plugins.jenkins.io/kubernetes https://plugins.jenkins.io/kubernetes-cli https://plugins.jenkins.io/kubernetes-credentials Вот эти три юзаю, полёт нормальный
Dmytro
выходит, что мы этим параметром определяем, какие запросы в куб днс, а какие наружу?
не совсем, мы определяем сколько минимум должно быть точек в днс имени чтобы локальный резолвер внутри пода не пыдался добавлять к нему префикс local search domains а сразу слал в апстрим днс (coredns)
Artem
Думаю можно просто ивенты парсить
Я посмотрел, количество терминированных подов - стандартная метрика, а в лейблах будет причина
Dmytro
к сожалению, нельзя сделать ndots 0 что имхо в случае куба с его днс логичнее всего
Dmytro
нечего там локальному резолверу даже пытаться - пусть в coredns сразу идет а тот ответит
Dmytro
угу
George
так там локального нет
Dmytro
а так куча мусорного трафика, еще и A и AAAA сразу
George
в смысле - локальный - по отношению к кластеру, не ? nsswitch, все дела
Dmytro
так там локального нет
где нет? внутри каждого пода есть
Dmytro
*контейнера
George
ну, ты имеешь в виду кусок libc, который этим занят ?
George
ну так вот докладываю - nsswitch регулирует опции его
Dmytro
ну да, кусок ядра
Dmytro
о, расскажи - эту часть не знал
George
# /etc/nsswitch.conf # # Example configuration of GNU Name Service Switch functionality. # If you have the `glibc-doc-reference' and `info' packages installed, try: # `info libc "Name Service Switch"' for information about this file. passwd: compat group: compat shadow: compat gshadow: files hosts: files mdns4_minimal [NOTFOUND=return] dns myhostname networks: files protocols: db files services: db files ethers: db files rpc: db files netgroup: nis
George
ты можешь выпилить хост файлс
George
может что-то еще есть - ведь сначала матчинг идет с хостс, а потом уже днсы-шмепеесы
George
а дальше уже, как я понимаю, идет в дело /etc/resolv.conf 😳
George
или наоборот ? 😜
Hankey
@gecube выходит, что если cluster_name: k8s.example.com, то ndots: 3 так?
Dmytro
@gecube выходит, что если cluster_name: k8s.example.com, то ndots: 3 так?
просто сделать ndots 1 и юзать всегда FQDN сервисов в подах а не my-service-name
Dmytro
и еще кстати, dnsConfig так и нельзя прописать глобально, только для каждого пода прописывать вручную? с 1.10 туда не заглядывал
Hankey
просто сделать ndots 1 и юзать всегда FQDN сервисов в подах а не my-service-name
как по мне, писать всегда FQDN — избыточно, и лучше сразу обращаться по короткому имени. К тому, уже реализован такой подход
Dmytro
тогда мы получаем кучу мусорного траффика. На каждый резолв любого днс имени с ndots 3 будет + 6 днс запросов в coredns
Dmytro
а это плюс нагрузка на coredns и есть еще известные баги с conntrack и днс ответами по 5-15 секунд, надо посмотреть какое актуальное состояние у этой проблемы
Hankey
тогда мы получаем кучу мусорного траффика. На каждый резолв любого днс имени с ndots 3 будет + 6 днс запросов в coredns
хм. А действительно, если ndots: 0, то сначала идёт обращение как к абсолютному имени
Ilya
Доброго дня, кто может подсказать на чем лучше развернуть кластер kube? Пока есть варианты Rancher, Kubespray. Понятно, что для автоматизации kubespray удобнее, зато у у ранчера есть вебка, в которой можно всё посмотреть и там же развернуть поды и т.д. Возможно есть ещё вариант лучше этих двух?
Slach
Алилуя, наконец то хоть кто-то нормальный UI для управления правами в k8s сделал https://github.com/sighupio/permission-manager