George
А можно livelinesProbe сделать не чтоб 200 ждало в ответе. а чтоб 401
Вот это поворот ) вообще, конечно, навертеть можно что угодно. Остаётся главный вопрос - зачем
engelbart
ну вот у меня там приложение которое с авторизацией
Egor
Ща проверяю с metallb что-то после того как ноду спать уложил, новый IP metallb не выдал.
Egor
А ты как настроил ? Не-bgp, да?
А нужно bgp? На нём точно магия будет работать?
George
layer2
Сейчас уже бошка не варит, но если у тебя куб в облаке, то может не работать по идее. Или баре метал ? Остаётся логи и доки смотреть
Игорь
Баре метал на виртуальных серверах.
роутеры есть или плоская сетка?
Egor
роутеры есть или плоская сетка?
В смысле между нодами или наружу?
Egor
между
Плоская через wireguard
Игорь
Плоская через wireguard
wireguard не умеет L2
Egor
wireguard не умеет L2
Так магия из-за этого не работает? А я уже придумал теорию что metallb не контролирует доступны ли ему адресы или нет. То есть не знает что при падении какой то ноды нужно кластеру адрес менять.
Евгений
Всем доброй ночи) При создании object storage в rook: по документации пошагово создаю bucket https://rook.io/docs/rook/v1.0/ceph-object.html, однако при переподключении через rook toolbox он пропадает. В чем может быть проблема?
Egor
wireguard не умеет L2
И metallb по идее использует kubernetes network для связи между нодами, и она тоже не l2
Игорь
И metallb по идее использует kubernetes network для связи между нодами, и она тоже не l2
Связь между нодами (точнее, связь с apiserver) - это одно, ему надо иметь какой-то механизм переноса IP с ноды на ноду. В плоской L2 сети можно просто объявить, что конкретная нода присваивает себе такой-то IP. Если есть маршрутизация, то надо настраивать маршрутизаторы на BGP-пиринг с MetalLB.
Vladislav
Ребят, есть фулстак приложение, нормальная ли практика писать один helm чарт для фронта и бека? или все же стоит создать два чарта?
George
Релизный цикл один или два ?
Vladislav
Релизный цикл один или два ?
Два, просто есть ещё параллельные ui тесты, каждому из которых нужен свой бек и бд, т.е возможно если будет два чарта, для этих тестов привязывать бек через requirements ?
Anton
что-то не найду, кастомайзом уже как-то можно секрет сгенерить из envvars, или еще пока нет?
engelbart
Что за кастомайз
George
Что за кастомайз
Утилита такая, от Гугла. Kustomize
Anton
только не через сохранение в файл, пожалуйста
Vadim
что-то не найду, кастомайзом уже как-то можно секрет сгенерить из envvars, или еще пока нет?
https://github.com/kubernetes-sigs/kustomize/blob/master/docs/eschewedFeatures.md#build-time-side-effects-from-cli-args-or-env-variables принципиально нельзя
Anton
я что-то не совсем уловил, что значит "frustrate that goal". Мне что, секреты в гит пушить
Anton
или на каждый секрет edit вызывать
Mikhail
Ребят, привет. Я с тупым вопросом. Можно ли как-то экранировать непотребные символы в лэйблах? Деплоим через хелм, и очень хотелось бы в лейбл добавлять мыло, экранируя, соответственно, '@'
Vadim
я что-то не совсем уловил, что значит "frustrate that goal". Мне что, секреты в гит пушить
https://github.com/kubernetes-sigs/kustomize/blob/master/examples/secretGeneratorPlugin.md#secret-values-from-anywhere
Anton
"Download it", "Compile it". качать-копать... ну спасибо, всеравно
Ilya
мм kustomize вроде встроен в kubectl с версии 1.14
Ilya
В cli-runtime и kubectl добавлен флаг -k для интеграции с kustomize (кстати, его разработка теперь ведётся в отдельном репозитории), т.е. для обработки дополнительных YAML-файлов из специальных директорий kustomization
Ilya
ну да, вот из 1.14 changelog инфа
Anton
голым kubectl не совсем ясно как распечатать результат билда кастомайза
Anton
поэтому я сам бинарник тоже скачал
Anton
я все-таки не врубаюсь в этот подход, со всем в репе, включая секреты. Почему нельзя было сделать секреты из энва, во всех сиаях все секреты в энве. Чо за бред. или этот плагин тогда сделать встроенным.
nikita
кто нибудь сталкивался с такой проблемой https://github.com/kubernetes/kubernetes/issues/64137 ?
Anton
https://youtu.be/ahMIBxufNR0?t=1388 — вот тут видосик есть, чувак берет секрет из команды
Anton
Anton
я чо-то не нахожу такого в доке
knopki
я чо-то не нахожу такого в доке
В версии <2.0 можно было секреты получать из вывода команд. К 2.0 это выпилено из соображений безопасности.
Anton
и какая альтернатива, сложить все в файл и запушить в репу? безопасно, да
Vadim
написать плагин который безопасно передаст его кастомайзу
Anton
издеваиися?
так это не я издеваюсь. Я вот сижу уже час и не понимаю чо мне делать. кроме вон как плагин писать.
George
как мне кажется, история опять сводится к тому, что пускай в репе болтается токен от волта, а все секретики в волте, доступном только из куба
George
как минимум поверхность атаки будет понятная
Mikhail [azalio]
Есть howto?
https://www.vaultproject.io/docs/auth/kubernetes.html
engelbart
спасибо
Denis
привет всем! кто в курсе как отлючить у controller возможность мэнеджить SG AWS
Alexander
привет всем! кто в курсе как отлючить у controller возможность мэнеджить SG AWS
О каком контроллере речь? Ну то есть роль в профиле нод без проблем урезать, но логика то будет пытаться и ломаться
Andrei
задеплоил grafana с prometheus по статье https://medium.com/@chris_linguine/how-to-monitor-your-kubernetes-cluster-with-prometheus-and-grafana-fe2fccaedb90 , потом свои дашборды с алертами через ui накидывал. Как можно дашборды зашить в код чтоб при деблое сразу добавлялись?
⁠Maxim
With the dynamic mode introduced a couple of releases ago, the load balancing stuff is handled in LUA. This means there is no upstream section in the generated nginx.conf, there is only one used to switch to LUA. In this scenario, the VTS module is useless because the stats only contains information about this upstream without any context about the traffic. Additionally to this, using the VTS module is not possible to add custom variables to the stats, like information about the namespace, ingress rule, and service (something available as NGINX variable). https://github.com/kubernetes/ingress-nginx/pull/2608#issuecomment-396924024 Кто-то может подельться примерами посмотреть, как на lua обходиться без vts модуля? Метрики нужны
Denis
О каком контроллере речь? Ну то есть роль в профиле нод без проблем урезать, но логика то будет пытаться и ломаться
controller-manager . У меня странная хня происходит куа кластер с утра просыпается и ктото модифицирует SG ( удаляет рулы ) я вижу в КлаудТрэйл что реквест приходит с ноды мастера
Vladimir ⚪️🔵⚪️
Всем привет. А как вы организовываете хранение конфигов для проектов с несколькими сервисами и общим ingress? Как простой пример: API + UI + file-processor Каждый из них имеет (на данный момент) свой пайплайн деплоя, свой репозиторий, свою кодовую базу. Сейчас у каждого из этих сервисов в репозитории с их кодовой базой лежит kubernetes-конфиг, определяющий, что ему нужно, до уровня "Service". То есть фактически каждое приложение просто открывает свой порт для работы в кластере. Теоритически предполагается "максимально независимый выкат", то есть в случае нессответствия API происходит gracefull degradation, а если это невозможно для конкретного релиза, то проблема ложится на плечи того, кто организует "релизный процесс". Собственно мой текущий вопрос - куда бы вы положили конфигурацию ingress? Или, например, если мне понадобится какой-нибудь кеширующий прокси между приложением и ingress-ом (а-ля varnish), то куда вы положили бы его конфигурацию?
NM
Всем привет. А как вы организовываете хранение конфигов для проектов с несколькими сервисами и общим ingress? Как простой пример: API + UI + file-processor Каждый из них имеет (на данный момент) свой пайплайн деплоя, свой репозиторий, свою кодовую базу. Сейчас у каждого из этих сервисов в репозитории с их кодовой базой лежит kubernetes-конфиг, определяющий, что ему нужно, до уровня "Service". То есть фактически каждое приложение просто открывает свой порт для работы в кластере. Теоритически предполагается "максимально независимый выкат", то есть в случае нессответствия API происходит gracefull degradation, а если это невозможно для конкретного релиза, то проблема ложится на плечи того, кто организует "релизный процесс". Собственно мой текущий вопрос - куда бы вы положили конфигурацию ingress? Или, например, если мне понадобится какой-нибудь кеширующий прокси между приложением и ingress-ом (а-ля varnish), то куда вы положили бы его конфигурацию?
AWX/Tower + Git/Bitbucket да любой репо
Vladimir ⚪️🔵⚪️
То есть, просто в отдельный репозиторий, верно?
NM
То есть, просто в отдельный репозиторий, верно?
Можно и так - визуально удобнее и версионность конфигов хранить
krakazyabra
задеплоил grafana с prometheus по статье https://medium.com/@chris_linguine/how-to-monitor-your-kubernetes-cluster-with-prometheus-and-grafana-fe2fccaedb90 , потом свои дашборды с алертами через ui накидывал. Как можно дашборды зашить в код чтоб при деблое сразу добавлялись?
я у себя в директрии с чартом создал папочку, назвал ее dashboards. в этой папочке лежат конфигмапы. сам конфигмап состоит из шапки apiVersion: v1 kind: ConfigMap metadata: name: monitor-dashboard namespace: monitoring labels: grafana_dashboard: "1" annotations: k8s-sidecar-target-directory: "/tmp/dashboards/Monitor" data: monitor.json: |-и тела в json (json беру либо из маркетплейса графаны, либо сам делаю дашборд, потом экспортирую в json) собственно все. после apply этого конфигмапа, сайдконтейнер графаны находит его по лэйблу grafana_dashboard: "1" и кладет в папочку "/tmp/dashboards/Monitor" контейнера графаны.
Alexander
controller-manager . У меня странная хня происходит куа кластер с утра просыпается и ктото модифицирует SG ( удаляет рулы ) я вижу в КлаудТрэйл что реквест приходит с ноды мастера
Была такая бага в 1.12. Когда меняется число нод, то удаляются нужные правила и перестает работать NLB для Loadbalancer service
Vladimir ⚪️🔵⚪️
AWX/Tower + Git/Bitbucket да любой репо
А AWX/Tower это что за зверь и для чего он нужен?
Alexander
Вообще использование NLB приводит к тому, что Kube модифицирует некую SG, чтоб добавить туда правила. Поэтому запрещать не стоит
Vladimir
А AWX/Tower это что за зверь и для чего он нужен?
веб морда и управлялся для ansible. AWX - бесплатная Tower - платная
Vladimir ⚪️🔵⚪️
Хорошо, спасибо