Yuriy
Артём
George
George
Но у коллеги, как я понял, другой случай - не-ранчер кластер надо затащить в ранчер, так ?
Артем
Привет, подскажите про pod security policies. Есть Deployment, в котором прописан 'serviceAccountName: test-sa'. Есть созданная psp с ограниченными политиками, названная abc-psp (чтобы по алфавиту была первой, ибо при прочих равных привязка psp осуществялется так). Есть role и rolebinding соответственно позволяющие акккаунту test-sa использовать abc-psp. Но когда деплоится, то в аннотациях другая:
kubernetes.io/psp: privileged
При этом внутри манифеста самого деплоймента никаких настроек, которые бы запрашивали расширенные права, нет, там почти ничего лишнего.
У меня в кластере порядка 20 достаточно типовых деплойментов, примерно половине куб отдал кастомную psp, как ожидается, а половине privileged. Никакой закономерности выявить не смог, как будто рандом. Версия куба 1.14.
Почему ассайнится privileged? Разве не должен под с указанным serviceAccountName деплоиться только под этим аккаунтом и с psp, которую этот аккаунт может использовать согласно RBAC?
George
George
Точно можно саму панель ранчера поставить в действующий кластер
George
Alexey
Nikita
Nikita
Хм... Мож при разных архитектурах разная сборка...
Nikita
Я то на арме проверяю, а деплой на 64ке... Хотя странно
Dmytro
А толку от такого лога? Тем более питоновским эксепшн в кубер чате. Хотя бы был вывод strace чтобы видеть syscall который фейлится при обращении к файлу базы
Dmytro
А так это скорее в чат к питонистам
Nikita
Проблема то вылазит на кубере...
А где этот strace глянуть?
Dmytro
Взять утилиту strace и тд
Nikita
Лан, понял, погуглю, спасибо
Dmytro
Dmytro
Но on my machine works...
Solyar
Solyar
Интересно. Тогда дебажте
Nikita
Та вот да. Спасиб
Ща "проснусь", и буду через strace смотреть, что там
Solyar
Dmytro
Так в чем проблема внутри кубера то в контейнере поставить sqlite cli и проверить что проблема не с файлом а с питоном или sqlite драйвером в питоне?
Dmytro
Может быть всё что угодно, вплоть до разных версий ядра локально и в кубере, молулей ядра и тп. Но всё это не проблема кубера
Sergei
@solard Пошел иначе, навешиваю лейблы на поды с которых нужны логи, потом вот так фильтрую
filebeat.autodiscover:
providers:
- type: kubernetes
templates:
- condition:
contains:
kubernetes.labels.logging: "true"
Solyar
Dmitry
Тут когда нибудь был опрос на тему, кто какой ингресс использует?
Антон
я traefik юзаю
Vadim
опять нода отвалилась
PLEG is not healthy: pleg was last seen active 13m17.021709309s ago; threshold is 3m0s
Dmitry
Мне показалось или нет?
Dmitry
Привет, подскажите про pod security policies. Есть Deployment, в котором прописан 'serviceAccountName: test-sa'. Есть созданная psp с ограниченными политиками, названная abc-psp (чтобы по алфавиту была первой, ибо при прочих равных привязка psp осуществялется так). Есть role и rolebinding соответственно позволяющие акккаунту test-sa использовать abc-psp. Но когда деплоится, то в аннотациях другая:
kubernetes.io/psp: privileged
При этом внутри манифеста самого деплоймента никаких настроек, которые бы запрашивали расширенные права, нет, там почти ничего лишнего.
У меня в кластере порядка 20 достаточно типовых деплойментов, примерно половине куб отдал кастомную psp, как ожидается, а половине privileged. Никакой закономерности выявить не смог, как будто рандом. Версия куба 1.14.
Почему ассайнится privileged? Разве не должен под с указанным serviceAccountName деплоиться только под этим аккаунтом и с psp, которую этот аккаунт может использовать согласно RBAC?
psp это ограничение на уровне API. То есть от имени какой учётки обращаешься в Api куба, на неё и действуют ограничения. То что ты прописал serviceAccountName в деплойменте, лишь означает, что в поды будет монтироваться токен от этой SA, а не от default SA. Это нужно, если у тебя приложение общается с API куба, а для других случаев это лучше совсем запретить.
В твоём случае у тебя просто половина деплойментов создавались от одной учётки SA, а другая половина от имени другой учётки SA. И к ним применяются разные psp
Dmitry
Dmitry
Я не сталкивался
Dmitry
У нас штук 70 чартов в ходу
Антон
Dmytro
Логично использовать ingress манифест который понимает большинство контроллеров
Антон
аа, в этом смысле. ну да
Dmitry
Dmitry
Dmitry
Dmytro
Dmytro
А в своих если - ну жизнь такая
Dmitry
Что это
возможность вставлять куски конфигурации для nginx через аннотации в ingress
Dmitry
Лооооол
Dmitry
Не ну а чо)))
Dmitry
Артем
psp это ограничение на уровне API. То есть от имени какой учётки обращаешься в Api куба, на неё и действуют ограничения. То что ты прописал serviceAccountName в деплойменте, лишь означает, что в поды будет монтироваться токен от этой SA, а не от default SA. Это нужно, если у тебя приложение общается с API куба, а для других случаев это лучше совсем запретить.
В твоём случае у тебя просто половина деплойментов создавались от одной учётки SA, а другая половина от имени другой учётки SA. И к ним применяются разные psp
хм, но похоже это противоречит документации, читаю
https://kubernetes.io/docs/concepts/policy/pod-security-policy/#authorizing-policies
Instead, they are typically created indirectly as part of a Deployment, ReplicaSet, or other templated controller via the controller manager. Granting the controller access to the policy would grant access for all pods created by that controller, so the preferred method for authorizing policies is to grant access to the pod’s service account
и там в примере как раз дают доступ к psp для default SA
Dmitry
Артем
и учётка, под которой я создаю, одна, там CI система
Артем
в общем, странно
Dmitry
A
здравствуйте, господа.
вобщем такая проблема:
есть пайтон-приложение на базе фласка (веб-шмеб) и у него есть микробаза в виде sqlite db. А так же из особенностей - мультитрейдинг
если это приложение в контейнере (тупо всё собрать в кучу монолитом), то оно работает
а вот если разворачивать на кубере.... то сыпятся ошибки из разряда - "Трейд не нашёл таблицу такую то..."
собственно сам деплой.ямл:
apiVersion: apps/v1
kind: Deployment
metadata:
name: miner-monitor
namespace: testapp
labels:
app: miner-monitor
spec:
progressDeadlineSeconds: 600
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
app: miner-monitor
strategy:
type: Recreate
template:
metadata:
labels:
app: miner-monitor
spec:
imagePullSecrets:
- name: gitlab-registry
containers:
- name: miner-monitor
image: registry.gitlab.com/slastikhin.nikita/miner-monitor:_VERSION_
imagePullPolicy: Always
ports:
- containerPort: 5000
restartPolicy: Always
terminationGracePeriodSeconds: 30
volumes:
- name: gitlab-registry
secret:
secretName: gitlab-registry
и кусочек лога:
[2020-02-06 17:49:08 +0000] [1] [INFO] Starting gunicorn 20.0.4
[2020-02-06 17:49:08 +0000] [1] [INFO] Listening at: http://0.0.0.0:5000 (1)
[2020-02-06 17:49:08 +0000] [1] [INFO] Using worker: sync
[2020-02-06 17:49:08 +0000] [7] [INFO] Booting worker with pid: 7
Exception in thread Thread-2:
Traceback (most recent call last):
File "/home/microserv/venv/lib/python3.6/site-packages/sqlalchemy/engine/base.py", line 1246, in _execute_context
cursor, statement, parameters, context
File "/home/microserv/venv/lib/python3.6/site-packages/sqlalchemy/engine/default.py", line 588, in do_execute
cursor.execute(statement, parameters)
sqlite3.OperationalError: no such table: main_miners_table
Файл sqllite пустой или не там лежит где его ищет ваше приложение.
Dmitry
Артем
"Fake-user successfully created the deployment (which successfully created a replicaset), but when the replicaset went to create the pod it was not authorized to use the example podsecuritypolicy"
Dmitry
нет нет, там если дальше читать...
In order to fix this, bind the psp:unprivileged role to the pod’s service account instead. In this case (since we didn’t specify it) the service account is default:
Там написано, что это произошло потому что replicaset controller, работает под другим SA, он использует serviceAccountName, забыл про этот момент. Но это также логично, ведь контроллер также работает с Апи куба, и создаёт поды через него. То есть это не отменяет правило, что нужно деплоить от правильного SA, на которого забиндена psp, + указать serviceAccountName
Артем
Там написано, что это произошло потому что replicaset controller, работает под другим SA, он использует serviceAccountName, забыл про этот момент. Но это также логично, ведь контроллер также работает с Апи куба, и создаёт поды через него. То есть это не отменяет правило, что нужно деплоить от правильного SA, на которого забиндена psp, + указать serviceAccountName
Да, здесь согласен, спасибо!
Sergei
@artymesh смотрите что у вас в clusterrolebindings, какая политика по умолчанию цепляется к Group system:authenticated, может у вас две цепляется, тогда будет понятно откуда половина с одной политкой половина с другой
Sergei
да и в целом можете все clusterrolebindings которые с psp связанны
Дмитрий
Доброго дня! Кто нить использует haproxy? есть два домена + поддомены на одной ip. Задача на haproxy распределять трафик по доменнам, каждый на свой сервер. подскажите куда копать, что то запутался
Артем
KrivdaTheTriewe
Ребят, разворачивал кубспреем кластер, и добавил rbd провижонер, секреты прописал , но получается так , что кубер не маунтит секреты с кубер конфигами и рбд , и поды которые провижонят не видят конфиги
Дмитрий
Дмитрий
по ходу надо в acl лезть
M
Есть ли возможность в кубере давать доступ через веб интерфейс другим пользователям (с минимальными привилегиями) для создание своих контейнеров?
George
George
Забудь, выглядит как тупик. Они будут тыкать контейнеры, а потом кто будет в yaml манифесты это преобразовывать и класть в репку ?
Sergei