George
Но у коллеги, как я понял, другой случай - не-ранчер кластер надо затащить в ранчер, так ?
Alexey
Но у коллеги, как я понял, другой случай - не-ранчер кластер надо затащить в ранчер, так ?
Надо ранчер поставить ( в учебных целях). И мне показалось что я могу его легко поставить на действующий k8s кластер.
Артем
Привет, подскажите про pod security policies. Есть Deployment, в котором прописан 'serviceAccountName: test-sa'. Есть созданная psp с ограниченными политиками, названная abc-psp (чтобы по алфавиту была первой, ибо при прочих равных привязка psp осуществялется так). Есть role и rolebinding соответственно позволяющие акккаунту test-sa использовать abc-psp. Но когда деплоится, то в аннотациях другая: kubernetes.io/psp: privileged При этом внутри манифеста самого деплоймента никаких настроек, которые бы запрашивали расширенные права, нет, там почти ничего лишнего. У меня в кластере порядка 20 достаточно типовых деплойментов, примерно половине куб отдал кастомную psp, как ожидается, а половине privileged. Никакой закономерности выявить не смог, как будто рандом. Версия куба 1.14. Почему ассайнится privileged? Разве не должен под с указанным serviceAccountName деплоиться только под этим аккаунтом и с psp, которую этот аккаунт может использовать согласно RBAC?
George
Точно можно саму панель ранчера поставить в действующий кластер
Alexey
Точно можно саму панель ранчера поставить в действующий кластер
Вот, именно это и нужно. Почитаю как это сделать.
Dmytro
та не, если локально собираю контейнер, то всё запускается и работает нормально
Ну кто его знает что там локально у вас. Почему не проверить внутри самого контейнера?
Nikita
Ну кто его знает что там локально у вас. Почему не проверить внутри самого контейнера?
Кусок лога контейнера я выложил же. Или чтото "другое" нужно поглядеть?
Nikita
Хм... Мож при разных архитектурах разная сборка...
Nikita
Я то на арме проверяю, а деплой на 64ке... Хотя странно
Solyar
Хм... Мож при разных архитектурах разная сборка...
Если бы архитектура была несовместима вас бы встретил приветливый exec error при старте контейнера
Dmytro
А толку от такого лога? Тем более питоновским эксепшн в кубер чате. Хотя бы был вывод strace чтобы видеть syscall который фейлится при обращении к файлу базы
Dmytro
А так это скорее в чат к питонистам
Nikita
Проблема то вылазит на кубере... А где этот strace глянуть?
Dmytro
Взять утилиту strace и тд
Nikita
Лан, понял, погуглю, спасибо
Solyar
Лан, понял, погуглю, спасибо
Один вопрос. Там ругань на таблицу в БД. Если есть файл БД не факт что там создалась нужная таблица
Dmytro
Но on my machine works...
Nikita
Один вопрос. Там ругань на таблицу в БД. Если есть файл БД не факт что там создалась нужная таблица
Да там готовый файл уже в комплекте со всеми таблицами идёт. Я ж ещё раз говорю - локально контейнер собираешь, то всё запускается Стоет собрать его на gitlab_ci и запушить в кубер... Всё, приехали
Solyar
Интересно. Тогда дебажте
Nikita
Та вот да. Спасиб Ща "проснусь", и буду через strace смотреть, что там
Solyar
да я вот тоже в эту сторону смотрю, проверю отпишусь
Не проверяли отсеивание логов? Интересен результат
Dmytro
Так в чем проблема внутри кубера то в контейнере поставить sqlite cli и проверить что проблема не с файлом а с питоном или sqlite драйвером в питоне?
Dmytro
Может быть всё что угодно, вплоть до разных версий ядра локально и в кубере, молулей ядра и тп. Но всё это не проблема кубера
Sergei
@solard Пошел иначе, навешиваю лейблы на поды с которых нужны логи, потом вот так фильтрую filebeat.autodiscover: providers: - type: kubernetes templates: - condition: contains: kubernetes.labels.logging: "true"
Dmitry
Тут когда нибудь был опрос на тему, кто какой ингресс использует?
Антон
я traefik юзаю
Vadim
опять нода отвалилась PLEG is not healthy: pleg was last seen active 13m17.021709309s ago; threshold is 3m0s
Dmitry
я traefik юзаю
Я тоже. Но в 99% случаев пихают нжинкс
Dmitry
Мне показалось или нет?
Антон
Я тоже. Но в 99% случаев пихают нжинкс
ну вот страдаю: за какой чарт не ухватись - поддержки ingressRoute нет
Dmitry
Привет, подскажите про pod security policies. Есть Deployment, в котором прописан 'serviceAccountName: test-sa'. Есть созданная psp с ограниченными политиками, названная abc-psp (чтобы по алфавиту была первой, ибо при прочих равных привязка psp осуществялется так). Есть role и rolebinding соответственно позволяющие акккаунту test-sa использовать abc-psp. Но когда деплоится, то в аннотациях другая: kubernetes.io/psp: privileged При этом внутри манифеста самого деплоймента никаких настроек, которые бы запрашивали расширенные права, нет, там почти ничего лишнего. У меня в кластере порядка 20 достаточно типовых деплойментов, примерно половине куб отдал кастомную psp, как ожидается, а половине privileged. Никакой закономерности выявить не смог, как будто рандом. Версия куба 1.14. Почему ассайнится privileged? Разве не должен под с указанным serviceAccountName деплоиться только под этим аккаунтом и с psp, которую этот аккаунт может использовать согласно RBAC?
psp это ограничение на уровне API. То есть от имени какой учётки обращаешься в Api куба, на неё и действуют ограничения. То что ты прописал serviceAccountName в деплойменте, лишь означает, что в поды будет монтироваться токен от этой SA, а не от default SA. Это нужно, если у тебя приложение общается с API куба, а для других случаев это лучше совсем запретить. В твоём случае у тебя просто половина деплойментов создавались от одной учётки SA, а другая половина от имени другой учётки SA. И к ним применяются разные psp
Dmitry
Я не сталкивался
Dmitry
У нас штук 70 чартов в ходу
Dmytro
ну вот страдаю: за какой чарт не ухватись - поддержки ingressRoute нет
Так вроде логично только опции которые поддерживает большинство ингресс контроллеров
Dmytro
Логично использовать ingress манифест который понимает большинство контроллеров
Антон
аа, в этом смысле. ну да
Dmytro
ну а как же грязные хаки, через сниппеты в nginx 😁
В публичных чартах если то конечно плохо это
Dmytro
А в своих если - ну жизнь такая
Dmitry
Что это
возможность вставлять куски конфигурации для nginx через аннотации в ingress
Dmitry
Лооооол
Dmitry
Не ну а чо)))
Артем
psp это ограничение на уровне API. То есть от имени какой учётки обращаешься в Api куба, на неё и действуют ограничения. То что ты прописал serviceAccountName в деплойменте, лишь означает, что в поды будет монтироваться токен от этой SA, а не от default SA. Это нужно, если у тебя приложение общается с API куба, а для других случаев это лучше совсем запретить. В твоём случае у тебя просто половина деплойментов создавались от одной учётки SA, а другая половина от имени другой учётки SA. И к ним применяются разные psp
хм, но похоже это противоречит документации, читаю https://kubernetes.io/docs/concepts/policy/pod-security-policy/#authorizing-policies Instead, they are typically created indirectly as part of a Deployment, ReplicaSet, or other templated controller via the controller manager. Granting the controller access to the policy would grant access for all pods created by that controller, so the preferred method for authorizing policies is to grant access to the pod’s service account и там в примере как раз дают доступ к psp для default SA
Артем
и учётка, под которой я создаю, одна, там CI система
Артем
в общем, странно
Dmitry
A
здравствуйте, господа. вобщем такая проблема: есть пайтон-приложение на базе фласка (веб-шмеб) и у него есть микробаза в виде sqlite db. А так же из особенностей - мультитрейдинг если это приложение в контейнере (тупо всё собрать в кучу монолитом), то оно работает а вот если разворачивать на кубере.... то сыпятся ошибки из разряда - "Трейд не нашёл таблицу такую то..." собственно сам деплой.ямл: apiVersion: apps/v1 kind: Deployment metadata: name: miner-monitor namespace: testapp labels: app: miner-monitor spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: app: miner-monitor strategy: type: Recreate template: metadata: labels: app: miner-monitor spec: imagePullSecrets: - name: gitlab-registry containers: - name: miner-monitor image: registry.gitlab.com/slastikhin.nikita/miner-monitor:_VERSION_ imagePullPolicy: Always ports: - containerPort: 5000 restartPolicy: Always terminationGracePeriodSeconds: 30 volumes: - name: gitlab-registry secret: secretName: gitlab-registry и кусочек лога: [2020-02-06 17:49:08 +0000] [1] [INFO] Starting gunicorn 20.0.4 [2020-02-06 17:49:08 +0000] [1] [INFO] Listening at: http://0.0.0.0:5000 (1) [2020-02-06 17:49:08 +0000] [1] [INFO] Using worker: sync [2020-02-06 17:49:08 +0000] [7] [INFO] Booting worker with pid: 7 Exception in thread Thread-2: Traceback (most recent call last): File "/home/microserv/venv/lib/python3.6/site-packages/sqlalchemy/engine/base.py", line 1246, in _execute_context cursor, statement, parameters, context File "/home/microserv/venv/lib/python3.6/site-packages/sqlalchemy/engine/default.py", line 588, in do_execute cursor.execute(statement, parameters) sqlite3.OperationalError: no such table: main_miners_table
Файл sqllite пустой или не там лежит где его ищет ваше приложение.
Артем
чудес не бывает, я с psp давно живу
спасибо за ответ, буду продолжать копать, напишу, если узнаю причину
Dmitry
спасибо за ответ, буду продолжать копать, напишу, если узнаю причину
да это проверить очень легко, создайте две учётки SA, за биндите на них разные psp. И задеплоите от них два деплоймента. ServiceAccountName оставьте default
Артем
ну собственно они и деплоят там в примере от SA на которую забиндили psp alias kubectl-user='kubectl --as=system:serviceaccount:psp-example:fake-user -n psp-example'
нет нет, там если дальше читать... In order to fix this, bind the psp:unprivileged role to the pod’s service account instead. In this case (since we didn’t specify it) the service account is default:
Артем
"Fake-user successfully created the deployment (which successfully created a replicaset), but when the replicaset went to create the pod it was not authorized to use the example podsecuritypolicy"
Dmitry
нет нет, там если дальше читать... In order to fix this, bind the psp:unprivileged role to the pod’s service account instead. In this case (since we didn’t specify it) the service account is default:
Там написано, что это произошло потому что replicaset controller, работает под другим SA, он использует serviceAccountName, забыл про этот момент. Но это также логично, ведь контроллер также работает с Апи куба, и создаёт поды через него. То есть это не отменяет правило, что нужно деплоить от правильного SA, на которого забиндена psp, + указать serviceAccountName
Sergei
@artymesh смотрите что у вас в clusterrolebindings, какая политика по умолчанию цепляется к Group system:authenticated, может у вас две цепляется, тогда будет понятно откуда половина с одной политкой половина с другой
Sergei
да и в целом можете все clusterrolebindings которые с psp связанны
Дмитрий
Доброго дня! Кто нить использует haproxy? есть два домена + поддомены на одной ip. Задача на haproxy распределять трафик по доменнам, каждый на свой сервер. подскажите куда копать, что то запутался
Артем
@artymesh смотрите что у вас в clusterrolebindings, какая политика по умолчанию цепляется к Group system:authenticated, может у вас две цепляется, тогда будет понятно откуда половина с одной политкой половина с другой
да, там есть ряд таких биндингов, replicaset-controller как раз деплоит privileged, а кастомный sa с кастомной psp, думаю в этом дело для system:authenticated тоже есть, на том restricted roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: psp:restricted subjects: - apiGroup: rbac.authorization.k8s.io kind: Group name: system:authenticated
Артем
Доброго дня! Кто нить использует haproxy? есть два домена + поддомены на одной ip. Задача на haproxy распределять трафик по доменнам, каждый на свой сервер. подскажите куда копать, что то запутался
Если haproxy используется как ингресс, то всё разруливается манифестом ингресса, указываются поды как бэкенды. Если это вопрос про haproxy вообще, то чат не тот.
KrivdaTheTriewe
Ребят, разворачивал кубспреем кластер, и добавил rbd провижонер, секреты прописал , но получается так , что кубер не маунтит секреты с кубер конфигами и рбд , и поды которые провижонят не видят конфиги
Дмитрий
по ходу надо в acl лезть
M
Есть ли возможность в кубере давать доступ через веб интерфейс другим пользователям (с минимальными привилегиями) для создание своих контейнеров?
George
Забудь, выглядит как тупик. Они будут тыкать контейнеры, а потом кто будет в yaml манифесты это преобразовывать и класть в репку ?