Кто-то использует kubespray на проде? поделитесь болью

Кто-то использует kubespray на проде? поделитесь болью

полет нормальный

не все неймспейснуто, так что в некоторых моментах для кернела что рут в контейнере, что рут на хосте - отсюда немного магии, и tada - у тебя есть полноценный рут на хосте

такое "немного магии", конечно возможно. Но последний раз такие эксплойты были много лет назад вроде.

нужен fakeroot, вобщем, а в баге они собрались ждать поддержки userns

такое "немного магии", конечно возможно. Но последний раз такие эксплойты были много лет назад вроде.

Достаточно эксплоита в кернеле - https://www.twistlock.com/2017/12/27/escaping-docker-container-using-waitid-cve-2017-5123/

нужен fakeroot, вобщем, а в баге они собрались ждать поддержки userns

тогда к чему этот цирк если а) остальные тулзы уже есть и battle-tested, b) оно половину инструкций пропускает

а dind тоже рута просит?

привилегированного режима просит

dind просит priveleged

это ещё хуже тогда

Я раньше не задумывался над такими вещами, привык, что в openvz/virtuozzo для контейнеров всё очень секурно (я знаю там только один такой баг, остальное больше DOS атаки).

Да и большинство образов, которые я на hub.docker.com видел, от рута работают

в каком-то смысле это так и есть только это не докера баг а ядра линукса которое шарится

По дизайну - нет

зависит от точки зрения

если бы изоляция контейнера не подразумевалась в дизайне докера, то нахер он нужен и чем он лучше простого chroot?

если бы изоляция контейнера не подразумевалась в дизайне докера, то нахер он нужен и чем он лучше простого chroot?

"Изоляция" юзеров - один из видов "изоляции" и ее можно включить.

в каком-то смысле это так и есть только это не докера баг а ядра линукса которое шарится

перечитал ещё раз и понял, что не понял. Конечно, вы правы, во многих случаях это будет баг ядра.

Подскажите, как можно отдебажить контейнер, если он вести в статусе CrashLoopBackOff ?

kubectl logs и kubectl describe используйте, с ними ситуация яснее станет.

Подскажите, как можно отдебажить контейнер, если он вести в статусе CrashLoopBackOff ?

если он пишет логи в stdout можно еще kubectl logs pod_name --previous ну и локально

если он пишет логи в stdout можно еще kubectl logs pod_name --previous ну и локально

спасибо. так и сделал

Народ а у вас к8с кластер живет в отдельном VPC ?если да, то почему?

ху из VPC?

AWS VPC =)

Народ а у вас к8с кластер живет в отдельном VPC ?если да, то почему?

Странный вопрос :) Зависит от того что кластер делает и его security boundaries

Коллеги, добрый день! Никто не ставил Gitlab средствами HELM? у меня вот такого рожа проблема: gitlab-gitlab-5dcd88959d-tn57w 0/1 Running 0 7m gitlab-gitlab-postgresql-5fff4f67bb-nkz69 1/1 Running 0 7m gitlab-gitlab-redis-6c88945d56-s9wbh 1/1 Running 0 7m gitlab-gitlab-runner-f7c85548-nm6v2 0/1 CrashLoopBackOff 5 7m bash-3.2# kubectl log gitlab-gitlab-runner-f7c85548-nm6v2 W0417 14:56:19.527870 6219 cmd.go:353] log is DEPRECATED and will be removed in a future version. Use logs instead. + cp /scripts/config.toml /etc/gitlab-runner/ + /entrypoint register --non-interactive --executor kubernetes Running in system-mode. --- bash-3.2# kubectl log gitlab-gitlab-runner-f7c85548-nm6v2 ERROR: Registering runner... failed runner=tQtCbx5U status=couldn't execute POST against http://gitlab-gitlab.default:8005/api/v4/runners: Post http://gitlab-gitlab.default:8005/api/v4/runners: dial tcp 10.233.38.241:8005: i/o timeout PANIC: Failed to register this runner. Perhaps you are having network problems --- kubectl describe pod gitlab-gitlab-5dcd88959d-tn57w Warning Unhealthy 14m (x21 over 18m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: Get http://10.233.95.63:8005/health_check?token=SXBAQichEJasbtDSygrD: dial tcp 10.233.95.63:8005: getsockopt: connection refused Warning Unhealthy 4m (x37 over 16m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: HTTP probe failed with statuscode: 502 --- Не знаю даже в какую чторону и откуда смотреть на эту проблему Спасибо

Нужно ли использовать разные кластеры для дев и прод? Или можно на одном в разных пространствах имён?

Нужно ли использовать разные кластеры для дев и прод? Или можно на одном в разных пространствах имён?

https://cloud.google.com/solutions/prep-kubernetes-engine-for-prod почитайте пока есть возможность

Коллеги, добрый день! Никто не ставил Gitlab средствами HELM? у меня вот такого рожа проблема: gitlab-gitlab-5dcd88959d-tn57w 0/1 Running 0 7m gitlab-gitlab-postgresql-5fff4f67bb-nkz69 1/1 Running 0 7m gitlab-gitlab-redis-6c88945d56-s9wbh 1/1 Running 0 7m gitlab-gitlab-runner-f7c85548-nm6v2 0/1 CrashLoopBackOff 5 7m bash-3.2# kubectl log gitlab-gitlab-runner-f7c85548-nm6v2 W0417 14:56:19.527870 6219 cmd.go:353] log is DEPRECATED and will be removed in a future version. Use logs instead. + cp /scripts/config.toml /etc/gitlab-runner/ + /entrypoint register --non-interactive --executor kubernetes Running in system-mode. --- bash-3.2# kubectl log gitlab-gitlab-runner-f7c85548-nm6v2 ERROR: Registering runner... failed runner=tQtCbx5U status=couldn't execute POST against http://gitlab-gitlab.default:8005/api/v4/runners: Post http://gitlab-gitlab.default:8005/api/v4/runners: dial tcp 10.233.38.241:8005: i/o timeout PANIC: Failed to register this runner. Perhaps you are having network problems --- kubectl describe pod gitlab-gitlab-5dcd88959d-tn57w Warning Unhealthy 14m (x21 over 18m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: Get http://10.233.95.63:8005/health_check?token=SXBAQichEJasbtDSygrD: dial tcp 10.233.95.63:8005: getsockopt: connection refused Warning Unhealthy 4m (x37 over 16m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: HTTP probe failed with statuscode: 502 --- Не знаю даже в какую чторону и откуда смотреть на эту проблему Спасибо

гитлаб на 8005 порту слушает? Подозрительно

да, ставил из helm fetch gitlab/gitlab-omnibus --version 0.1.37 --untar

https://cloud.google.com/solutions/prep-kubernetes-engine-for-prod почитайте пока есть возможность

Спс. Это похоже на специфичный для gcp подход. У меня будет aks.

Спс. Это похоже на специфичный для gcp подход. У меня будет aks.

общие представления о здравом смысле не транзитивны в рамках двух провайдеров с поддержкой регионов и VDC?

Впрочем в интернете похоже много есть на эту тему, буду читать

общие представления о здравом смысле не транзитивны в рамках двух провайдеров с поддержкой регионов и VDC?

У ажура может не быть такой хорошей поддержки. У них это ещё в статусе preview

гитлаб на 8005 порту слушает? Подозрительно

ставил из helm fetch gitlab/gitlab-omnibus --version 0.1.37 --untar и затем менял в gitlab-omnibus/templates/gitlab/gitlab-svc.yaml - name: web port: 80 targetPort: workhorse

тогда и раннере нужно поменять порт гитлаба. Он у него в configMaps указывается