спс, хороший вариант. Надо ещё покрыть те случаи, когда до аппликухи дело не доходит, например, когда образ не скачивается

посмотрите, есть ли у вас ceph-common на ндах и доступна ли цефовая сеть

Товарищи, подскажите . У меня в кластере есть нода, которая помечена как NoSchedule. тут произошла авария в кластере, и все поды смигрировали на этот воркер. Это нормально?

Добрый день, подскажите пытаюсь подключить в куб хранилище ceph(rbd), создал пул и токены, опирался на статью https://habr.com/company/flant/blog/329666/ Создаю PersistentVolumeClaim провиженер создаёт PersistentVolume в статусе Bound но когда я создаю поду она постоянно висит в ContainerCreating и валит Unable to mount volumes for pod "nginx-kzk9q_default(67554154-bb0d-11e8-a168-d2e32a8364ee)": timeout expired waiting for volumes to attach or mount for pod "default"/"nginx-kzk9q". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-dkrnn]

да на нодах установлена версия ceph-common-12.2.8-0.el7.x86_64 на мастере правда небыло, доставил. Целевая сеть доступна

Если победишь, поделись плиз инфой, у меня уже небыло времени на бой, надо было вчера как всегда

подскажет кто где в ui гугл клаудового кубера посмотреть крон джобы

Добрый день, подскажите пытаюсь подключить в куб хранилище ceph(rbd), создал пул и токены, опирался на статью https://habr.com/company/flant/blog/329666/ Создаю PersistentVolumeClaim провиженер создаёт PersistentVolume в статусе Bound но когда я создаю поду она постоянно висит в ContainerCreating и валит Unable to mount volumes for pod "nginx-kzk9q_default(67554154-bb0d-11e8-a168-d2e32a8364ee)": timeout expired waiting for volumes to attach or mount for pod "default"/"nginx-kzk9q". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-dkrnn]

Пиши. Провизиониерер что пишет?

Не держать базу в кубе?)

production базы проще админить постаринке + небольшая вероятность бага в docker, которая может все убить.

т.е. прям на ОС раскатывать СУБД?

А толку от production базы в кубере 0. Только те самые заморочки. И ещё раз внимание, это только для PROD. Для staging/dev раскатывают базу на минималках и норм, это максимум для пары человек.

если пользоваться нормальным оператором, то не нужно переизобретать бэкапы, например. Кроме того, человеческий мониторинг и лимиты

Всем привет. Какая рекомендованная практика разнесения окружений (dev, staging & etc)? По кластерам или по namespace'ам? На GKE (т.е. в плане ресурсов на поддержку мастеров мне всё равно). Сейчас разнесено по кластерам, в том числе, чтобы гарантировать изолированность по ресурсам и физическом разделении окружений по безопасности (на разных выделенных нодах), но много где встречаю примеры разделения по namespace'ам, отсюда возник вопрос. Например базовая дока по rbac: https://github.com/GoogleCloudPlatform/gke-rbac-demo

я не знаю более менее нормального способа раскатать кластер pg например. Да и не нужно его сильно настраивать, чаще всего это master и реплика на чтение, к примеру. Гемора там как обычно + заморочки куба.

Навскидку: 1) https://github.com/sorintlab/stolon 2) https://docs.portworx.com/applications/postgres.html + https://portworx.com/ha-postgresql-kubernetes/

Всем привет. Какая рекомендованная практика разнесения окружений (dev, staging & etc)? По кластерам или по namespace'ам? На GKE (т.е. в плане ресурсов на поддержку мастеров мне всё равно). Сейчас разнесено по кластерам, в том числе, чтобы гарантировать изолированность по ресурсам и физическом разделении окружений по безопасности (на разных выделенных нодах), но много где встречаю примеры разделения по namespace'ам, отсюда возник вопрос. Например базовая дока по rbac: https://github.com/GoogleCloudPlatform/gke-rbac-demo

Сбор метрик с куб кластера использую prometheus-operator это правильный выбор? Он насколько вижу в бете еще

для куба продукты в бете это норма!

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

Рекомендаций по разнесению сред от вас не услышал (cluster или namespace) :( А так да rbac с iam гуглу стоит допилить :) Но rbac работает. Про биллинг не совсем понял. Например autoscaling node-pool'ов сносно работает и билится это, как обычно у GCloud/AWS. Preemtive ноды тоже норм работают.

"Всё что нужно общее в отдельном проекте, который пирится с остальными"? Нет ничего общего, все среды независимы, естественно.

среды да, а мониторинг, сбор логов, днс зоны, регистри образов, бакеты под разные артефакты?

У каждой среды всё своё, кроме stackdriver'а, в котором 500е и всякие exception'ы фильтруются и постятся в соответствующий канал слака. Сбор логов: у каждой среды свои fluentd+elastic . Очень удобно развернулись из GKE Applications, кстати, но конечно же допиливались. Реестры образов у нас рядом с кодом в self hosted gitlab'е, который, наверное, будет в production кластере (сейчас ещё на aws'е). С бакетами не вижу проблем: права настраиваются, как и для всего остального..

Нода в статусе: Ready,SchedulingDisabled. Я в первые столкнулся с такой проблемой, и думал раньше что отсутсвие толерантности у подов, они не смогут запустится на этой ноде(

https://github.com/zlabjp/kubernetes-resource/blob/master/assets/common.sh

Kubespray деплоили?

Нет. Облачный провайдер. Подозреваю что местный глюк

Если у мигрировавших подов нету taint tolerations и у scheduler нет хитрого конфигах , который игнорирует предикаты по taints (как у kubespray) то такого быть не должно

А толку от production базы в кубере 0. Только те самые заморочки. И ещё раз внимание, это только для PROD. Для staging/dev раскатывают базу на минималках и норм, это максимум для пары человек.

Вау. Я и не знаю что у kubespray такое есть. Понял спасибо.