смотрите логи kubelet

Добрый день, подскажите пытаюсь подключить в куб хранилище ceph(rbd), создал пул и токены, опирался на статью https://habr.com/company/flant/blog/329666/ Создаю PersistentVolumeClaim провиженер создаёт PersistentVolume в статусе Bound но когда я создаю поду она постоянно висит в ContainerCreating и валит Unable to mount volumes for pod "nginx-kzk9q_default(67554154-bb0d-11e8-a168-d2e32a8364ee)": timeout expired waiting for volumes to attach or mount for pod "default"/"nginx-kzk9q". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-dkrnn]

Пиши. Провизиониерер что пишет?

Пиши. Провизиониерер что пишет?

http://joxi.ru/4AknypRHynJyD2

я через отдельный деплоймент делаю: - через ci поднимаю деплоймент с 1 подом, в котором новые миграции - через kubectl exec pod_name запускаю команду для миграций - если все ок и код возврата команды 0 то удаляется деплоймет и дальше хелмом выкатывается приложение разрабы пишут обратно совместимые миграции, т.е новая схема не ломает старую версию приложения через джобы чот не понравилось, т.к не удобно смотреть что там сломалось в миграции, а так сразу в зафейленой джобе в ci это видно

Не держать базу в кубе?)

Не держать базу в кубе?)

в кубе только миграции запускаю, сами базы снаружи натыканы :)

Не держать базу в кубе?)

а в чем проблема держания базы в кубе?

наверное, это очень нубский вопрос

Iops не хватит

iops хватает, уже обсуждали.

production базы проще админить постаринке + небольшая вероятность бага в docker, которая может все убить.

dev/staging базы без проблем крутятся в кубере

production базы проще админить постаринке + небольшая вероятность бага в docker, которая может все убить.

т.е. прям на ОС раскатывать СУБД?

как же давно я это делал в последний раз

т.е. прям на ОС раскатывать СУБД?

или на отдельных серверах/vm. у кого как

я не знаю более менее нормального способа раскатать кластер pg например. Да и не нужно его сильно настраивать, чаще всего это master и реплика на чтение, к примеру. Гемора там как обычно + заморочки куба.

А толку от production базы в кубере 0. Только те самые заморочки. И ещё раз внимание, это только для PROD. Для staging/dev раскатывают базу на минималках и норм, это максимум для пары человек.

1) на отдельных машинах вне k8s-кластера 2) на конкретных машинах с ssd в k8s-кластере 3) на машинах в k8s-кластере на external volumes

А толку от production базы в кубере 0. Только те самые заморочки. И ещё раз внимание, это только для PROD. Для staging/dev раскатывают базу на минималках и норм, это максимум для пары человек.

если пользоваться нормальным оператором, то не нужно переизобретать бэкапы, например. Кроме того, человеческий мониторинг и лимиты

если пользоваться нормальным оператором, то не нужно переизобретать бэкапы, например. Кроме того, человеческий мониторинг и лимиты

не понимаю, что значит переизобретать бекапы. В любом случае нужно идти писать руками, что вот эти таблички бекапь раз в час, а вот эти каждый день, а те вовсе не нужно. Конкретно pg сгружает данные через telegraf в influx и это все показывается в grafana от prometheus operator, там настройка на пол часа.

ребят не подскажите в helm в некоторых чартах есть файл value-production.yaml он какую роль играет относительно value.yaml?

можешь его применять через -f

приветствую, при установке Helm Tiller в разделе Custom Kubernetes Cluster Integration выходит ошибка Something went wrong while installing Helm Tiller Kubernetes error.

я последовал по примеру этого человека https://stackoverflow.com/questions/50384412/how-to-integrate-kubernetes-with-gitlab

можете подсказать как дальше поступить, логи может прочитать или я криво настраиваю?

Всем привет. Какая рекомендованная практика разнесения окружений (dev, staging & etc)? По кластерам или по namespace'ам? На GKE (т.е. в плане ресурсов на поддержку мастеров мне всё равно). Сейчас разнесено по кластерам, в том числе, чтобы гарантировать изолированность по ресурсам и физическом разделении окружений по безопасности (на разных выделенных нодах), но много где встречаю примеры разделения по namespace'ам, отсюда возник вопрос. Например базовая дока по rbac: https://github.com/GoogleCloudPlatform/gke-rbac-demo

Всем привет. Какая рекомендованная практика разнесения окружений (dev, staging & etc)? По кластерам или по namespace'ам? На GKE (т.е. в плане ресурсов на поддержку мастеров мне всё равно). Сейчас разнесено по кластерам, в том числе, чтобы гарантировать изолированность по ресурсам и физическом разделении окружений по безопасности (на разных выделенных нодах), но много где встречаю примеры разделения по namespace'ам, отсюда возник вопрос. Например базовая дока по rbac: https://github.com/GoogleCloudPlatform/gke-rbac-demo

Если для Вас критично разделение по ресурасм, то разносите по кластерам, если нет - по неймспейсам

я не знаю более менее нормального способа раскатать кластер pg например. Да и не нужно его сильно настраивать, чаще всего это master и реплика на чтение, к примеру. Гемора там как обычно + заморочки куба.

Навскидку: 1) https://github.com/sorintlab/stolon 2) https://docs.portworx.com/applications/postgres.html + https://portworx.com/ha-postgresql-kubernetes/

Навскидку: 1) https://github.com/sorintlab/stolon 2) https://docs.portworx.com/applications/postgres.html + https://portworx.com/ha-postgresql-kubernetes/

3) https://github.com/helm/charts/tree/master/incubator/patroni

И вы готовы пускать эти решения в прод, не боясь бессонных ночей? Или это просто нагугленные решения?

Бери любое, спи спокойно?

столон то чем с бессонницей связан

Я не использовал эти решения, поэтому спрашиваю.

у нас патрони

без кубера

У меня все самое ценное в pg. Если сжечь машину или дом... ну ок, бывает. Если сжечь pg, то 200+ человек остануться без работы. Понятно, что не сильно много. И не мелочь.

cool story

Всем привет. Какая рекомендованная практика разнесения окружений (dev, staging & etc)? По кластерам или по namespace'ам? На GKE (т.е. в плане ресурсов на поддержку мастеров мне всё равно). Сейчас разнесено по кластерам, в том числе, чтобы гарантировать изолированность по ресурсам и физическом разделении окружений по безопасности (на разных выделенных нодах), но много где встречаю примеры разделения по namespace'ам, отсюда возник вопрос. Например базовая дока по rbac: https://github.com/GoogleCloudPlatform/gke-rbac-demo

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

Все для людей

Сбор метрик с куб кластера использую prometheus-operator это правильный выбор? Он насколько вижу в бете еще

Сбор метрик с куб кластера использую prometheus-operator это правильный выбор? Он насколько вижу в бете еще

для куба продукты в бете это норма!

для куба продукты в бете это норма!

??

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

Рекомендаций по разнесению сред от вас не услышал (cluster или namespace) :( А так да rbac с iam гуглу стоит допилить :) Но rbac работает. Про биллинг не совсем понял. Например autoscaling node-pool'ов сносно работает и билится это, как обычно у GCloud/AWS. Preemtive ноды тоже норм работают.

по проектам привязанным к одному биллинг аккаунту, пртчины: тупой гугловый иам, который не интегрирован с кубовым рбаком нормально, тупой биллинг который не интегрирован с кубовой моделью, рпзделение прав доступа нормальное, все что нужно общее для проектов в отдельном проекте, который пирится с остальными

"Всё что нужно общее в отдельном проекте, который пирится с остальными"? Нет ничего общего, все среды независимы, естественно.

Рекомендаций по разнесению сред от вас не услышал (cluster или namespace) :( А так да rbac с iam гуглу стоит допилить :) Но rbac работает. Про биллинг не совсем понял. Например autoscaling node-pool'ов сносно работает и билится это, как обычно у GCloud/AWS. Preemtive ноды тоже норм работают.

я все держу не то что в разных кластерах, а в разных кластерах в разных проектах

"Всё что нужно общее в отдельном проекте, который пирится с остальными"? Нет ничего общего, все среды независимы, естественно.

среды да, а мониторинг, сбор логов, днс зоны, регистри образов, бакеты под разные артефакты?

Коллеги, есть задача на N разных ipvs для одинаковых 5tuple гарантированно выбрать один и тот же бакенд. Как сейчас принято такие штуки решать?

среды да, а мониторинг, сбор логов, днс зоны, регистри образов, бакеты под разные артефакты?

У каждой среды всё своё, кроме stackdriver'а, в котором 500е и всякие exception'ы фильтруются и постятся в соответствующий канал слака. Сбор логов: у каждой среды свои fluentd+elastic . Очень удобно развернулись из GKE Applications, кстати, но конечно же допиливались. Реестры образов у нас рядом с кодом в self hosted gitlab'е, который, наверное, будет в production кластере (сейчас ещё на aws'е). С бакетами не вижу проблем: права настраиваются, как и для всего остального..

У каждой среды всё своё, кроме stackdriver'а, в котором 500е и всякие exception'ы фильтруются и постятся в соответствующий канал слака. Сбор логов: у каждой среды свои fluentd+elastic . Очень удобно развернулись из GKE Applications, кстати, но конечно же допиливались. Реестры образов у нас рядом с кодом в self hosted gitlab'е, который, наверное, будет в production кластере (сейчас ещё на aws'е). С бакетами не вижу проблем: права настраиваются, как и для всего остального..

я экономлю мне удобно сервисные штуки развернуть отдельно для всех окружений

Есть плагин для elastic'а: sentinl, но он с 6.3 пока не работает, xpack дорого, поэтому в том числе stackdriver пока используем.

У кого-то есть реальный опыт с редхатовским operator lifecycle managerом ?

Хай товарищи куберводы , подскажите по монги в кубере : Есть кубер в нем монга без реплика сета , сделал реплика сет (1 primary 2 secondary ). Реплика сет при старте поднимается чистый, без данных , я с помощью mognorestore раскатываю дамп на primary ноде , насколько я корректно делаю и можно ли обойтись без этого ? У меня не получилось в кубере настроить PVC и реплика сет не видит старых данных или для реплики сета такое поведение нормально ?

без PVC далеко не уедешь

эх просто взял готовые чарты для монги и если переключать в них включать отключать реплика сет . то данные не черта не сохраняются. Думал может это трабла монги такая

https://github.com/zlabjp/kubernetes-resource/blob/master/assets/common.sh

всем кубернетеса в concourse работяги

Нода в статусе: Ready,SchedulingDisabled. Я в первые столкнулся с такой проблемой, и думал раньше что отсутсвие толерантности у подов, они не смогут запустится на этой ноде(

Kubespray деплоили?

https://github.com/zlabjp/kubernetes-resource/blob/master/assets/common.sh

Когда concourse научится перезапускать пайплайн без фейковых комитов, можно посмотреть :)

Kubespray деплоили?

Нет. Облачный провайдер. Подозреваю что местный глюк

Нет. Облачный провайдер. Подозреваю что местный глюк

Если у мигрировавших подов нету taint tolerations и у scheduler нет хитрого конфигах , который игнорирует предикаты по taints (как у kubespray) то такого быть не должно

Если у мигрировавших подов нету taint tolerations и у scheduler нет хитрого конфигах , который игнорирует предикаты по taints (как у kubespray) то такого быть не должно

Вау. Я и не знаю что у kubespray такое есть. Понял спасибо.

А толку от production базы в кубере 0. Только те самые заморочки. И ещё раз внимание, это только для PROD. Для staging/dev раскатывают базу на минималках и норм, это максимум для пары человек.

stolon в кубе поднимается нечитая доки. В этом то и сила куба

Вау. Я и не знаю что у kubespray такое есть. Понял спасибо.

Это была бага, они зачем то свой конфиг к scheduler приложили и он протух

Это была бага, они зачем то свой конфиг к scheduler приложили и он протух

Хаа) Уже исправили?

Хаа) Уже исправили?

Не знаю, не слежу

а у кого-нибудь было такое, что в ранчере нельзя войти в определенный под. С ним что-то непонятное происходит. Пытаюсь из gui сделать execute shell, а окно открывается и сразу же закрывается

вопрос любителям Helm

как в хелпере можно сгенерить строку из YAML-списка в values?

такая штука не работает

{{- define "head-ingress.healthcheck.codes" -}} {{- range .Values.healthcheck.successCodes -}} {{- $noop := printf . | append $.codes | set $ "codes" -}} {{- end -}} {{- join "," $.codes -}} {{- end -}}

Когда concourse научится перезапускать пайплайн без фейковых комитов, можно посмотреть :)

ээээ разверните эту мысль. его можно тригернуть руками через мордочку, либо через fly

Привет Может у кого такой проект Лагом под кубернетисом ---- Микросерисы со стейт акторами должны формировать кластер Для этого нужно подам дать адреса сидов(вот не знаю может стейтфул сет 3 сиды под каждый такой микросервис делать) Или может вообще весь деплой микросервиса через стейтфул сет? Спасибо

ээээ разверните эту мысль. его можно тригернуть руками через мордочку, либо через fly

Весь пайплайн? Так чтобы один и тот же непоследний коммит через все джобы прошел?

Привет Может у кого такой проект Лагом под кубернетисом ---- Микросерисы со стейт акторами должны формировать кластер Для этого нужно подам дать адреса сидов(вот не знаю может стейтфул сет 3 сиды под каждый такой микросервис делать) Или может вообще весь деплой микросервиса через стейтфул сет? Спасибо

А сиды чем особенные? Только известным именем или у них конфиг особый?

А сиды чем особенные? Только известным именем или у них конфиг особый?

сиды это прикол акки lagomframework Cluster именами особенные, конфигами не обязательно решил сделать через стейтфул сеты тогда со своего стейтфул сета смогу передать свои имена

сиды это прикол акки lagomframework Cluster именами особенные, конфигами не обязательно решил сделать через стейтфул сеты тогда со своего стейтфул сета смогу передать свои имена

Там Akka cluster под капотом? Вот тут примеры https://developer.lightbend.com/docs/akka-management/current/bootstrap/recipes.html

Там Akka cluster под капотом? Вот тут примеры https://developer.lightbend.com/docs/akka-management/current/bootstrap/recipes.html

Спасибо огромное Попробую сделать как мне нравилось когда можно было сказать "не знаю у меня локально все работает" реально тяжко без ошпаренного девопса(такого чтоб и sbt правил) у меня почему-то сто думает что можно без фул тайм крутого девопса в амазоне все развернуть ? экономия

Спасибо огромное Попробую сделать как мне нравилось когда можно было сказать "не знаю у меня локально все работает" реально тяжко без ошпаренного девопса(такого чтоб и sbt правил) у меня почему-то сто думает что можно без фул тайм крутого девопса в амазоне все развернуть ? экономия

Ну и зачем жопу рвать доказывая что он прав? Разве что ради саморазвития, но тогда причем тут СТО ? :)

Весь пайплайн? Так чтобы один и тот же непоследний коммит через все джобы прошел?

я вас совсем перестал понимать

я вас совсем перестал понимать

https://github.com/concourse/concourse/issues/413

Ну и зачем жопу рвать доказывая что он прав? Разве что ради саморазвития, но тогда причем тут СТО ? :)

Девопс работа реально интересная(когда получается) Вот в амазон я не полезу, это своя професия на гугле поднимаю, и нашего парт тайм девопса ждет "не знаю вот у меня все работает на гугл клауде с кубернетисом , что там х....вертите на амазоне что не работает не знаю" Метрики нужно было 30к в секунду получить одна нода кассандры(датастаксовской) дает 10к, при ссд диске к ноде так вот в амазоне бля тестили с какой-то фигней хелло ворлда где то памяти не хватало то вообще все нафиг дохло вот приходится доказывать что хоть код рабочий -- а вообще просто интересно деву любая девопс работа в раздел достижений в резюме летит ?

Ну в техническом споре с коллегами, а тем более с руководством выйти победителем это благородная цель

вероятно я все же не понимаю, ипользую concourse 4

kubeless кто-то пользуется? Как там решается zero downtime и "не собирать, если не поменялся код"?

при нажатии этой кнопки, джоба повторяется с теми же ресурсами что и была запущена в "последнем прогоне"

@rossmohax так, я осознал проблему

kubeless кто-то пользуется? Как там решается zero downtime и "не собирать, если не поменялся код"?

kubeless function update hello --from-file test.py zerodowntime и "не собирается, если не поменялось (по sha256)"

ребята, кто может поделиться опытом как интегрировать гитлаб с кубером?