беда (кродёться)

а как оно может в принципе работать, если этот параметр просто запрещает использовать нелокальные эндпоинты сервиса с точки зрения того хоста на который прилетел трафик?

Ну у него есть сторонний эффект, что пакеты не SNAT ятстя, логично чтобы и для externalIP так же работало :) глянул код, снатит ..

https://docs.google.com/spreadsheets/d/16bxRgpO1H_Bn-5xVZ1WrR_I-0A-GOI6egmhvqqLMOmg/edit#gid=1612037324 Кому интересно.

я б оттранспонировал

Это как бы не апдейт. А возможности нормально проапдейтить, не вырезая весь сервис нет?

https://github.com/helm/helm/blob/master/docs/charts_tips_and_tricks.md#automatically-roll-deployments-when-configmaps-or-secrets-change

https://docs.google.com/spreadsheets/d/16bxRgpO1H_Bn-5xVZ1WrR_I-0A-GOI6egmhvqqLMOmg/edit#gid=1612037324 Кому интересно.

Ссылка на первый haproxy ingress controller ведёт на блог. Почему бы не на оф.репу? https://github.com/jcmoraisjr/haproxy-ingress

Это как бы не апдейт. А возможности нормально проапдейтить, не вырезая весь сервис нет?

ты спросил про передеплой

ты спросил про передеплой

Ну значит не то заветное слово .

https://github.com/helm/helm/blob/master/docs/charts_tips_and_tricks.md#automatically-roll-deployments-when-configmaps-or-secrets-change

Спасибо, ща посмотрю

Есть ли такая проблема

Судя по обсуждению, решения для публикации диапазона портов так и нет, воркараунд - описывать их по-одному. Это плохо, так как породит туеву хучу iptables-правил, но, в целом, приемлемо, и будет работать при не очень высоком пакетрейте. В обсуждении упоминается юзерспейсный кубпрокси, который легаси, и который, судя по всем, большое число описанных портов могло серьёзно поаффектить. Олсо, а что за юзкейс?

Добрый день! Подскажите пожалуйста export KUBECONFIG=./kube/kube.conf helm install stable/postgresql helm подхватит KUBECONFIG и будет устанавливать postgresql в кубернетесе, который указан в KUBECONFIG?

Судя по обсуждению, решения для публикации диапазона портов так и нет, воркараунд - описывать их по-одному. Это плохо, так как породит туеву хучу iptables-правил, но, в целом, приемлемо, и будет работать при не очень высоком пакетрейте. В обсуждении упоминается юзерспейсный кубпрокси, который легаси, и который, судя по всем, большое число описанных портов могло серьёзно поаффектить. Олсо, а что за юзкейс?

Да я так и понял. Там сервис есть, который использует много портов. Сильно не вдавался в это.

Добрый день! Подскажите пожалуйста export KUBECONFIG=./kube/kube.conf helm install stable/postgresql helm подхватит KUBECONFIG и будет устанавливать postgresql в кубернетесе, который указан в KUBECONFIG?

да

Ссылка на первый haproxy ingress controller ведёт на блог. Почему бы не на оф.репу? https://github.com/jcmoraisjr/haproxy-ingress

? Официальный док. HAProxy Ingress controller смотрел?

? Официальный док. HAProxy Ingress controller смотрел?

что значит смотрел? в jcmoraisjr/haproxy-ingress я даже контрибьютил. Знаю ещё voyager, не понравился. Другие не смотрел, ибо гугл о них не знает. UPD: в статье именно о них и идёт речь (но примеры из первого).

Да я так и понял. Там сервис есть, который использует много портов. Сильно не вдавался в это.

Я бы сделал сеть подов маршрутизируемой и сервис публиковал как headless, наверное.

Я бы сделал сеть подов маршрутизируемой и сервис публиковал как headless, наверное.

Спс. будем думать

да

Спасибо

Всем привет! Подскажите пожалуйста как можно посмотреть из-за чего не создается контейнер? NAME READY STATUS RESTARTS AGE pod/db-5877dd4f57-6dwc4 1/1 Running 0 47m pod/nc-767fc48868-4mc4q 1/1 Running 0 47m pod/proxy 0/1 ContainerCreating 0 47m При попытке посмотреть логи: kube@test-kubernetes-01:~/nc-deployment$ kubectl log proxy log is DEPRECATED and will be removed in a future version. Use logs instead. Error from server (BadRequest): container "nc-proxy" in pod "proxy" is waiting to start: ContainerCreating

Всем привет! Подскажите пожалуйста как можно посмотреть из-за чего не создается контейнер? NAME READY STATUS RESTARTS AGE pod/db-5877dd4f57-6dwc4 1/1 Running 0 47m pod/nc-767fc48868-4mc4q 1/1 Running 0 47m pod/proxy 0/1 ContainerCreating 0 47m При попытке посмотреть логи: kube@test-kubernetes-01:~/nc-deployment$ kubectl log proxy log is DEPRECATED and will be removed in a future version. Use logs instead. Error from server (BadRequest): container "nc-proxy" in pod "proxy" is waiting to start: ContainerCreating

kubectl get events

describe ещё может помочь

благодарю, буду копать

Отлично, проблему нашел. выполняю деплой с мастера, соответственно все конфиги на нем, кубик ругается что на одной из нод не может смонтировать волюм из-за отсувствия файла

это что получается на каждую ноду еще файло для деплоя нужно раскопировать?

вероятно ты хочешь ConfigMap

именно, для энжинкса

спасибо за наводку!

Товарищи, подскажите, мне этих прав хватит запускать, удалять и просматривать кронджобы? kind: Role apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: kube-cron-jobs-role namespace: develop rules: - apiGroups: ["batch"] resources: ["jobs"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

Товарищи, подскажите, мне этих прав хватит запускать, удалять и просматривать кронджобы? kind: Role apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: kube-cron-jobs-role namespace: develop rules: - apiGroups: ["batch"] resources: ["jobs"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]

не GKE случаем?

не GKE случаем?

Нет, там другой iaas провайдер

Друзья, опять я со своим ceph. Поднял кластер цефа, потом заменил образ контроллер менеджера (на с поддержкой RBD), затем создал сторадж класс и PVC - все ок PV создался автоматом. но!!! он не хочет коннектиться к поду. Unable to mount volumes for pod "nginx-swhdj_default(aec92db6-b67f-11e8-a47c-001a4a1900b7)": timeout expired waiting for volumes to attach or mount for pod

@Zhibul_Siarhei А глянь логи controller-manager и kubelet на который заасайнился под с этим volume

controller-manager : rbd.go:326] successfully created rbd image "kubernetes-dynamic-pvc-4599363a-b67f-11e8-b29d-001a4a1900b7" type: 'Normal' reason: 'SuccessfulCreate' Created pod: nginx-9lkqc kubelet на воркере reconciler.go:207] operationExecutor.VerifyControllerAttachedVolume started for volume "pvc-45932f3d-b67f-11e8-a47c-001a4a1900b7" nestedpendingoperations.go:267] Operation for "\"kubernetes.io/rbd/kube:kubernetes-dynamic-pvc-4599363a-b67f-11e8-b29d-001a4a1900b7\"" failed. No retries permitted until 2018-09-12 14:45:53.023064853 +0300 +03 m=+87427.356766566 (durationBeforeRetry 2m2s). Error: "Volume not attached according to node status for volume \"pvc-45932f3d-b67f-11e8-a47c-001a4a1900b7\" (UniqueName: \"kubernetes.io/rbd/kube:kubernetes-dynamic-pvc-4599363a-b67f-11e8-b29d-001a4a1900b7\") pod \"nginx-9lkqc\" (UID: \"360eb829-b680-11e8-a47c-001a4a1900b7\") " Sep 12 14:43:57 ha-worker02 kubelet[11085]: E0912 14:43:57.412420 11085 kubelet.go:1640] Unable to mount volumes for pod "nginx-9lkqc_default(360eb829-b680-11e8-a47c-001a4a1900b7)": timeout expired waiting for volumes to attach or mount for pod "default"/"nginx-9lkqc". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-sbqsg]; skipping pod Sep 12 14:43:57 ha-worker02 kubelet[11085]: E0912 14:43:57.412457 11085 pod_workers.go:186] Error syncing pod 360eb829-b680-11e8-a47c-001a4a1900b7 ("nginx-9lkqc_default(360eb829-b680-11e8-a47c-001a4a1900b7)"), skipping: timeout expired waiting for volumes to attach or mount for pod "default"/"nginx-9lkqc". list of unmounted volumes=[mypvc]. list of unattached volumes=[mypvc default-token-sbqsg]

на всех машинах modprobe rbd, install ceph-common все как в мурзилке

ось центос 7.5 везде

слушайте, у меня тут затык такой, может я чего-то не понимаю или разучился гуглить( вот у меня скажем есть БД из 3 реплик, по православному, в виде StatefulSet, каждая реплика на отдельной ноде в разных AZ. К примеру, db-0, db-1, db-2 и соотв в зонах zone-a, zone-b, zone-c. И вот я убиваю ноду в зоне b, потому что БД из двух нод должна работать тоже. Но у StatefulSet есть такое поведение как Ordered Pod Creation: For a StatefulSet with N replicas, when Pods are being deployed, they are created sequentially, in order from {0..N-1}. Notice that the web-1 Pod is not launched until the web-0 Pod is Running and Ready И в моем случае db-1 висит в Pending статусе естественно (потому что ноды нет в этом AZ) и из-за этого не запускается db-2, и никогда не запустится. Хотя если бы запустилась, кластер бы работал. Никто с этим не сталкивался и не знает как обойти это? (Не надо только говорить что k8s не место для БД :) это не моя прихоть)

точно, разучился: https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/#pod-management-policies спасибо!

погоди, а почему db-1 не running после убийства db-0?

я убил db-1, которая в зоне b :)

ну в любом случае ответ уже нашел)

коллеги, кто-нибудь делает helm CI через chartmuseum? https://github.com/helm/chartmuseum

Мы

Мы

испытываете какие-нибудь боли?

Да

Индекс на лету создаёт

Если много файлов то отваливается по тайм-ауту

Если много файлов то отваливается по тайм-ауту

спасибо

Ну мы его тоже в к8s запускали

Потом починили эту проблему

Вроде ок

А вообще он очень быстро развивается

а PVC где в самом k8s? или на внешнем s3,google bucket,etc?

S3 bucket

Вообщем я давно не смотрел что они там нового навыкатывали

Если че могу познакомить с мантайнером, для быстрого фидьека

Если че могу познакомить с мантайнером, для быстрого фидьека

если что, пингану, спасибо

Про индекс имел в виду при старте

Когда работает все ок

https://github.com/helm/helm/blob/master/docs/charts_tips_and_tricks.md#automatically-roll-deployments-when-configmaps-or-secrets-change

И я так и не вижу как после апгрейда чарта обновить под с новым configMap собранным с другими values

меняй ресурс через аннотации, тебе ж написали

меняй ресурс через аннотации, тебе ж написали

не понимаю. которые именно аннтоации

ресурса, в котором у тебя под

у тебя под не рестартует, потому что ресурс не поменялся

если ты в него запихаешь аннотацию, которая зависит от переменной, то определение ресурса будет меняться

если ты в него запихаешь аннотацию, которая зависит от переменной, то определение ресурса будет меняться

apiVersion: v1 kind: ConfigMap metadata: name: config namespace: default data: application.yml: | {{- with .Values.application.common }} {{ toYaml . | indent 4 }} {{- end }}

зависит

не?

> ресурса, в котором у тебя под

> ресурса, в котором у тебя под

то есть, если я описал поды и контейнеры в statefulSet, то зависимым должен быть он?

да

в ссылке, которую тебе дали, в качестве примера Deployment

эмм. А то что я складываю конфиг в configMap не есть верно?

верно, просто это не всё

у тебя configMap меняется, а поды не рестартуют

поэтому тебе надо сделать явную зависимость в ресурсе с подами, чтоб они рестартовали

просто хостую зависмость. понял

но я не понял, как при апдейте чарта обновить values?

--set param=value

если меняешь один параметр, а остальные должны остаться неизменными, делай --reuse-values --set param=value

если меняешь один параметр, а остальные должны остаться неизменными, делай --reuse-values --set param=value

на upgrade —set делается?

хотя че спрашивать, ща попробую

да, речь именно про helm upgrade

--set param=value

передать там файл можно как с -f?

да

--set common/values.yaml

Error: failed parsing --set data: key map "common/values" has no value

$ helm upgrade -h | grep '\--values' To override values in a chart, use either the '--values' flag and pass in a file You can specify the '--values'/'-f' flag multiple times. The priority will be given to the -f, --values valueFiles specify values in a YAML file or a URL(can specify multiple) (default [])

$ helm upgrade -h | grep '\--values' To override values in a chart, use either the '--values' flag and pass in a file You can specify the '--values'/'-f' flag multiple times. The priority will be given to the -f, --values valueFiles specify values in a YAML file or a URL(can specify multiple) (default [])

это первое что я сделал

--set для передачи через аргумент

он говорит незля такие ключи

а теперь прошло

и рестартует поды

ты меня обманываешь, не может он такое говорить :)

б**

я себя обманываю

helm upgrade --install