В зависимости от потребностей

Коллеги, подскажите пожалуйста, есть ли какие либо критерии выбора, где деплоить k8s: Bare Metal vs Private/Public Cloud vs Managed?

Тут такой trade off: свое железо - паришся с установкой и как это все отказоустойчиво сделать на железе и софте ставить в облаке - паришся с установкой, но отказоустойчивость дали для железа, думай о софте managed в облаке - легче ставить, отказоустойчивость дали для железа и видимо для control plane, но ограничили версию(Amazon отстает на две версии).

С облаками тоже надо выбирать. Некоторые фичи(их немного) зависят от вендора облака типа Cluster Autoscaler. И тут будут нюансы.

Спасибо большое!)

именно так ;) но ведь работает ? ;)

именно так ;) но ведь работает ? ;)

docker без проблем работает уже 2 года как)

Ну и вообще где-то 70% толи всех, толи облачных куберов живут в Амазоне. А миллион леммингов не могут ошибатся )

Ну и вообще где-то 70% толи всех, толи облачных куберов живут в Амазоне. А миллион леммингов не могут ошибатся )

А у них какой CRI?

А у них какой CRI?

Docker на managed, но большое число установок - это же сами. Amazon достаточно медленно предоставил managed решение. У него своии велосипеды на контейнерах и даже не один )

Container Runtime Version: docker://18.6.1

configmap?

посмотрел - он к сожалению не подойдет, потому что параметров много, и внутрь контейнера они попадут как env variables, а мне бы хотелось иметь возможность прочитать их из файла

посмотрел - он к сожалению не подойдет, потому что параметров много, и внутрь контейнера они попадут как env variables, а мне бы хотелось иметь возможность прочитать их из файла

https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-configmap/#add-configmap-data-to-a-volume

посмотрел - он к сожалению не подойдет, потому что параметров много, и внутрь контейнера они попадут как env variables, а мне бы хотелось иметь возможность прочитать их из файла

Конфигмапу можно положить как файл

Конфигмапу можно положить как файл

а не проще ли тогда просто сделать маунт в Job?

а не проще ли тогда просто сделать маунт в Job?

Маунт чего? Конфигмапы? :)

нет, я имею в виду вот что - у меня есть папка в которой куча json-файлов с параметрами, в докере я могу эту папку просто подмаунтить к контейнеру - в кубере можно так сделать?)

нет, я имею в виду вот что - у меня есть папка в которой куча json-файлов с параметрами, в докере я могу эту папку просто подмаунтить к контейнеру - в кубере можно так сделать?)

Ага, через конфигмапу например :). Это самый правильный способ

Ага, через конфигмапу например :). Это самый правильный способ

ааа, все, дошло, я не сразу понял как это правильно сделать, пока два раза док не прочитал) спасибо!

народ, а кто использует csi-ceph (rbd)? Не ловили проблему, что rbd монитруется на хост успешно, приезжает в нужную кубову папку монитруется, но куб орет что не подали ему pvc?

ох, я бы вообще на горячую там ничего не правил. нестабильный трындец, а как фиксить проблемы хз

народ, а кто использует csi-ceph (rbd)? Не ловили проблему, что rbd монитруется на хост успешно, приезжает в нужную кубову папку монитруется, но куб орет что не подали ему pvc?

++ вижу куб или csi путают id подов. монитрует в один, файлы видит в одном. а chmod кубелет пытается применить на тот же pvc но в другом id пода и фейлится

Volume has not been added to the list of VolumesInUse in the node's volume status for volume

и еще такие вещи

{{- range .Values.ingress.hosts }} - host: {{ .host | quote }} http: paths: - path: {{ .paths }} backend: servicePort: {{ .port }} serviceName: {{ .Values.labels.app | lower }} {{- end }} хелпните плиз когда делаю такуб конструкцию, получаю ошибку at <.Values.labels.app>: nil pointer evaluating interface {}.labels]

Оно ищет это в рендже

понимаю, но как указать что это аутрендж

.labels -это вообще что у вас?

это labels: app: firstName build: CI_PIPELINE_IID team: CI_PROJECT_NAMESPACE product: exim4 env: CI_COMMIT_REF_SLUG

Хз. Надо доку читать

разобрался

{{- $app := .Values.labels.app -}}

{{- range .Values.ingress.hosts }} - host: {{ .host | quote }} http: paths: - path: {{ .paths }} backend: servicePort: {{ .port }} serviceName: {{ $app }} {{- end }}

вот так норм

что-то в доке не могу найти, как указать 2 порта в route для сервиса? apiVersion: route.openshift.io/v1 kind: Route metadata: labels: name: olap-planeta name: olap-planeta namespace: planeta spec: host: platena port: targetPort: db-7771 port: targetPort: db-7777 to: kind: Service name: postgres-planeta weight: 100 wildcardPolicy: None

вот это не рабочий вариант

хватет только что первым указано

apiVersion: v1 kind: Service metadata: name: fmtntas-core-${profileName} labels: app: fmtntas-frontoffice chart: {{ .Chart.Name }} release: {{ .Release.Name }} component: core spec: type: ClusterIP ports: - name: ssh port: 22022 targetPort: 22 - name: tas-port port: 22980 targetPort: 1980 - name: core-ws-http port: 22066 targetPort: 22066

apiVersion: v1 kind: Service metadata: name: fmtntas-core-${profileName} labels: app: fmtntas-frontoffice chart: {{ .Chart.Name }} release: {{ .Release.Name }} component: core spec: type: ClusterIP ports: - name: ssh port: 22022 targetPort: 22 - name: tas-port port: 22980 targetPort: 1980 - name: core-ws-http port: 22066 targetPort: 22066

так уже задано

apiVersion: extensions/v1beta1 kind: Ingress metadata: name: fmtntas-core-${profileName}-ingress labels: app: fmtntas-frontoffice chart: {{ .Chart.Name }} release: {{ .Release.Name }} component: core annotations: kubernetes.io/ingress.class: nginx kubernetes.io/tls-acme: 'true' spec: rules: - host: fmtntas-${profileName}-parlay.app.okd.lanit http: paths: - path: / backend: serviceName: fmtntas-core-${profileName} servicePort: 22385 - host: fmtntas-${profileName}-core-ws.app.okd.lanit http: paths: - path: / backend: serviceName: fmtntas-core-${profileName} servicePort: 22066 - host: fmtntas-${profileName}-core.app.okd.lanit http: paths: - path: / backend: serviceName: fmtntas-core-${profileName} servicePort: 22500 - host: fmtntas-${profileName}-call-recorder.app.okd.lanit

https://www.youtube.com/watch?v=E6H4bgJ3Z6c&t=15s наслаждайтесь ;)

спасибо

Хост для route имеет смысл использовать при https

И там вроде как нельзя несколько хостов

Потому что это route

что-то в доке не могу найти, как указать 2 порта в route для сервиса? apiVersion: route.openshift.io/v1 kind: Route metadata: labels: name: olap-planeta name: olap-planeta namespace: planeta spec: host: platena port: targetPort: db-7771 port: targetPort: db-7777 to: kind: Service name: postgres-planeta weight: 100 wildcardPolicy: None

никак, порты открываются на роутере

никак, порты открываются на роутере

так у меня и приведен конфиг роута

route только для хттп и хттпс, если в кишки не лезть

так у меня и приведен конфиг роута

Ало, я уже привел пример файла

Делай по нему

окей

можно ли в одном ингресе с несколькими точками входа указать реврайт для одного?

вообще мне нужно, чтобы не я видела эти порты, а мои сервисы, что к ней обращаются

к этой БД

можно ли в одном ингресе с несколькими точками входа указать реврайт для одного?

Не совсем понял, что ты имеешь ввиду, но скорее всего да

вообще мне нужно, чтобы не я видела эти порты, а мои сервисы, что к ней обращаются

Так и сделано

Service Port

Вот так это выглядит в итоге

apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: nginx.ingress.kubernetes.io/app-root: /app1 name: approot namespace: default spec: rules: - host: approot.bar.com http: paths: - backend: serviceName: front-svc servicePort: 80 path: / paths: - backend: serviceName: back-svc servicePort: 80 path: /

как реврайтит ьтолько фронт допустим?

apiVersion: extensions/v1beta1 kind: Ingress metadata: annotations: nginx.ingress.kubernetes.io/app-root: /app1 name: approot namespace: default spec: rules: - host: approot.bar.com http: paths: - backend: serviceName: front-svc servicePort: 80 path: / paths: - backend: serviceName: back-svc servicePort: 80 path: /

Что имеется ввиду под словом Rewrite?

На подходе ещё оператор для nginx ingress контроллера. Если надо, то опенсорсну. У нас просто несколько ингресс контроллеров, нам полезно + я не люблю хелм.

Конечно helm говно, но nginx ingress operator это какая-то наркомания

при обращении к approot.bar.com/app1 попадал в сервис front-svc/

path: /app1 ?

Конечно helm говно, но nginx ingress operator это какая-то наркомания

Как ни странно, я согласен, но получилось красиво

Конечно helm говно, но nginx ingress operator это какая-то наркомания

чойта?

Конечно helm говно, но nginx ingress operator это какая-то наркомания

Потом привыкаешь и такой "Ну, есть можно"

расскажите как вы будете хелмом его обновлять, в идеале без даунтайма

Плюс, мб, как-нибудь добавлю в него поддержку других ингресс-контроллеров, с которыми пока еще не игрался. Traefik вызывает интерес, но не внушает доверия в плане производительности и прочего. Хотя обязательно попробую.

Вообще я хочу сказать, что на Helm есть много плагинов, которые пишут добрые люди

Плюс, мб, как-нибудь добавлю в него поддержку других ингресс-контроллеров, с которыми пока еще не игрался. Traefik вызывает интерес, но не внушает доверия в плане производительности и прочего. Хотя обязательно попробую.

было бы удобно добавить валидацию аннотаций для ингрессов, например

И как бы можно крякнуть, плюнуть и надежно склеить скотчем

при обращении к approot.bar.com/app1 попадал в сервис front-svc/

Только serviceport не может быть у двух портов одинаковый, сделай второй 8080, например

Только serviceport не может быть у двух портов одинаковый, сделай второй 8080, например

может

может

И как это должно работать?

Если у тебя одинаковый хост, путь и порты?

Нет, работать то оно будет

Только разницы нет

да короч отдельный ингрес сделаю

По факту, ты выбрасываешь, скажем 80 > 5000 80 > 6000 Хост одинаковый, path одинаковый

Куда я зайду на 80 порту, на 5000 или 6000?