Господа, а можно в манифест кубернетеса как-то вкрутить переменную?

У меня в этом манифесте запускается контейнер

я хочу версию передавать

я хочу версию передавать

Чем деплоишь?

kubectl

Он не умеет переменные (окружения, по крайней мере). Только если ты будешь подставлять поля по типу: valueFrom: fieldRef: fieldPath: status.hostIP

Да. На самом деле это IPIP Tunnel. У меня calico.

я калико не использую. вообще сейчас обнаружил, что сетка service_network (10.3.х.х) фигурирует в конфигах только в одном месте - только на мастер-ноде в ключах апи-сервера т.е. другие ноды про этот айпишник ничего не знают (кроме как через апи)

и ещё - на всех нодах все айпишники разные и только у интрефейса docker0 на всех нодай айпишник 172.17.0.1 по-моему это дичь)))

в общем мне судя по всему надо как то вывести на интерфейсы физических нод сетку сервисов (10.3)

ip и должны по хорошему быть разные. Здесь работает правила L3 маршрутизации

и ещё - на всех нодах все айпишники разные и только у интрефейса docker0 на всех нодай айпишник 172.17.0.1 по-моему это дичь)))

У докера своя сеть на каждом сервере. И она всегда (по умолчанию) 172.17.0.1

в том случае если не меняешь окружения докера

Парни, сколько хостов в infra зоне должно быть в OS 3.6 ?

Почему мне кажется из документации что 3 ?

С одним даже router не ставится, заявляя что ему нужно 3 пода

А как по крону задания выполнять? Читал, что есть CronJob, но там нужно включать v2alpha1. Что-то не хочется...

работает через CronJob

Другой способ написать самому скриптик и засылать job

Всем привет. Кто на AWS разворачивал? Какие спеки для машин использовали?

Всем привет. Кто на AWS разворачивал? Какие спеки для машин использовали?

Привет из Нетриса, хе.

Юзал kops, он сам подбирал.

Ха ?

Привет Нетрису)

> For the master, for clusters of less than 5 nodes it will use an m3.medium, for 6-10 nodes it will use an m3.large; for 11-100 nodes it will use an m3.xlarge. > For worker nodes, for clusters less than 50 nodes it will use a t2.micro, for clusters between 50 and 150 nodes it will use a t2.small and for clusters with greater than 150 nodes it will use a t2.medium. Source: https://kubernetes.io/docs/getting-started-guides/aws/

Привет Нетрису)

Твое фото все еще на холодильнике.

привет.. kubectl понимает анкоры yaml?

у меня без —validate=false не понимает

> For the master, for clusters of less than 5 nodes it will use an m3.medium, for 6-10 nodes it will use an m3.large; for 11-100 nodes it will use an m3.xlarge. > For worker nodes, for clusters less than 50 nodes it will use a t2.micro, for clusters between 50 and 150 nodes it will use a t2.small and for clusters with greater than 150 nodes it will use a t2.medium. Source: https://kubernetes.io/docs/getting-started-guides/aws/

Плюс вот ещё свежий мануал https://aws.amazon.com/blogs/compute/kubernetes-clusters-aws-coreos-tectonic/

у меня без —validate=false не понимает

Значит не правильно пишешь

Значит не правильно пишешь

у вас работают?

да

да

ну вот я описываю anchor: &anchor "что-то там" потом: name: *anchor ругается unknown field "anchor" in io.k8s.kubernetes.pkg.apis.extensions.v1beta1.Ingress;

стоп а что ещё за anchor в кубере?

yaml

при чём тут yaml и поле ancord

yaml это язык манифестов

конфиги куба на ямле

ок?

ну да, только при чём тут anchor

якорь

хотите я назову его ass? %)

https://en.wikipedia.org/wiki/YAML#Advanced_components

там еще есть references %)

apiVersion: extensions/v1beta1 kind: Deployment metadata: name: kubernetes-dashboard namespace: kube-system labels: k8s-app: kubernetes-dashboard kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile spec: selector: matchLabels: k8s-app: kubernetes-dashboard template: metadata: labels: k8s-app: kubernetes-dashboard annotations: scheduler.alpha.kubernetes.io/critical-pod: '' spec: containers: - name: kubernetes-dashboard image: gcr.io/google_containers/kubernetes-dashboard-amd64:v1.6.3 resources: # keep request = limit to keep this container in guaranteed class limits: cpu: 100m memory: 300Mi requests: cpu: 100m memory: 100Mi ports: - containerPort: 9090 livenessProbe: httpGet: path: / port: 9090 initialDelaySeconds: 30 timeoutSeconds: 30 tolerations: - key: "CriticalAddonsOnly" operator: "Exists"

Это yaml который кушает кубер

так тут нет якорей

привет.. kubectl понимает анкоры yaml?

вот такой был вопрос

сорки, моя не понимать что такое анкор...

скорее всего оно вообще не понимает расширения yaml

ну вот я описываю anchor: &anchor "что-то там" потом: name: *anchor ругается unknown field "anchor" in io.k8s.kubernetes.pkg.apis.extensions.v1beta1.Ingress;

видимо он пытается смаппить поле anchor в структуру Ingress и не находит его там

т.е. видимо сам якорь-то резолвится, но anchor остается в структуре и из-за этого не десериализуется, потому что десериализатор выбрасывает ошибку при встрече незнакомого поля (а не просто игнорирует его)

ребят, может кто поделится ссылкой на issues, по поводу баги, из-за которой initContainers при kubectl apply не обновляются ?

починили это в 1.8 ?

аннотации? или нативные инит контейнеры

кажется только аннотация не работала

(ну и при любом раскладе, обновления init container не вызывает пересоздания подов в deployment)

кстати, вопрос в воздух... разумно ли ожидать что при проблемах с kubectl apply обновление бинарника kubectl решит проблему или там все глубоко переплетено?

зависит от проблем

но kubectl делает минимальную работу по доставке yaml до самого кубера, так что маловероятно

ясно, я так и ожидал. спасибо

по мониторингу вопрос, развернул prometheus, тот обнаружил таргеты с метриками: kubernetes-apiservers, kubernetes-nodes, kubernetes-service-endpoints. попробовал несколько дашбордов в grafana для k8s, всем на cAdvisor опираются. Кто подскажет для этих изкоробки k8s метрик (apiserver/nodes) дашборд?

по мониторингу вопрос, развернул prometheus, тот обнаружил таргеты с метриками: kubernetes-apiservers, kubernetes-nodes, kubernetes-service-endpoints. попробовал несколько дашбордов в grafana для k8s, всем на cAdvisor опираются. Кто подскажет для этих изкоробки k8s метрик (apiserver/nodes) дашборд?

- job_name: 'kubernetes-cadvisor' tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token scheme: https kubernetes_sd_configs: - role: node relabel_configs: - action: labelmap regex: __meta_kubernetes_node_label_(.+) - target_label: __address__ replacement: kubernetes.default.svc:443 - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __metrics_path__ replacement: /api/v1/nodes/${1}:4194/proxy/metrics

не, cAdvisor я разберусь как поставить =)

А что там за метрики?

у apiserver /metrics

у каждой ноды: https://kubernetes.default.svc:443/api/v1/nodes/<nodename>/proxy/metrics

такая информация по нодам есть например # HELP kubelet_docker_operations Cumulative number of Docker operations by operation type. # TYPE kubelet_docker_operations counter kubelet_docker_operations{operation_type="create_container"} 14 kubelet_docker_operations{operation_type="info"} 1 kubelet_docker_operations{operation_type="inspect_container"} 65 kubelet_docker_operations{operation_type="inspect_image"} 33 kubelet_docker_operations{operation_type="list_containers"} 555904 kubelet_docker_operations{operation_type="list_images"} 20622 kubelet_docker_operations{operation_type="remove_container"} 4 kubelet_docker_operations{operation_type="start_container"} 14 kubelet_docker_operations{operation_type="stop_container"} 11 kubelet_docker_operations{operation_type="version"} 67883

у apiserver /metrics

Это эндпоинты.

Попробуй дашборды с id: 2, 162, 704, 22, 747, 737

ок =) спасибо

я чет про cadvisor не пойму, его функциональность встроена в к8с?

- job_name: 'kubernetes-cadvisor' tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token scheme: https kubernetes_sd_configs: - role: node relabel_configs: - action: labelmap regex: __meta_kubernetes_node_label_(.+) - target_label: __address__ replacement: kubernetes.default.svc:443 - source_labels: [__meta_kubernetes_node_name] regex: (.+) target_label: __metrics_path__ replacement: /api/v1/nodes/${1}:4194/proxy/metrics

нашел pr с описание ${1}:4194 https://github.com/prometheus/prometheus/pull/2918/files стало понятнее к чему это было

В кубере вся документация ниже 1.8 теперь считается устаревшей. Но на 1.8 страшно пока переходить...

оо

я чет про cadvisor не пойму, его функциональность встроена в к8с?

она встроена в kubelet

да, разобрался уже куда спрятали: # This is required for Kubernetes 1.7.3 and later, where cAdvisor metrics # (those whose names begin with 'container_') have been removed from the # Kubelet metrics endpoint. This job scrapes the cAdvisor endpoint to # retrieve those metrics. # # In Kubernetes 1.7.0-1.7.2, these metrics are only exposed on the cAdvisor # HTTP endpoint; use "replacement: /api/v1/nodes/${1}:4194/proxy/metrics" # in that case (and ensure cAdvisor's HTTP server hasn't been disabled with # the --cadvisor-port=0 Kubelet flag).

В кубере вся документация ниже 1.8 теперь считается устаревшей. Но на 1.8 страшно пока переходить...

а 1,8 релизнули?

давно

Да. 5 дней назад.

давно

5 дней...как давно то....

для кубера это, считай, эпоха

вечность

Что-то надоело мне, что glusterfs постоянно эндпоинт отваливается. В логах - всё нормально. Никаких сообщений. Просто пропадает и всё... Хочу что-то по типу облака. Чтобы монтировать, как hostPath, но каталоги меж собой синхронизировались автоматом при изменении файлов. Кто-нибудь делал что-то подобное? Файлов не много - буквально 200 метров. Нужна высокая доступность. И сравнительно быстрая синхронизация при изменении.

для кубера это, считай, эпоха

Пфф я работаю в крупном ентерпрайз, для нас 5 дней это меньше мгновения........

Что-то надоело мне, что glusterfs постоянно эндпоинт отваливается. В логах - всё нормально. Никаких сообщений. Просто пропадает и всё... Хочу что-то по типу облака. Чтобы монтировать, как hostPath, но каталоги меж собой синхронизировались автоматом при изменении файлов. Кто-нибудь делал что-то подобное? Файлов не много - буквально 200 метров. Нужна высокая доступность. И сравнительно быстрая синхронизация при изменении.

а я ведь предупреждал

Я не верил)

Пфф я работаю в крупном ентерпрайз, для нас 5 дней это меньше мгновения........

энтерпрайзников даже жалеть нельзя :)

Зато тут тепло и мухи не летают)

Так что - всё-таки ceph?

Или cephfs?

ceph, без fs

обязательно обдумайте резервное копирование. Я вот не обдумал и теперь мучаюсь

Поскольку у меня чуть чуть файлов - бэкапится просто rsync'ом. Или там подводные камни есть?

обязательно обдумайте резервное копирование. Я вот не обдумал и теперь мучаюсь

?