а может и вообще попилим

Не все компании большие, у всех разные возможности, но прод есть прод)

это не так работает. Вопрос в том сколько вы готовы в день-неделю-месяц-год лежать и сколько вам это стоит - может вам реально проще перекатывать весь кластер если что пойдет не так хоть раз в день

так если всего 3 ноды значит не бизнескритикал - можно и полежать

Если "может и полежать", так на кой там вообще куб. Совет "перераскати ежели чего" - эт конечно огонь

у человека 3 ноды и хочется куб

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

суета вокроуг трехнодного k8s в проде

Скажи человеку что обе его идеи говно. Зачем другую идиотию предлагать? Потом придёшь в новую организацию, а там такое. Вот радости будет

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

Поздно бро, сворм уже крутится))))

Поздно бро, сворм уже крутится))))

Сочувствую

https://youtu.be/YT38Vv5hzCE

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

(извините)

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

а че, и с двумя можно

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

с детства с рифмой я дружу называется

еще раз, аффтор вопроса не сказал где хочет k8s может ему можно посоветовать hosted k8s от aws/google/azure

если денех хватит😅

Я так понял что он хочет попилить все сам и с нами не делиться...

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

выглядит как будто оно оторвало основно ip-адрес от ноды

основоной ip доступен, или оторвало на уровне kubelet?

странно. что Unexpected EOF

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

Это прекрасно!

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

Такая штука только в момент перехода VIP или продолжается и после?

Такая штука только в момент перехода VIP или продолжается и после?

продолжается все время пока VIP на ноде

Коллеги, подскажите плз по прометеусу и куберу. Кластер из 4х нод, 44 ядра суммарно. Строю в графане два графика: 1. Суммарное использование ядер cpu всеми нодами кластера: sum (rate (container_cpu_usage_seconds_total{id="/",kubernetes_io_hostname=~"^$Node$"}[1m])) . Получаю значение в диапазоне от 38 до 44. 2. Использование ядер cpu в разрезе по namespace. sum (rate (container_cpu_usage_seconds_total{image!="",name=~"^k8s_.*",kubernetes_io_hostname=~"^$Node$"}[1m])) by (namespace) . Получаю значение ~35. Смущает заметная разность показаний п.1 и п.2. Что я делаю не так?

Коллеги, подскажите плз по прометеусу и куберу. Кластер из 4х нод, 44 ядра суммарно. Строю в графане два графика: 1. Суммарное использование ядер cpu всеми нодами кластера: sum (rate (container_cpu_usage_seconds_total{id="/",kubernetes_io_hostname=~"^$Node$"}[1m])) . Получаю значение в диапазоне от 38 до 44. 2. Использование ядер cpu в разрезе по namespace. sum (rate (container_cpu_usage_seconds_total{image!="",name=~"^k8s_.*",kubernetes_io_hostname=~"^$Node$"}[1m])) by (namespace) . Получаю значение ~35. Смущает заметная разность показаний п.1 и п.2. Что я делаю не так?

Можт ещё чуть уходит на куберовские сервисы?

Можт ещё чуть уходит на куберовские сервисы?

namespace kube-system потребляет в среднем 0.7 ядра

namespace kube-system потребляет в среднем 0.7 ядра

Я имею в виду сервисы которые не в контейнерах работают на нодах. Если они конечно есть.

Например, etcd и kubelet при установке через Kubespray ставятся не контейнерами и поэтому в метриках Куба отсутствуют

Например, etcd и kubelet при установке через Kubespray ставятся не контейнерами и поэтому в метриках Куба отсутствуют

Да, etcd и kubelet действительно вне контейнеров

Можно сделать и в контейнерах. Там в групп варах переменную можно им поменять, на значение docker

Можно сделать и в контейнерах. Там в групп варах переменную можно им поменять, на значение docker

Ок, но пока вопрос больше про мониторинг имеющегося

Подскажите, как правильно будет монтировать файлы с секретом в k8s в директорию. Нужно смотировать 2 файла в одну деректорию. Только с помощью subpatch ?

указать полный путь файла?

- mountPath: /app/config/application.yml name: config

Что-то не получается у меня прицепить нужный security police к поду вот итоговый yaml одного из сервисов apiVersion: v1 kind: Pod metadata: annotations: kubernetes.io/psp: restricted seccomp.security.alpha.kubernetes.io/pod: docker/default creationTimestamp: 2018-08-29T09:54:43Z generateName: redis-85c9889966- labels: component: redis pod-template-hash: "4175445522" name: redis-85c9889966-8z6sf namespace: dev-qa ownerReferences: - apiVersion: apps/v1 blockOwnerDeletion: true controller: true kind: ReplicaSet name: redis-85c9889966 uid: 8db20588-ab71-11e8-8802-000c295439c4 resourceVersion: "229576" selfLink: /api/v1/namespaces/dev-qa/pods/redis-85c9889966-8z6sf uid: 8db65e98-ab71-11e8-8802-000c295439c4 spec: containers: - image: redis:alpine imagePullPolicy: Always livenessProbe: failureThreshold: 3 periodSeconds: 10 successThreshold: 1 tcpSocket: port: 6379 timeoutSeconds: 3 name: redis ports: - containerPort: 6379 name: redis protocol: TCP readinessProbe: failureThreshold: 3 periodSeconds: 10 successThreshold: 1 tcpSocket: port: 6379 timeoutSeconds: 1 resources: {} securityContext: allowPrivilegeEscalation: false capabilities: drop: - ALL runAsNonRoot: true terminationMessagePath: /dev/termination-log terminationMessagePolicy: File volumeMounts: - mountPath: /data name: redis-data - mountPath: /var/run/secrets/kubernetes.io/serviceaccount name: server-token-gnjwh readOnly: true dnsPolicy: ClusterFirst nodeName: node1 priority: 0 restartPolicy: Always schedulerName: default-scheduler securityContext: fsGroup: 1 supplementalGroups: - 1 serviceAccount: server serviceAccountName: server terminationGracePeriodSeconds: 30 tolerations: - effect: NoExecute key: node.kubernetes.io/not-ready operator: Exists tolerationSeconds: 300 - effect: NoExecute key: node.kubernetes.io/unreachable operator: Exists tolerationSeconds: 300 volumes: - emptyDir: {} name: redis-data - name: server-token-gnjwh secret: defaultMode: 420 secretName: server-token-gnjwh status: conditions: - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z status: "True" type: Initialized - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z message: 'containers with unready status: [redis]' reason: ContainersNotReady status: "False" type: Ready - lastProbeTime: null lastTransitionTime: null message: 'containers with unready status: [redis]' reason: ContainersNotReady status: "False" type: ContainersReady - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z status: "True" type: PodScheduled containerStatuses: - image: redis:alpine imageID: "" lastState: {} name: redis ready: false restartCount: 0 state: waiting: message: container has runAsNonRoot and image will run as root reason: CreateContainerConfigError hostIP: **** phase: Pending podIP: **** qosClass: BestEffort startTime: 2018-08-29T09:54:43Z

почему в restricted то лезет, если я указал ему соотвествующий service account

Подскажите, как правильно будет монтировать файлы с секретом в k8s в директорию. Нужно смотировать 2 файла в одну деректорию. Только с помощью subpatch ?

еще можно попробовать через projected волюмы

если устанавливать securityContext: вручную - ругается > is forbidden: unable to validate against any pod security policy [spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed

еще можно попробовать через projected волюмы

projected волюмы - это что? если не сложно, подкиньте примеры

https://kubernetes.io/docs/tasks/configure-pod-container/configure-projected-volume-storage/

@AkulovNV это я отвечал человеку который хочет смотировать 2 файла в одну деректорию.

а понял )

все, заработало - разобрался

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

нашел при каких обстоятельствах появляется проблема - если включить vsphereCloudProvider, кто-то использует данную связку rke+vsphereCloudProvider+kube-keepalived-vip успешно? или нужно смпотреть в сторону ceph\HW-NAS?

все, заработало - разобрался

Уже рассказывай, раз разобрался )

Остальным

не опять а снова - когда их уже всех сольют

никада))

Уже рассказывай, раз разобрался )

если честно, сам не понял )) в общем походу накосячил в rbac там есть такой параметр resourceNames: убрал от туда все и пошло

https://github.com/helm/helm/issues/3322

вот на такое вот наткнулся

Какая-то адская боль

решил поставить drone.io хелм чартом

там есть встроенный ингресс объект, но в ингресс он не хочет добавляться: I0829 11:25:49.279301 7 event.go:218] Event(v1.ObjectReference{Kind:"Ingress", Namespace:"default", Name:"test-drone", UID:"47bcdee8-ab7e-11e8-aca1-0a58ac1f11b7", APIVersion:"extensions", ResourceVersion:"2606469", FieldPath:""}): type: 'Normal' reason: 'CREATE' Ingress default/test-drone W0829 11:25:52.419499 7 controller.go:773] service default/test-drone does not have any active endpoints I0829 11:25:52.419650 7 controller.go:168] backend reload required I0829 11:25:57.612892 7 controller.go:177] ingress backend successfully reloaded... I0829 11:25:57.614473 7 controller.go:168] backend reload required I0829 11:26:02.833782 7 controller.go:177] ingress backend successfully reloaded...

сам сервис работает при этом , port-forward'ом работает

совершенно эзотерическая ошибка какая-то

https://github.com/kubernetes/ingress-nginx/blob/dceb55aec49103d8e7741fbe4d9f8e7dc0ad7c7d/internal/ingress/controller/controller.go#L806 походу это она

Коллеги, добрый день! философский вопрос: попросили на проекте установить Runcher2 для чего, зачем? - Не аргументировали те кто сталктвался, тыкал в его кнопки, - не могли бы поделиться впечатлениями, пояснить в чем профит в отличии от чистой инсталяции k8s?

У меня ноды анонсят на роут рефлекторы. Все вроде искаропки

Вот, кстати, нет. Сеть подов анонсят, а сервисов - неа.

Кубраутер только искаропки умеет, похоже.

Но только он анонсит отдельные ip, было бы логично сеть целиком.

/report

Коллеги, добрый день! философский вопрос: попросили на проекте установить Runcher2 для чего, зачем? - Не аргументировали те кто сталктвался, тыкал в его кнопки, - не могли бы поделиться впечатлениями, пояснить в чем профит в отличии от чистой инсталяции k8s?

красивый гуй, поддерживает ldap, каждый юзер может авторизоваться и скачать свой kube-config, еще там есть своя репа с приложениями, мол ткнул кнопку оно и установилось. Еще ранчер позволяет деплоить новые ноды так же из гуя. Красивая штука, но если знаешь куб, практически бесполезная.

чего то в платный канал всё открывают и открывают доступы

@SinTeZoiD

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

Тестил разворачивая офф ансиблом

Кубер был из кубспрея

Меня больше интерисует опыт в продакшене

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

rook позволит в контейнере для прода советуют разворачивать ceph рядом с k8s, а не в нём

и вообще @ceph_ru или как там его

rook позволит в контейнере для прода советуют разворачивать ceph рядом с k8s, а не в нём

У меня на него нагрузки не предполагается. До этого много лет glusterfs использовал без проблем, но ceph маунтить удобнее. Я раньше его из пакетов разворачивал, сейчас думаю есть способы более модные) Rook слышал, хотел тут узнать насколько такие решения стабильные достаточно для прода.

у меня дома работает rook, для домашнего k8s норм

и вообще @ceph_ru или как там его

Там я уже спрашивал, молчат

у меня дома работает rook, для домашнего k8s норм

ок, попробую его

добрый день, подскажите как рессурсы лучше распределять ? ест 3 ESXI vmware в общей сложности 128 cores и  288гб ram, как лучше сделать ? 3 мастера и много нод типа 2 сердца 8 памяти или меньше узлов с 4 сердцами и 16 памяти ?

пробовать особо нечего, оно прямо из коробки работает

Кто использует ceph для кластера? Подскажите как разворачивали, из пакетов, в контейнерах или в кубере?

Разворачивай рук, а мы потом все поржём

но потом)