бэкап etcd!

не думаю что на таком маленьком кластере io на etcd будет проблемой

а характеристики машин?

4/8

4/8 = 0.5

4/8 = 0.5

Класс)

угу, примерно 5..6

4/8

я вам лично разрешаю

делать это на k8s

я вам лично разрешаю

???интересно было больше услышать насколько это оправданои стоит ли))) но спасибо)))

бери и делай

выше писали, что оправдано на 0.5

если контейнеры с go'шечкой stateless, то можно делать с одним мастером, и не бекапить etcd, а при падение кластера просто накатывать новый за 8 минут

если контейнеры с go'шечкой stateless, то можно делать с одним мастером, и не бекапить etcd, а при падение кластера просто накатывать новый за 8 минут

Звучит не круто. Помоему смысл приодном мастере вообще теряется

у вас прод k8s на трех нодах, вот это звучит не круто

вы даже не написали где хотите k8s хостить.

так если всего 3 ноды значит не бизнескритикал - можно и полежать

хехе, неплохой такой себе прод "можно и полежать" :)

не ну если бизнес говорит что денег ток на 3 сервака вместо условных 9 то это ведь правда согласитесь?

я если честно, даже вдумываться не буду почему такой прод

hi all! Решил повториться с вопросом, ранее его задавал безрезультатно, но, мб, не все его видели (: Установил на локальном сервере kubernetes + gitlab-omnibus. При отработке gitlab-runner'a , который билдит приложение, получаю такую картину - закачка пкаетов maven'a по https то работает, то нет. Проблема похожа на ту, которая описана здесь: https://gitlab.com/gitlab-org/gitlab-runner/issues/3161 . В поде gitlab-runner'a все нормально по части DNS и закачек через wget и curl.

не ну если бизнес говорит что денег ток на 3 сервака вместо условных 9 то это ведь правда согласитесь?

Правильно говорит. На 4 сервиса на Го в докере 9 машин в среднем по больнице жирно :)

так я и не спорю, юмор в том что многие не догадываются даже на чем огромнейшие интернет-ресурсы крутятся и почему это вообще работает

Реальная история из Банка: "не выключайте тот сервер, он очень старый, не знаем что делает, но лифты в здании встанут"

10\10

:D

я если честно, даже вдумываться не буду почему такой прод

Не все компании большие, у всех разные возможности, но прод есть прод)

Не все компании большие, у всех разные возможности, но прод есть прод)

спасибо кэп

надо видимо это в вопросе учитывать, пишите свой бюджет прода и пишите решение, относительно бюджета можно уже более точно давать вам советы

а может и вообще попилим

Не все компании большие, у всех разные возможности, но прод есть прод)

это не так работает. Вопрос в том сколько вы готовы в день-неделю-месяц-год лежать и сколько вам это стоит - может вам реально проще перекатывать весь кластер если что пойдет не так хоть раз в день

так если всего 3 ноды значит не бизнескритикал - можно и полежать

Если "может и полежать", так на кой там вообще куб. Совет "перераскати ежели чего" - эт конечно огонь

у человека 3 ноды и хочется куб

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

суета вокроуг трехнодного k8s в проде

Скажи человеку что обе его идеи говно. Зачем другую идиотию предлагать? Потом придёшь в новую организацию, а там такое. Вот радости будет

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

Поздно бро, сворм уже крутится))))

Поздно бро, сворм уже крутится))))

Сочувствую

https://youtu.be/YT38Vv5hzCE

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

(извините)

причем если мы его ща отговорим от куба он возьмет сворм и увеличит свои страдания на порядок

а че, и с двумя можно

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

с детства с рифмой я дружу называется

еще раз, аффтор вопроса не сказал где хочет k8s может ему можно посоветовать hosted k8s от aws/google/azure

если денех хватит?

Я так понял что он хочет попилить все сам и с нами не делиться...

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

выглядит как будто оно оторвало основно ip-адрес от ноды

основоной ip доступен, или оторвало на уровне kubelet?

странно. что Unexpected EOF

Вдруг из серверной из стойки, Однонодый и хромой, Выбегает кубернетес И качает головой: «Ах ты, гадкий, ах ты, грязный, Неумытый свормолюб!

Это прекрасно!

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

Такая штука только в момент перехода VIP или продолжается и после?

Такая штука только в момент перехода VIP или продолжается и после?

продолжается все время пока VIP на ноде

Коллеги, подскажите плз по прометеусу и куберу. Кластер из 4х нод, 44 ядра суммарно. Строю в графане два графика: 1. Суммарное использование ядер cpu всеми нодами кластера: sum (rate (container_cpu_usage_seconds_total{id="/",kubernetes_io_hostname=~"^$Node$"}[1m])) . Получаю значение в диапазоне от 38 до 44. 2. Использование ядер cpu в разрезе по namespace. sum (rate (container_cpu_usage_seconds_total{image!="",name=~"^k8s_.*",kubernetes_io_hostname=~"^$Node$"}[1m])) by (namespace) . Получаю значение ~35. Смущает заметная разность показаний п.1 и п.2. Что я делаю не так?

Коллеги, подскажите плз по прометеусу и куберу. Кластер из 4х нод, 44 ядра суммарно. Строю в графане два графика: 1. Суммарное использование ядер cpu всеми нодами кластера: sum (rate (container_cpu_usage_seconds_total{id="/",kubernetes_io_hostname=~"^$Node$"}[1m])) . Получаю значение в диапазоне от 38 до 44. 2. Использование ядер cpu в разрезе по namespace. sum (rate (container_cpu_usage_seconds_total{image!="",name=~"^k8s_.*",kubernetes_io_hostname=~"^$Node$"}[1m])) by (namespace) . Получаю значение ~35. Смущает заметная разность показаний п.1 и п.2. Что я делаю не так?

Можт ещё чуть уходит на куберовские сервисы?

Можт ещё чуть уходит на куберовские сервисы?

namespace kube-system потребляет в среднем 0.7 ядра

namespace kube-system потребляет в среднем 0.7 ядра

Я имею в виду сервисы которые не в контейнерах работают на нодах. Если они конечно есть.

Например, etcd и kubelet при установке через Kubespray ставятся не контейнерами и поэтому в метриках Куба отсутствуют

Например, etcd и kubelet при установке через Kubespray ставятся не контейнерами и поэтому в метриках Куба отсутствуют

Да, etcd и kubelet действительно вне контейнеров

Можно сделать и в контейнерах. Там в групп варах переменную можно им поменять, на значение docker

Можно сделать и в контейнерах. Там в групп варах переменную можно им поменять, на значение docker

Ок, но пока вопрос больше про мониторинг имеющегося

Подскажите, как правильно будет монтировать файлы с секретом в k8s в директорию. Нужно смотировать 2 файла в одну деректорию. Только с помощью subpatch ?

указать полный путь файла?

- mountPath: /app/config/application.yml name: config

Что-то не получается у меня прицепить нужный security police к поду вот итоговый yaml одного из сервисов apiVersion: v1 kind: Pod metadata: annotations: kubernetes.io/psp: restricted seccomp.security.alpha.kubernetes.io/pod: docker/default creationTimestamp: 2018-08-29T09:54:43Z generateName: redis-85c9889966- labels: component: redis pod-template-hash: "4175445522" name: redis-85c9889966-8z6sf namespace: dev-qa ownerReferences: - apiVersion: apps/v1 blockOwnerDeletion: true controller: true kind: ReplicaSet name: redis-85c9889966 uid: 8db20588-ab71-11e8-8802-000c295439c4 resourceVersion: "229576" selfLink: /api/v1/namespaces/dev-qa/pods/redis-85c9889966-8z6sf uid: 8db65e98-ab71-11e8-8802-000c295439c4 spec: containers: - image: redis:alpine imagePullPolicy: Always livenessProbe: failureThreshold: 3 periodSeconds: 10 successThreshold: 1 tcpSocket: port: 6379 timeoutSeconds: 3 name: redis ports: - containerPort: 6379 name: redis protocol: TCP readinessProbe: failureThreshold: 3 periodSeconds: 10 successThreshold: 1 tcpSocket: port: 6379 timeoutSeconds: 1 resources: {} securityContext: allowPrivilegeEscalation: false capabilities: drop: - ALL runAsNonRoot: true terminationMessagePath: /dev/termination-log terminationMessagePolicy: File volumeMounts: - mountPath: /data name: redis-data - mountPath: /var/run/secrets/kubernetes.io/serviceaccount name: server-token-gnjwh readOnly: true dnsPolicy: ClusterFirst nodeName: node1 priority: 0 restartPolicy: Always schedulerName: default-scheduler securityContext: fsGroup: 1 supplementalGroups: - 1 serviceAccount: server serviceAccountName: server terminationGracePeriodSeconds: 30 tolerations: - effect: NoExecute key: node.kubernetes.io/not-ready operator: Exists tolerationSeconds: 300 - effect: NoExecute key: node.kubernetes.io/unreachable operator: Exists tolerationSeconds: 300 volumes: - emptyDir: {} name: redis-data - name: server-token-gnjwh secret: defaultMode: 420 secretName: server-token-gnjwh status: conditions: - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z status: "True" type: Initialized - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z message: 'containers with unready status: [redis]' reason: ContainersNotReady status: "False" type: Ready - lastProbeTime: null lastTransitionTime: null message: 'containers with unready status: [redis]' reason: ContainersNotReady status: "False" type: ContainersReady - lastProbeTime: null lastTransitionTime: 2018-08-29T09:54:43Z status: "True" type: PodScheduled containerStatuses: - image: redis:alpine imageID: "" lastState: {} name: redis ready: false restartCount: 0 state: waiting: message: container has runAsNonRoot and image will run as root reason: CreateContainerConfigError hostIP: **** phase: Pending podIP: **** qosClass: BestEffort startTime: 2018-08-29T09:54:43Z

почему в restricted то лезет, если я указал ему соотвествующий service account

Подскажите, как правильно будет монтировать файлы с секретом в k8s в директорию. Нужно смотировать 2 файла в одну деректорию. Только с помощью subpatch ?

еще можно попробовать через projected волюмы

если устанавливать securityContext: вручную - ругается > is forbidden: unable to validate against any pod security policy [spec.initContainers[0].securityContext.privileged: Invalid value: true: Privileged containers are not allowed

еще можно попробовать через projected волюмы

projected волюмы - это что? если не сложно, подкиньте примеры

https://kubernetes.io/docs/tasks/configure-pod-container/configure-projected-volume-storage/

@AkulovNV это я отвечал человеку который хочет смотировать 2 файла в одну деректорию.

а понял )

все, заработало - разобрался

добрый день, подскажите, кто-то сталкивался с проблемой на кластере собранном rke v0.1.9: при попытке поднятия aledbf/kube-keepalived-vip (proxy-mode) - нода, которой презентован VIP переходит в статус NotReady (при этом подключения к vip проходят, до приложений доступ есть), в логах kubelet на этой ноде следующие записи: - streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF - kubelet_node_status.go:391] Error updating node status, will retry: failed to patch "{\"status\":{\"$setElementOrder/addresses\": пробовал обновить с v1.11.1 на v1.11.2 - не помогло

нашел при каких обстоятельствах появляется проблема - если включить vsphereCloudProvider, кто-то использует данную связку rke+vsphereCloudProvider+kube-keepalived-vip успешно? или нужно смпотреть в сторону ceph\HW-NAS?

все, заработало - разобрался

Уже рассказывай, раз разобрался )

Остальным

не опять а снова - когда их уже всех сольют

никада))

Уже рассказывай, раз разобрался )

если честно, сам не понял )) в общем походу накосячил в rbac там есть такой параметр resourceNames: убрал от туда все и пошло

https://github.com/helm/helm/issues/3322

вот на такое вот наткнулся

Какая-то адская боль

решил поставить drone.io хелм чартом

там есть встроенный ингресс объект, но в ингресс он не хочет добавляться: I0829 11:25:49.279301 7 event.go:218] Event(v1.ObjectReference{Kind:"Ingress", Namespace:"default", Name:"test-drone", UID:"47bcdee8-ab7e-11e8-aca1-0a58ac1f11b7", APIVersion:"extensions", ResourceVersion:"2606469", FieldPath:""}): type: 'Normal' reason: 'CREATE' Ingress default/test-drone W0829 11:25:52.419499 7 controller.go:773] service default/test-drone does not have any active endpoints I0829 11:25:52.419650 7 controller.go:168] backend reload required I0829 11:25:57.612892 7 controller.go:177] ingress backend successfully reloaded... I0829 11:25:57.614473 7 controller.go:168] backend reload required I0829 11:26:02.833782 7 controller.go:177] ingress backend successfully reloaded...

сам сервис работает при этом , port-forward'ом работает

совершенно эзотерическая ошибка какая-то

https://github.com/kubernetes/ingress-nginx/blob/dceb55aec49103d8e7741fbe4d9f8e7dc0ad7c7d/internal/ingress/controller/controller.go#L806 походу это она

Коллеги, добрый день! философский вопрос: попросили на проекте установить Runcher2 для чего, зачем? - Не аргументировали те кто сталктвался, тыкал в его кнопки, - не могли бы поделиться впечатлениями, пояснить в чем профит в отличии от чистой инсталяции k8s?

У меня ноды анонсят на роут рефлекторы. Все вроде искаропки

Вот, кстати, нет. Сеть подов анонсят, а сервисов - неа.

Кубраутер только искаропки умеет, похоже.

Но только он анонсит отдельные ip, было бы логично сеть целиком.

/report