самое то все свои кластеры привязать к самописной фигне!

это всего лишь данные из kubeconfig в shell prompt'e

но ваш интузиазм Сергей, пугает.

Всем привет! Пытаюсь снимать метрики в Prometheus с Ingress-Nginx. В сервере прометея вот такие ошибки по поводу RBAC: forbidden: User \"system:serviceaccount:monitoring:prometheus-k8s\" cannot list endpoints at the cluster scope" Как правильно нужно выставить RBAC, что бы это исправить?

--- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus subjects: - kind: ServiceAccount name: prometheus-k8s namespace: monitoring --- apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRole metadata: name: prometheus rules: - apiGroups: [""] resources: - nodes - nodes/proxy - services - endpoints - pods verbs: ["get", "list", "watch"] - apiGroups: - extensions resources: - ingresses verbs: ["get", "list", "watch"] - nonResourceURLs: ["/metrics"] verbs: ["get"] --- apiVersion: v1 kind: ServiceAccount metadata: name: prometheus-k8s namespace: monitoring

--- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus subjects: - kind: ServiceAccount name: prometheus-k8s namespace: monitoring --- apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRole metadata: name: prometheus rules: - apiGroups: [""] resources: - nodes - nodes/proxy - services - endpoints - pods verbs: ["get", "list", "watch"] - apiGroups: - extensions resources: - ingresses verbs: ["get", "list", "watch"] - nonResourceURLs: ["/metrics"] verbs: ["get"] --- apiVersion: v1 kind: ServiceAccount metadata: name: prometheus-k8s namespace: monitoring

Сходу не могу найти чего-то серьёзного, но почему двух верхних API version отличается? Они же всегда вместе идут.

Сходу не могу найти чего-то серьёзного, но почему двух верхних API version отличается? Они же всегда вместе идут.

?‍♂️ Точняк( Блин

Сходу не могу найти чего-то серьёзного, но почему двух верхних API version отличается? Они же всегда вместе идут.

Сейчас вообще отдает: component=k8s_client_runtime err="github.com/prometheus/prometheus/discovery/kubernetes/kubernetes.go:306: Failed to list *v1.Pod: Unauthorized"

но ваш интузиазм Сергей, пугает.

"ваш энтузиазм Сергей"

Сейчас вообще отдает: component=k8s_client_runtime err="github.com/prometheus/prometheus/discovery/kubernetes/kubernetes.go:306: Failed to list *v1.Pod: Unauthorized"

Вот тебе kubectl get ... с production'а. --- apiVersion: v1 kind: ServiceAccount metadata: name: prometheus namespace: kube-prometheus --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus rules: - apiGroups: - "" resources: - nodes - services - endpoints - pods verbs: - get - list - watch - apiGroups: - "" resources: - configmaps verbs: - get --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: prometheus roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheus subjects: - kind: ServiceAccount name: prometheus namespace: kube-prometheus

Сейчас вообще отдает: component=k8s_client_runtime err="github.com/prometheus/prometheus/discovery/kubernetes/kubernetes.go:306: Failed to list *v1.Pod: Unauthorized"

Если не сработает, советую поднимать уровень логгинга apiserver'а и изучать внимательно, что там происходит.

-v=10

Если не сработает, советую поднимать уровень логгинга apiserver'а и изучать внимательно, что там происходит.

спс. Сейчас вернул все обратно как было и все заработало Проблема началась после того как я внес в config прометея это https://github.com/kubernetes/ingress-nginx/blob/master/deploy/monitoring/configuration.yaml

Внедрение istio в массы дискредитирует микросервисную архитектуру. Потому что в случае каких-то проблем хер ты это отдебажишь с точки зрения инфраструктуры

Просто нужен трейсинг для трейсинг!

то ли дело linkerd

Там же java

В первой версии да

Про это и был сарказм

https://kubernetes.io/blog/2018/09/27/kubernetes-1.12-kubelet-tls-bootstrap-and-azure-virtual-machine-scale-sets-vmss-move-to-general-availability/

Подскажите, кто нибуть снимает метрики Ingress-Nginx в prometheus? Вроде все настроил, но дашборд метрики не идут. Может кто нибуть поделится своим кейсом? https://github.com/kubernetes/ingress-nginx/blob/master/deploy/monitoring/configuration.yaml

Подскажите, кто нибуть снимает метрики Ingress-Nginx в prometheus? Вроде все настроил, но дашборд метрики не идут. Может кто нибуть поделится своим кейсом? https://github.com/kubernetes/ingress-nginx/blob/master/deploy/monitoring/configuration.yaml

есть несколько дашбордов, вы как ingress деплоили? метрики в нем включили? в прометеусе они видны?

есть несколько дашбордов, вы как ingress деплоили? метрики в нем включили? в прометеусе они видны?

Извиняюсь, я профан, поэтому могу задавать глупые вопросы. В ingress-nginx: annotations: prometheus.io/port: '10254' prometheus.io/scrape: 'true' А как посмотреть видны ли они в прометеус? Зайти в webUI консоль прометеуса и там посмотреть?

Извиняюсь, я профан, поэтому могу задавать глупые вопросы. В ingress-nginx: annotations: prometheus.io/port: '10254' prometheus.io/scrape: 'true' А как посмотреть видны ли они в прометеус? Зайти в webUI консоль прометеуса и там посмотреть?

да

+ как вы ставили сам ingress-nginx?

+ как вы ставили сам ingress-nginx?

Он уже был предустановлен. Я пользуюсь услугами клайд провайдера. Но думаю там все по классике, как в оф.мануале

часть из этого будет в 1.12 емнип - https://github.com/kubernetes/kubernetes/pull/67556

really fixed ?

Он уже был предустановлен. Я пользуюсь услугами клайд провайдера. Но думаю там все по классике, как в оф.мануале

это не обязательно, например в официальном чарте nginx'a метрики нужно отдельным образом включать если они включены, то добавляется еще один сервис метрик, его видно через get svc

#whois Всем привет! Проекта нет, хочу разобраться с kubernetes. В большенстве случаев я php разработчик. Нашел вас на просторах просторного.

кто ж вас всех на whois посадил во всех чатах теперь О _о

Правила в запиненом

в этом чате - админ чата

Надо соблюдать

так это просто везде щас пошло

да не совсем

Меня начальство подпрягло докер с кубом подтянуть

будем разворачиваться

а для любой технологии сразу ищу чат в телеграмме))

лучше сразу искать доки

так это просто везде щас пошло

и потом HR парсеры собирают данные 100%. Удобно же, даже формат есть.

это не обязательно, например в официальном чарте nginx'a метрики нужно отдельным образом включать если они включены, то добавляется еще один сервис метрик, его видно через get svc

Понял.Значит нужно уточнить как делоился ингресс

и потом HR парсеры собирают данные 100%. Удобно же, даже формат есть.

+1

а для любой технологии сразу ищу чат в телеграмме))

сразу прибавку проси гна разгребать много

"а давайте на бэкендера кубер повесим! а давайте"

есть несколько дашбордов, вы как ingress деплоили? метрики в нем включили? в прометеусе они видны?

В прометеусе метрик ingress нет. Правильно понял что Ingress их не отдает?

либо прометеус не смотрит на ingress метрик сервис

либо прометеус не смотрит на ingress метрик сервис

Извиняюсь.Всю ночь не спал и внимательности 0. Нашел метрики

Щас попробую запросами их подергать

сразу прибавку проси гна разгребать много

Много головняка?

Как мне тогда аргументировать отказ?)))

Много головняка?

просто тебе его выдадут "на, теперь на тебе" и 10к сверху

а хапнешь всякого не на 10))

Так а гно разгребать то потом мне придется)))

можно подробнее, что за гно?)))

к чему готовиться

работы много говорю))

Как мне тогда аргументировать отказ?)))

Тебе бы работу поменять. Потому как вешать на первого попавшегося бекендера опсовые задачи, это такое, намекает

не, мне самому интересно

Тебе бы работу поменять. Потому как вешать на первого попавшегося бекендера опсовые задачи, это такое, намекает

хотят много сэкономить как всегда

интересно ты интересуйся но имей ввиду

не, мне самому интересно

Так и крути сам, а не конторе. Думаешь зря отдельных людей берут и отдельные чатики для куберов делают?)

можно подробнее, что за гно?)))

Видимо, имелось в виду ГМО

не, мне самому интересно

Если хочешь и кубер покрутить и живым остаться - требуй отстоя требований, в смысле чтобы тебе взяли какой-нибудь облачный кубер, не руками на голом железе собирать и тыкай туда только декларации, с клиентской стороны

не, мне самому интересно

Ну вот ты и попробуй сам развернуть, для начала докер поставь себе, посмотри docker-compose хотя бы. Minikube потом потыкай, облачный кубер... если все это сделаешь и мысли "нафига оно мне?" не появится - копай глубже и ты теперь девопс :D

либо прометеус не смотрит на ingress метрик сервис

У меня вообщем дашборд не собирает этим метрики, которые есть в прометее.

https://github.com/jonmosco/kube-ps1 у кого много кубернетисов

Пора бы в powerline уже такое запилить

У меня вообщем дашборд не собирает этим метрики, которые есть в прометее.

в репозитрии графаны есть несколько дашбордов для ingress-nginx найди нужный, либо поменяйте метрики в уже существующих

@metrics_ru вам в помощь

в репозитрии графаны есть несколько дашбордов для ingress-nginx найди нужный, либо поменяйте метрики в уже существующих

Хорошо, спасибо за советы

Ну вот ты и попробуй сам развернуть, для начала докер поставь себе, посмотри docker-compose хотя бы. Minikube потом потыкай, облачный кубер... если все это сделаешь и мысли "нафига оно мне?" не появится - копай глубже и ты теперь девопс :D

Мысли "нафига оно мне?" - будут появляться в любом случае по началу :)

Я бы советовал начинать с https://www.katacoda.com/

Мысли "нафига оно мне?" - будут появляться в любом случае по началу :)

ну хз, ему ж интересно. Мне вот тоже интересно и я понимаю, во что влез :)

ну хз, ему ж интересно. Мне вот тоже интересно и я понимаю, во что влез :)

И что, у вас ни разу не возникало мыслей отторжения на момент понимания?

И что, у вас ни разу не возникало мыслей отторжения на момент понимания?

Нет. Только мысли "вы б еще пару лет его подописывали, а потом релизили" :) После ovirt'а, где документировано много и хорошо, тут было грустно выискивать все в гугле

Мое восприятие постоянно менялось от "Вау, нифига себе, оно и так умеет, круто!", до "Блин, неужели нет какого-то более понятного и простого решения", в итоге со временем первое полностью победило второе...

Кстати, надо признать доки сейчас стали намного лучше!

Нет. Только мысли "вы б еще пару лет его подописывали, а потом релизили" :) После ovirt'а, где документировано много и хорошо, тут было грустно выискивать все в гугле

А разве у овирта есть документация? :) (вопрос риторический)

А разве у овирта есть документация? :) (вопрос риторический)

Хоть и риторический, но отвечу: когда их redhat взяли под крыло - с документацией стало круто. Собственно с ansible ж аналогично было

Хоть и риторический, но отвечу: когда их redhat взяли под крыло - с документацией стало круто. Собственно с ansible ж аналогично было

Документация и ovirt в одном предложении вызывают боль. Если смотреть доки на RHEV и подразумевать, что в ovirt тоже самое, то можно сказать, что доки есть.

тем более что овирт бежит впереди rhev, и может оказаться так что то что есть в rhev уже поменяно в овирт

Народ, а никто не испытывал проблем с большим количеством cgroups? У меня очень часто создаются контейнеры, буквально за пару дней 3500 memory cgroups плодится, но большая часть отмирает так же быстро, а вот вычищение cgroups не происходит. Кто как борется?

Приветствую! Такой вопрос: имеется ли возможность прикрутить внешние node-exporters (вне куб-кластера) к конфигурации prometheus-а (prometheus-operator), который в кластере крутиться К примеру, есть сервер вне кластера, который также необходимо мониторить, но как указать прометею собирать с него метрики, не соображу Похоже что через ServiceMonitor?

Наверняка

Приветствую! Такой вопрос: имеется ли возможность прикрутить внешние node-exporters (вне куб-кластера) к конфигурации prometheus-а (prometheus-operator), который в кластере крутиться К примеру, есть сервер вне кластера, который также необходимо мониторить, но как указать прометею собирать с него метрики, не соображу Похоже что через ServiceMonitor?

Можно сделать сервис на внешний node-explorer и потом на него натравить ServiceMonitor

ага, вот так сейчас и пытаюсь реализовать, спасибо )

что-то типа такого? apiVersion: v1 kind: Service metadata: name: proxy1 labels: app: proxy1 namespace: monitor-prometheus spec: ports: - name: metrics port: 9100 protocol: TCP targetPort: 9100 clusterIP: None type: ClusterIP --- apiVersion: v1 kind: Endpoints metadata: name: proxy1 labels: app: proxy1 namespace: monitor-prometheus subsets: - addresses: - ip: XXX.XXX.XXX.XXX ports: - name: metrics port: 9100 protocol: TCP

тупой вопрос - если поменять yaml конфиг уже запущенного пода, это приведет к переинициализации пода?

будет ли перезапуск при apply?

будет ли перезапуск при apply?

смотря где менять, в борде — да, если просто ямл файл на машинке, то нет. при апплай перезапустится. если деплоймент, то старая убьётся и запустится новая

смотря где менять, в борде — да, если просто ямл файл на машинке, то нет. при апплай перезапустится. если деплоймент, то старая убьётся и запустится новая

Да, в борде. Спасибо

Может кто подстакажет решение. Поднимается stateless деплоймент консула, Затем по идее джобой можно запустить инструмент наполнения его ключами. Но при фэйле деплоймент его переподнимет на другой ноде пустым. Как быть? На него микросервисы завязаны, получают инфу при запуску

ставить через чарт consul в HA https://github.com/plotly/helm-charts/tree/master/stable/consul

ставить через чарт consul в HA https://github.com/plotly/helm-charts/tree/master/stable/consul

хм. вариант =) Спасибо