Если надо авторизоваться в лдапе, то dex

https://github.com/andybrucenet/kube-dex-dashboard ?? оно ?

похоже на то

https://github.com/coreos/dex

https://github.com/coreos/dex

спасибо )

https://github.com/coreos/dex

его больше не развивают, после покупки coreos редхатом

его больше не развивают, после покупки coreos редхатом

думаю, потому что у редхата уже есть своя похожая приколюха (на самом деле даже две, т.к. ipsilon в своей инфраструктуре они не везде до конца закопали и потому приходится еще и его саппортить).

Привет! Подскажите,в чем может быть проблема: kubectl get nodes возвращает все ноды кластера (5 штук, все Ready), kubectl top node - все, кроме одной (4 штуки). При этом поды на отсутствующей в выводе ноде работают корректно, kubelet на ней перезапускал, ошибок подключения к этой ноде в логе heapster'a нет. При попытке получить данные по отсутствующей в списке ноде командой kubectl top node %NODENAME% возвращается ошибка Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)

его больше не развивают, после покупки coreos редхатом

довольно странно, только двое из активных контрибуторов перешли в редхат, остальные разбрелись под другим компаниями и вроде бы должны быть заинтересованы продолжать

Ребят, есть вопрос: Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico. На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты) Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит… P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные

Ребят, есть вопрос: Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico. На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты) Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит… P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные

Нормально перезжал через kebespray с 10.2 на 10.3 - не меняя конфиги (обновив только версию), буквально вчера, правда обновлял мастер ноды по одной (-l)

Да я тоже переезжал, а тут не переехал) Вот прошу помощи с дебагом

локалььно тоже не достучатся?

с той же мастер ноды на родной api server?

С мастернод локально все работает. Работает и на других, пока не пытаешься запустить там любой pod

Привет! Подскажите,в чем может быть проблема: kubectl get nodes возвращает все ноды кластера (5 штук, все Ready), kubectl top node - все, кроме одной (4 штуки). При этом поды на отсутствующей в выводе ноде работают корректно, kubelet на ней перезапускал, ошибок подключения к этой ноде в логе heapster'a нет. При попытке получить данные по отсутствующей в списке ноде командой kubectl top node %NODENAME% возвращается ошибка Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)

+1 тоже интересует вопрос

Привет! Подскажите,в чем может быть проблема: kubectl get nodes возвращает все ноды кластера (5 штук, все Ready), kubectl top node - все, кроме одной (4 штуки). При этом поды на отсутствующей в выводе ноде работают корректно, kubelet на ней перезапускал, ошибок подключения к этой ноде в логе heapster'a нет. При попытке получить данные по отсутствующей в списке ноде командой kubectl top node %NODENAME% возвращается ошибка Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)

а что в response для этой ноды в kubectl top node {{NODENAME}} -v=8 ?

а что в response для этой ноды в kubectl top node {{NODENAME}} -v=8 ?

https://pastebin.com/raw/SwYsJHZX

https://pastebin.com/raw/SwYsJHZX

версия куба 1.9 или ниже?

версия куба 1.9 или ниже?

1.11 все ноды

1.11 все ноды

я бы смотрел почему https запрос к API серверу https://10.90.8.15:6443/api/v1/namespaces/kube-system/services/http:heapster:/proxy/apis/metrics/v1alpha1/nodes/srv-kub02 возвращает 404 с других нод этот запрос отдает 200?

я бы смотрел почему https запрос к API серверу https://10.90.8.15:6443/api/v1/namespaces/kube-system/services/http:heapster:/proxy/apis/metrics/v1alpha1/nodes/srv-kub02 возвращает 404 с других нод этот запрос отдает 200?

а еще лучше посмотреть какие метрики под хипстера возвращает для ноды /api/v1/model/nodes/{node-name}/metrics/: Returns a list of available node-level metrics. и если они там есть, возможно apiserver не может их получить и надо искать где пакетики не доходят

Подскажите в чем может быть проблема? Error in scraping containers from kubelet:10.10.77.212:10250: failed to get all container stats from Kubelet URL "http://10.10.77.212:10250/stats/container/": Post http://10.10.77.212:10250/stats/container/: malformed HTTP response "\x15\x03\x01\x00\x02\x02\x16"

Heapster вот такое в логах пишет

HTTPS может хочет?

https скорее всего

ага понял. Я как понимаю там придется сертификаты указывать?

я бы смотрел почему https запрос к API серверу https://10.90.8.15:6443/api/v1/namespaces/kube-system/services/http:heapster:/proxy/apis/metrics/v1alpha1/nodes/srv-kub02 возвращает 404 с других нод этот запрос отдает 200?

Да

а еще лучше посмотреть какие метрики под хипстера возвращает для ноды /api/v1/model/nodes/{node-name}/metrics/: Returns a list of available node-level metrics. и если они там есть, возможно apiserver не может их получить и надо искать где пакетики не доходят

Ок,посмотрю, спасибо

/report

/report

/report

/report

/report

Ребят, есть вопрос: Обновлял кластер до v1.11.2 с v1.10.3 через kubespray, на тестовом кластере все прошло хорошо. Сеть calico. На другом вылезла интересная трабла: локально на нодах api сервера доступны, но при попытке выкатить под, он выкатывается, но после этого до api серверов не достучаться вообще (на любые порты) Грешу на то, что из репы с общими настройками проскочила опция enable_network_policy: true, которая раньше была в false и фаерволл все это блочит… P.S. Да, hard way для лучшего понимания еще не юзал, ибо не успел добраться P.P.S. Попутно переносил один инстанс etcd на другую машину, но с ним все ок, healthy, и endpoint’ы везде актуальные

В общем, починил основной функционал, но остался баг с externalip: буду уже завтра логи смотреть, при выкатке сервиса с external ip ноды, нода валится с вышеописанными симптомами. С NodePort все ок

началось, гитхаб стал квадратным []__[]

началось, гитхаб стал квадратным []__[]

где это?

это бета раньше была, сейчас зато используется больше места, раньше были пустые куски

мне ток сейчас предложили

Привет. Кто-то сталкивался с таким: https://github.com/kubernetes/kubernetes/issues/62061 (rbd том не детачится от умершей ноды и мигрирующие поды зависают на создании)? Как лечили/обходили, подскажите. Воспроизводится на k8s 1.9.5

вот это боль ?

Привет. Кто-то сталкивался с таким: https://github.com/kubernetes/kubernetes/issues/62061 (rbd том не детачится от умершей ноды и мигрирующие поды зависают на создании)? Как лечили/обходили, подскажите. Воспроизводится на k8s 1.9.5

обычно cloud-provider удаляет ноду из кубера если она умерла, вместе со всеми приаттаченными волумами

Тут виртуалки vmware, без общения с vCloud Director-ом

ну тогда пилить свой велосипед

Ну в тикете пишут что всё должно раздупливаться через 6 минут, поэтому хочется починить то что должно работать

это в каком?

https://github.com/kubernetes/kubernetes/issues/62061#issuecomment-379693181

да, сорри чтот пропустил

Привет. Кто-то сталкивался с таким: https://github.com/kubernetes/kubernetes/issues/62061 (rbd том не детачится от умершей ноды и мигрирующие поды зависают на создании)? Как лечили/обходили, подскажите. Воспроизводится на k8s 1.9.5

Известная бага про 6 минут, никто не собирается ее чинить, потому что тру куб должен с клауд провайдером взаимодействовать, а не ждать, пока нода будет признана действительно мертвой.

ну не знаю, судя по логике он не может и не будет его детачить, потому что он не знает умерла ли нода наверняка

А какие тогда провайдеры тру? Только AWS/GCE?

Понятно что не всегда можно надёжно сказать, в каком состоянии нода

ну не знаю, судя по логике он не может и не будет его детачить, потому что он не знает умерла ли нода наверняка

Но в случае клауда, провайдер сообщает сразу, что нода мертва

Из self hosted - openstack

допустим куб перезапускает такой под на другой ноде, при этом не до конца убедившись что старый однозначно мертв. а через какое-то время восстанавливется подключение к стораджу на прежней ноде, i/o продолжается исход такой-же: поврежденная фс и даннные на ней

что если волум по прежнему приаттачен на ней, это обсуждалось недавно

Но в случае клауда, провайдер сообщает сразу, что нода мертва

это верно

на самом деле я сейчас fencing агент для куба пилю, он будет решать эту проблему, без клауд провайдера

Должен быть механизм, реализующий https://en.wikipedia.org/wiki/STONITH

для проксмокса, например, можно гарантированно пристретить сервак через ipmi

да, вот его и нет

для проксмокса, например, можно гарантированно пристретить сервак через ipmi

проксмос уже давно softdog использует

софт дог это самоубийство, а тут - гарантия, что оно действительно выключено

ну STONITH это скорее механизм для двух нод

если есть кворум - то это не проблема

watchdog тоже хардверный бывает

@SinTeZoiD посмотришь письки?

@SinTeZoiD посмотришь письки?

?

@SinTeZoiD посмотришь письки?

я как сооснователь @cloud_flood видел всякое, так что меня уже не удивить

Никак не могу нагуглить инструмент для отслеживания Request-Id по микросервисам. От твиттера был и кажется от fb. Кто-то помнит названия? Где просадки, сколько времени провели в сервисе и тп

zipkin?

Никак не могу нагуглить инструмент для отслеживания Request-Id по микросервисам. От твиттера был и кажется от fb. Кто-то помнит названия? Где просадки, сколько времени провели в сервисе и тп

jaeger

Коллеги приветствую. Подскажите по шаблону HELM пожалуйста. Сделал такой вот сложный range c вложенными range соответственно. Но проблема с переменными. {{- range $key, $val := .Values.deployment }} {{- $ServiceName := $key }} {{- if eq $key "worker" }} {{- $ServiceNameEnv := "sentry" }} {{- else }} {{- $ServiceNameEnv := $key }} {{- end }} # первый вложенный range {{- range $key, $val := $item.volumes }} - name: sentry-postgresql-data persistentVolumeClaim: claimName: sentry-postgresql {{- end }} # второй вложенный range {{- range $key, $val:= $env }} {{/*$ServiceNameEnv*/}} {{- if eq $key $ServiceName }} {{- range $key, $val := . }} - name: {{$key}} {{- if . }} value: {{ . }} {{- end }} {{- end }} {{- end }} {{- end }} {{end}} Проблема в том, что одна перменная во вложенных range видится, в вторая нет. Видится $ServiceName не видится $ServiceNameEnv Можете подсказать с чем может быть связано? Вне вложенных range $ServiceNameEnv выводится без ошибок.

{{- range $key, $val := . }} Пееропределение переменных

{{- range $key, $val := . }} Пееропределение переменных

Почему одна переменная видна, а вторая нет?

Переопределение работает только внутри range

можно полны текст

можно полны текст

{{- $fullName := include "sentry.fullname" . -}} {{- $ChartName := include "sentry.chart" . -}} {{- $ReleaseName := .Release.Name -}} {{- $ReleaseService := .Release.Service -}} {{- $env := .Values.env -}} {{- $secret_env := .Values.secret_env -}} {{- range $key, $val := .Values.deployment }} {{- $item := . -}} {{- $servicePort := $item.service.port -}} {{- $ServiceName := $key }} {{- if eq $key "worker" }} {{$key}} {{- $ServiceNameEnv := "sentry" }} $ServiceNameEnv == sentry - {{ $ServiceNameEnv }} {{- else }} {{$key}} {{$key}} {{$key}} {{- $ServiceNameEnv := $key }} $ServiceNameEnv: {{ $ServiceNameEnv }} {{- end }} --- apiVersion: apps/v1beta1 kind: Deployment metadata: name: {{ $fullName }}-{{ $key }} labels: app: {{ $fullName }} chart: {{ $ChartName }} release: {{ $ReleaseName }} heritage: {{ $ReleaseService }} service: {{ $ServiceName }} spec: replicas: template: metadata: labels: app: {{ $fullName }} chart: {{ $ChartName }} release: {{ $ReleaseName }} heritage: {{ $ReleaseService }} service: {{ $ServiceName }} spec: volumes: {{- range $k1, $v1 := $item.volumes }} {{/*$ServiceNameEnv*/}} - name: sentry-postgresql-data persistentVolumeClaim: claimName: sentry-postgresql {{- end }} containers: - name: sentry-postgresql image: {{.image.repository}} ports: - name: {{$ServiceName}} containerPort: {{.service.port}} env: - name: POD_NAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name {{- range $k2, $v2:= $env }} {{/* $ServiceNameEnv */}} {{- if eq $k2 $ServiceName }} {{- range $k2, $val := . }} - name: {{$k2}} {{- if . }} value: {{ . }} {{- end }} {{- end }} {{- end }} {{- end }} # From Secret {{- range $k3, $v3 := $secret_env }} {{- $secretName := $k3 }} {{- if eq $k3 $ServiceName }} {{- range . }} - name: {{ . }} valueFrom: secretKeyRef: name: {{ $secretName }} key: {{ . }} {{- end }} {{- end }} {{- end }} volumeMounts: {{- if .volumeMounts }} {{- range $key, $val := .volumeMounts }} - name: {{$key}} mountPath: {{.path}} {{- if .subPath }} subPath: {{ .subPath }} {{- end }} {{- end }} {{ end }} {{- end }}

Вот внутри range $k1 $k2 $k3 $ServiceNameEnv недоступна, а $ServiceName видна

/report

{{- if eq $key "worker" }} {{$key}} {{- $ServiceNameEnv := "sentry" }} $ServiceNameEnv == sentry - {{ $ServiceNameEnv }} {{- else }} {{$key}} {{$key}} {{$key}} {{- $ServiceNameEnv := $key }} $ServiceNameEnv: {{ $ServiceNameEnv }} {{- end }} У Вас в записи if два формата,

Вы либо назначайте значение либо это шаблонное значение

{{- if eq $key "worker" }} {{$key}} {{- $ServiceNameEnv := "sentry" }} $ServiceNameEnv == sentry - {{ $ServiceNameEnv }} {{- else }} {{$key}} {{$key}} {{$key}} {{- $ServiceNameEnv := $key }} $ServiceNameEnv: {{ $ServiceNameEnv }} {{- end }} У Вас в записи if два формата,

Это для debug`а я проверял значения которые присваиваются переменной. Можно на это внимания не обращать.

этот блок весь можно выкинуть?

{{- if eq $key "worker" }} {{- $ServiceNameEnv := "sentry" }} {{- else }} {{- $ServiceNameEnv := $key }} {{- end }}

или так оставить

@twwlf @shursh Спасибо ?

Это для debug`а я проверял значения которые присваиваются переменной. Можно на это внимания не обращать.

{{$ServiceNameEnv := ""}} Выше этого блока добавьте А вблоке вместо ":=" "="

@twwlf @shursh Спасибо ?

Только будьте внимательны, с jaeger работает nginx ingress с версии v0.18.0

{{$ServiceNameEnv := ""}} Выше этого блока добавьте А вблоке вместо ":=" "="

Ага, теперь без ошибок. Понял. Спасибо.

В теории вы внутри блока определил новую переменную и область видимости у нее внутри этого блока.