Коллеги, а как заставить k8s перезапускать автоматически pod если обновился image?

деплоймент это делает сам

соглансо UpdatePolicy

Хм, наверное я не внимательно почитал, спасибо, перечитаю

@abideev kubectl set image deploy/nginx-deployment nginx=nginx:1.9.1 deployment "nginx-deployment" image updated меняется образ и соотвественно перезапускает

@gorschal Если тэг всегда latest, то это уже не сработает?

"imagePullPolicy": "IfNotPresent"

исправь на олвэйс

да, и на лэйтест, имэдж пулл всегда включен по-умолчанию

imagePullPolicy установлен в Always, но вот с тэгом latest не хочет автоматически перезапускать поды

ты имеешь ввиду, что когда ты залил новый образ на докер-хаб например, твой кластер увидел изменения и подтянул их сам? если ни один из параметром деплоймента не изменился, то кубернетес не будет ничего обновлять сам. нужно дропнуть старые поды

Да, именно это я и имел в виду. Хотелось бы, что бы он автоматически это делал

ну я выполняю kubectl delete po -l anylabel=app и он тянет новые версии, если они новые

на какой OS ?

centos 7 3.10.0-693.11.6.el7.x86_64, docker 17.12.0-ce, build c97c6d6 Причем систему уже больше месяца назад обновил, все ок было. Симптомы схожи с этим issue: >kubelet on the host would start to show PLEG timeout >docker ps -a would show the container ID with status created (but not docker ps, but docker inspect the container would hang https://github.com/moby/moby/issues/36010

так cilium заработал или нет ?

Я ещё его не пробовал

а зачем тогда брать версию с таким забавным коммитом ? )

В ногу со временем

centos 7 3.10.0-693.11.6.el7.x86_64, docker 17.12.0-ce, build c97c6d6 Причем систему уже больше месяца назад обновил, все ок было. Симптомы схожи с этим issue: >kubelet on the host would start to show PLEG timeout >docker ps -a would show the container ID with status created (but not docker ps, but docker inspect the container would hang https://github.com/moby/moby/issues/36010

я с таким столкнулся когда виртуалкам на которых работал кубер, мой хостер сделал "live migration"

тож на центоси но правда с 13ым докером

@gorschal Если тэг всегда latest, то это уже не сработает?

Да, тогда нужно ставить imagePullPolicy: Always и в ручную удалять под. При таком раскладе перед созданием пода, кублет всегда будет пулить образ.

У меня бэйрметал, т.ч. вряд ли он куда мигрировал ночью по ДЦ)

спасибо, кажется я понял куда дальше ковыряться

чет старый порт 4194 не доступен на ноде больше благодаря --cadvisor-port=0 в kubelet =) я правильно понял что нужно в /metrics/cadvisor смотреть? https://github.com/kubernetes/kubernetes/issues/53615#issuecomment-335414837

Надо порт указать, 0 выключает его

У меня на 1.9 заработало

а без экпозинга этого порта?

Оно на локалхосте слушает

centos 7 3.10.0-693.11.6.el7.x86_64, docker 17.12.0-ce, build c97c6d6 Причем систему уже больше месяца назад обновил, все ок было. Симптомы схожи с этим issue: >kubelet on the host would start to show PLEG timeout >docker ps -a would show the container ID with status created (but not docker ps, but docker inspect the container would hang https://github.com/moby/moby/issues/36010

ясно. На центоси с докером постоянно какие-то грабли вылезают. На кореоси как-то спокойнее.

Надо порт указать, 0 выключает его

/api/v1/nodes/<node>/proxy/metrics/cadvisor так работает и без дополнительных открытх портов. сыпит метриками

Хм, прикольно

Ну у меня так и работает, но был уверен, что у меня кубелеты слушают отдельно

https://github.com/kstmp/metacontroller/tree/master/examples/vitess а кто нибудь вот это уже щюпал за мягкое?

Ого, спасибо. Это очень круто. Если все что нужно, по CRD создавать другие ресурсы - это очень удобная штука на вид

Да похоже не в этом дело было, проблема оказалась только в одной нода, ночью наспамила PLEG is not healthy: pleg was last seen active...

Почитайте тикеты и связанные, там как раз эта PLEG ошибка )

Да, я уже увидел что оно, придется ребутнуться на старое ядро.

ясно. На центоси с докером постоянно какие-то грабли вылезают. На кореоси как-то спокойнее.

Эта бага и на CoreOS есть, тикет висит, народ разводит руками :)

Ну у меня так и работает, но был уверен, что у меня кубелеты слушают отдельно

https://github.com/kubernetes/charts/pull/3684/files только 3 часа назад убрали из чарта порт =)

хм

я с портом указал

Что-то не понятно, как работает restartPolicy у CronJob. Создал я крон-задание, поставил restartPolicy: Never. А под пересоздаётся каждый раз (так как падает из-за ошибки). Я думал, что он не будет перешедюливать, если стоит Never. Мне надо, чтобы, если упал с ошибкой, под не пересоздавался. Что я делаю не так?

Что-то не понятно, как работает restartPolicy у CronJob. Создал я крон-задание, поставил restartPolicy: Never. А под пересоздаётся каждый раз (так как падает из-за ошибки). Я думал, что он не будет перешедюливать, если стоит Never. Мне надо, чтобы, если упал с ошибкой, под не пересоздавался. Что я делаю не так?

|| /bin/true?)

|| /bin/true?)

То есть, он обязательно должен завершиться с exit=0?

То есть, он обязательно должен завершиться с exit=0?

Не знаю, просто предложил вариант воркараунда.

Что-то не понятно, как работает restartPolicy у CronJob. Создал я крон-задание, поставил restartPolicy: Never. А под пересоздаётся каждый раз (так как падает из-за ошибки). Я думал, что он не будет перешедюливать, если стоит Never. Мне надо, чтобы, если упал с ошибкой, под не пересоздавался. Что я делаю не так?

https://github.com/kubernetes/kubernetes/issues/20255

tl;dr - .spec.backoffLimit

|| /bin/true?)

|| :

@tetramin Job в любом случае будет пытаться завершиться, но можно указать лимит сколько раз он может попытаться spec: backoffLimit: 5 activeDeadlineSeconds: 100

Спасибо. Буду пробовать.

|| :

Интересно)

$ help : :: : No effect; the command does nothing. A zero exit code is returned.

$ help true true: true Return a successful result.

описание разное, но суть та же

blasdsa zsh: command not found: blasdsa echo $? 127 blasdsa || true zsh: command not found: blasdsa blasdsa || : zsh: command not found: blasdsa echo $? 0

ну да, норм=)

вопрос есть один, по service discovery в prometheus. создаю сервайс: kind: Service apiVersion: v1 metadata: labels: app: prometheus exporter: rabbitmq-exporter annotations: prometheus.io/scrape: "true" prometheus.io/port: "9090" name: mq-metrics namespace: monitoring spec: type: ExternalName externalName: some-fqdn-of-host ожидаю что пром его найдет и начнет скрапить, но фиг там. как правильно добавить сервис для скрэпинга экспортеров вне кластера?

а у прометея что указано?

у него таргеты появились?

тоесть пром не добавляет таргет. по mq-metrics:9090 из контейнера с промом коннект есть

а в конфиге у прометея что вписано?

я ожидаю что его правило подхватит - job_name: kubernetes-service-endpoints scrape_interval: 1m scrape_timeout: 10s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: [] relabel_configs: - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape] separator: ; regex: "true" replacement: $1 action: keep - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme] separator: ; regex: (https?) target_label: __scheme__ replacement: $1 action: replace - source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path] separator: ; regex: (.+) target_label: __metrics_path__ replacement: $1 action: replace - source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port] separator: ; regex: (.+)(?::\d+);(\d+) target_label: __address__ replacement: $1:$2 action: replace - separator: ; regex: __meta_kubernetes_service_label_(.+) replacement: $1 action: labelmap - source_labels: [__meta_kubernetes_namespace] separator: ; regex: (.*) target_label: kubernetes_namespace replacement: $1 action: replace - source_labels: [__meta_kubernetes_service_name] separator: ; regex: (.*) target_label: kubernetes_name replacement: $1 action: replace

соседние сервисы с ClusterIP подхватываются, но не ExternalName

вроде всё верно

лучше наверное в церкви метрик спроси про это

ок, спос =)

мне прост лень щас вдумываться, сорри :)

https://github.com/coreos/prometheus-operator/issues/218

Всем привет! при запуске приложения используется GPU docker run -it —privileged —cap-add=ALL —device=/dev/dri/renderD128 как это можно описать для kubernetes ?

тоесть пром не добавляет таргет. по mq-metrics:9090 из контейнера с промом коннект есть

я не то правило смотрю, там role: endpoints. а для этого должно быть role: service. но вопрос конечно поддерживает ли он externalName

Всем привет! при запуске приложения используется GPU docker run -it —privileged —cap-add=ALL —device=/dev/dri/renderD128 как это можно описать для kubernetes ?

https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.9/#securitycontext-v1-core тут первые два

device надеюсь найдешь сам =)

Спасибо!

FailedToStartNodeHealthcheck kube-proxy, minikube Failed to start node healthz on 0: listen tcp: address 0: missing port in address куда копать? minikube + kvm2

Народ, делаю -n my-namespace patch deploy/kar -p '{"spec":{"containers":[{"name":"kar","image":"dkr.ecr.eu-west-1.amazonaws.com/kar:0.0.5"}]}}'

и получаю deployment "kar" not patched Что я делаю не так?

Нужно обновить image для деплоймента

ну самое простое это использовать set а не patch

FailedToStartNodeHealthcheck kube-proxy, minikube Failed to start node healthz on 0: listen tcp: address 0: missing port in address куда копать? minikube + kvm2

очень старнный вывод

Нужно обновить image для деплоймента

kubectl patch statefulset core -p '{\"spec\":{\"template\":{\"spec\":{\"containers\":[{\"name\":\"core\",\"image\":\"Myimage:"$TAG"\"}]}}}}' я вот так патчу

для деплоя есть kubectl set image deployment

стэйтфул сет не умеет сет имэдж делать

в твоём случает патч не работает из-за того, что спек, а потом темплейт вроде должен идти

да, всем спасибо set image deployment/kar kar=dkr.ecr.eu-west-1.amazonaws.com/kar:0.0.5 зашло отлично

device надеюсь найдешь сам =)

я переоцинил себя и как прокинуть device не нашел :( Пробую прокинуть через volumes volumes: - name: render-d128 hostPath: path: /dev/dri

не уверен что двигаюсь правильно

Подскажите, есть ли спецчат для gcloud?

https://t.me/gcp_ru

Спасибо!) Что-то там мало пока народу, продублирую еще здесь) Подскажите можно ли дать машинке compute engine доступ к GCR, чтобы docker на машинке без запросов аутентификации мог качать образы?

я переоцинил себя и как прокинуть device не нашел :( Пробую прокинуть через volumes volumes: - name: render-d128 hostPath: path: /dev/dri

device получилось прокинуть через монтирование

Спасибо!) Что-то там мало пока народу, продублирую еще здесь) Подскажите можно ли дать машинке compute engine доступ к GCR, чтобы docker на машинке без запросов аутентификации мог качать образы?

вероятно через docker login?

ну вот как это автоматизировать, есть в gcloud такая возможность? искал scope но что-то такого scope не нашёл

За это отвечает скоуп который предоставляет доступ к GCS на чтения

А никто не сталкивался с тем, что куб src ip заменяет на ip ноды? Как это лечить? Я видел варианты , если сервис nodeport или loadbalancer, а можно ли это как-то сделать при externalip?

А никто не сталкивался с тем, что куб src ip заменяет на ip ноды? Как это лечить? Я видел варианты , если сервис nodeport или loadbalancer, а можно ли это как-то сделать при externalip?

trafficPolicy: Local (с externalip не работал, но хуже не будет)

trafficPolicy: Local (с externalip не работал, но хуже не будет)

Пробовал, с экстерналами не робит

Пробовал, с экстерналами не робит

Одновременно с externalIP пробовали тип NodePort выставлять?

Одновременно с externalIP пробовали тип NodePort выставлять?

А это зачем? Они работают по отдельности

Одновременно с externalIP пробовали тип NodePort выставлять?

Пробовал. Но там это бесполезно, там в итоге на всех нодах ipv6 открывается на все, а у меня он запрещен ?

А никто не сталкивался с тем, что куб src ip заменяет на ip ноды? Как это лечить? Я видел варианты , если сервис nodeport или loadbalancer, а можно ли это как-то сделать при externalip?

Нат что ли?

вопрос есть один, по service discovery в prometheus. создаю сервайс: kind: Service apiVersion: v1 metadata: labels: app: prometheus exporter: rabbitmq-exporter annotations: prometheus.io/scrape: "true" prometheus.io/port: "9090" name: mq-metrics namespace: monitoring spec: type: ExternalName externalName: some-fqdn-of-host ожидаю что пром его найдет и начнет скрапить, но фиг там. как правильно добавить сервис для скрэпинга экспортеров вне кластера?

Сервайс? Кто так говорит?