> Засунуть... что будет делать kubectl?

OVS может-)

ну его таки как-то надо интегрировать с кубом, мне бы сейчас попроще(побыстрее) решение, поэтому я остановился на конфигурации vxlan изнутри подов, мне просто нужно ее автоматизировать, чтобы в каждом поде вручную не прописывать айпишники

kubectl будет общаться с kubernetes-api точно так же как и на мастере. Можно запустить kubectl get pods -wи следить за изменением статусов, как только нужный под будет добавлен, делать kubectl exec <mypod> something

Вот это очень крутая фишка в kubernetes

другими словами внутри каждого пода мониторить апи на предмет появления/исчезновения подов?

не, ты же хотел контроллер, просто сделать один отдельный под который будет все это реализовывать

а имеет смысл замутить все это как CRD?

либо да, можно объявить ClusterRoleBinding и в каждый под добавить по kubectl, после чего запускать необходимые действия уже при старте или остановке контейнера

Что такое CRD? :)

под CRD я имею ввиду Custom Resource Definition

нет, зачем?

еще вариант, сделать контроллер который будет обновлять configmap в kubernetes А каждый твой сервис внутри пода научить перезагружать конфиг в случае если он был изменен

ну я определаю этот контроллер как ресурс, а потом когда мне надо начать мониторить конкретную группу я создаю объект такого ресурса для заданной группы

вот мне интересно где и как этот контроллер будет запущен, просто как отдельный деплоймент?

Ну я под контроллером понимаю обычный демон (под с kubectl который слушает поды) - да, отдельный деплоймент

твои ресурсы можно группировать с помощью labels

ему же кстати придется хранить в себе стэйт, ведь он должен знать какие поды надо уведомить в случае если появился новый под

зачем?

просто уведомлять все подряд

можно хранить стейт на самих подах - если это так необходимо

ну тогда целевой под должен уметь вычислить, что это не для него сообщение

например при обновлении записывать версию в /tmp/last_update и при каждой операции обновления если версия старая, запускать комманду на обновление

но вариант с configmap мне больше нравится

к тому же как уведомлять всех подряд, вообще все-все поды в кластере? там же могут быть поды, которые вообще не при делах

разумеется иметь под это дело отдельный namespace или просто выбирать поды по label

ака kubectl get pod -l mygroup=group5

желательно иметь эту функциональность cluster-wide, то есть контроллер будет запущен например в kube-system и иметь дело со всеми неймспейсами

почему бы и нет?

ну да, с лэйблом должно сработать

ну и в поде должен всегда присутствовать sidecar container, который способен выполнить эти команды, верно?

не понимаю, зачем?

А у кого нибудь было что слетают лейблы с нод?

Апну

Апну

включайте —v=2 или больше в kube-apiserver и смотрите кто делает patch. Ну или иногда в метриках по user-agent можно догадаться.

--v=2 это verbosity логов ?

Хорошая идея, спасибо

А на практике никто не встречался?

типа того. Это параметр glog. Логов будет в несколько раз при каждом увеличении —v У себя такое не видел.

ок

https://github.com/kubernetes/community/blob/master/contributors/devel/logging.md

не понимаю, зачем?

kubectl exec <mypod> something — "something" должно быть на поде, верно?

кстати, а как работает Service, прямо мониторит поды по лейблам через апи (poll с интервалом), или как-то хитро уведомляется?

кстати, а как работает Service, прямо мониторит поды по лейблам через апи (poll с интервалом), или как-то хитро уведомляется?

kubelet смотрит за подами и обновляет их phase. Если есть readinessProbe, то он устанавливает статус Ready - NotReady endpoint контроллер смотрит за статусом подов, который попадают в selector сервиса и добавляет/удаляет endpoint из service kube-proxy смотрит за endpoints и service и добавляет/удаляет правила iptables наверно я что-то упустил, но в целом так работает

@aialferov ты меня заинтересовал своей задачкой)

> enpoint контроллер смотрит... вот как раз пытаюсь понять, что такое "смотрит", как реализовано, через периодический "поллинг" или есть "пуш" нотификации от подов

вот что у меня получилось: while read NAME STATUS; do [ "$STATUS" = Running ] && kubectl exec $NAME -- sh -c 'echo Hi I am $(hostname -f)' done < <(kubectl get pod -o=custom-columns=NAME:.metadata.name,STATUS:.status.phase -w)

они юзают эту штуку https://github.com/kubernetes/client-go там есть пакет informer который делает всю магию. В kube-apiserver есть WATCH команда, с помощью которой можно подписаться на изменения по селектору. Плюс informer раз в N минут делает полный resync вызывая List

если вы хотите следить за изменениями каких-то объектов в кластере, то нужно юзать один из клиентов и писать код. У нас например golang и java клиенты давно используются, которые следят за нужными подами

они юзают эту штуку https://github.com/kubernetes/client-go там есть пакет informer который делает всю магию. В kube-apiserver есть WATCH команда, с помощью которой можно подписаться на изменения по селектору. Плюс informer раз в N минут делает полный resync вызывая List

ok, спасибо

вот что у меня получилось: while read NAME STATUS; do [ "$STATUS" = Running ] && kubectl exec $NAME -- sh -c 'echo Hi I am $(hostname -f)' done < <(kubectl get pod -o=custom-columns=NAME:.metadata.name,STATUS:.status.phase -w)

более читабельный вариант https://gist.github.com/kvaps/2be6929f31098a857517ebe0389c9cfe

вот что у меня получилось: while read NAME STATUS; do [ "$STATUS" = Running ] && kubectl exec $NAME -- sh -c 'echo Hi I am $(hostname -f)' done < <(kubectl get pod -o=custom-columns=NAME:.metadata.name,STATUS:.status.phase -w)

спасибо за прототип, эту идею я понял. Я думаю как избежать полинга

более читабельный вариант https://gist.github.com/kvaps/2be6929f31098a857517ebe0389c9cfe

kubectl get pod ... | awk '($2 == "Running) { print $1 }' | xargs -I% kubectl exec % -- sh -c ...

kubectl get pod ... | awk '($2 == "Running) { print $1 }' | xargs -I% kubectl exec % -- sh -c ...

👍

но в целом, нужно использовать правильно -o jsonpath что бы не городить такого, будет kubectl ... -o jsonpath .. | xargs -I% kubectl exec

при помощи jsonpath отфильтровать правильные стейты и вывести нужные метаданные

ага, плюсую

Парни подскажите, на сервисе гуугл в кластере кубернетес нужно изменить файл конфигурации внутри контейнера. это лучше делать конфигмапом ?

тыкаюсь в swarm, знаю тут много таких. поможете советом ктонить? почему не пашет dns resolution в одной overlay сети?

Парни подскажите, на сервисе гуугл в кластере кубернетес нужно изменить файл конфигурации внутри контейнера. это лучше делать конфигмапом ?

sed + env?

Привет! Подскажите, пожалуйста, умеет ли nginx ingress SSL passthrough для нескольких доменов (для каждого свой бекэнд) без терминации трафика? И пробывал ли кто завести подобное? Вроде как у nginx есть такой модулек из коробки, который это позволяет http://nginx.org/en/docs/stream/ngx_stream_ssl_preread_module.html.

Привет! Подскажите, пожалуйста, умеет ли nginx ingress SSL passthrough для нескольких доменов (для каждого свой бекэнд) без терминации трафика? И пробывал ли кто завести подобное? Вроде как у nginx есть такой модулек из коробки, который это позволяет http://nginx.org/en/docs/stream/ngx_stream_ssl_preread_module.html.

Вроде бы можно включить - https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/cli-arguments.md

Но я не пробовал, если что)

@pvlltvk Спасибо! Ты про опцию --enable-ssl-passthrough?

@pvlltvk Спасибо! Ты про опцию --enable-ssl-passthrough?

Да

#whois Инженер в Red Hat, работаю над ansible репозиторием для установки openshift

#whois Инженер в Red Hat, работаю над ansible репозиторием для установки openshift

Зачем вы ломаете в Ansible обратную совместимость?) Когда OpenShift переедт на CoreOS? Будут ли так же ломаться обратные совместимости в CoreOS? есть хау ту по установке OpenShift без плейбуков RedHat?

Зачем вы ломаете в Ansible обратную совместимость?) Когда OpenShift переедт на CoreOS? Будут ли так же ломаться обратные совместимости в CoreOS? есть хау ту по установке OpenShift без плейбуков RedHat?

Я инженер, а не пресс-секретарь, для начаоа =)

>Зачем вы ломаете в Ansible обратную совместимость? это к Ansible Core наверное? Я сам этому не рад

>Зачем вы ломаете в Ansible обратную совместимость? это к Ansible Core наверное? Я сам этому не рад

да, тут сорян, вопрос мимо кассы

>Когда OpenShift переедт на CoreOS? шта?

>есть хау ту по установке OpenShift без плейбуков RedHat? oc cluster up / minshift

>Когда OpenShift переедт на CoreOS? шта?

ну был анонс, что RedHat купили CoreOS что бы перевести OpenShift на него

проблема даже не в том, что ломают обратную совместимость, а то что ты можешь об этом не узнать, потому что всё будет успешно проходить, но в результате ничего работать не будет 🙂

>есть хау ту по установке OpenShift без плейбуков RedHat? oc cluster up / minshift

не, вот смотри куб это 5 бинарей и их можно запустить руками конечно у OpenShift тоже есть бинари, но мне кажется тащить их руками и обвязывать своими конфигами не очень затея

ну был анонс, что RedHat купили CoreOS что бы перевести OpenShift на него

ну Openshift и так на Atomic можно запускать, но вряд ли куда-то переедет

не, вот смотри куб это 5 бинарей и их можно запустить руками конечно у OpenShift тоже есть бинари, но мне кажется тащить их руками и обвязывать своими конфигами не очень затея

oc cluster up

oc cluster up

но это не prod ready

естественно

блин, вот ты пишешь плейбуки они же основаны на каком-то how to как поставить openshift

ты же не используешь "пять бинарей" на проде?

ну да, рпм туда, рпм сюда