не думал что local volume это альфа фича с танцами и бубном

Народ, а можно на одной железке несколько kubernetes кластеров поднять? вот тут нагуглил, но там изврат с lxc контейрами и значит надо еще будет дополнительно как то внутрь этих кластеров NAT прокдывать https://insights.ubuntu.com/2017/11/13/how-to-deploy-one-or-more-kubernetes-clusters-to-a-single-box/ можно вообще такое сделать? и если да, то ну или например в рамках одного кластера как то по "слоям" поды раскидывать?

Народ, а можно на одной железке несколько kubernetes кластеров поднять? вот тут нагуглил, но там изврат с lxc контейрами и значит надо еще будет дополнительно как то внутрь этих кластеров NAT прокдывать https://insights.ubuntu.com/2017/11/13/how-to-deploy-one-or-more-kubernetes-clusters-to-a-single-box/ можно вообще такое сделать? и если да, то ну или например в рамках одного кластера как то по "слоям" поды раскидывать?

если оч хочется, то можно виртуализацию поднять и нарезать железку на вирты

Народ, а можно на одной железке несколько kubernetes кластеров поднять? вот тут нагуглил, но там изврат с lxc контейрами и значит надо еще будет дополнительно как то внутрь этих кластеров NAT прокдывать https://insights.ubuntu.com/2017/11/13/how-to-deploy-one-or-more-kubernetes-clusters-to-a-single-box/ можно вообще такое сделать? и если да, то ну или например в рамках одного кластера как то по "слоям" поды раскидывать?

звучит как неймспейсы

не думал что local volume это альфа фича с танцами и бубном

накинуть всем компонентам кубера 1 аргумент и забыть — это танцы с бубном?

накинуть всем компонентам кубера 1 аргумент и забыть — это танцы с бубном?

ну для всего: api, scedulel, controller, kublets накидывается по отдельности?

да

ну либо ждите 1.10, должно быть из коробки

да интересно будет посмотреть на 1.10, куб так быстро развивается, что пол года назад он был совсем другим. С одной стороны это хорошо

Но с другой - херово Тк стабильно раз в месяц-два приходится скрипты править. CI падает. и кластер на новой версии просто не поднимается

звучит как неймспейсы

имеется ввиду linux kernel namespaces??? или какие то namespaces в kubernetes? которые позволяют кластер "слоями" нарезать? чтобы один слой не видел другой?

имеется ввиду linux kernel namespaces??? или какие то namespaces в kubernetes? которые позволяют кластер "слоями" нарезать? чтобы один слой не видел другой?

второе. Namespace + NetworkPolicy + Calico(WaeveNet)

И стоило бы всё таки почить доку по куберу........

имеется ввиду linux kernel namespaces??? или какие то namespaces в kubernetes? которые позволяют кластер "слоями" нарезать? чтобы один слой не видел другой?

https://kubernetes.io/docs/tasks/administer-cluster/namespaces/#understanding-the-motivation-for-using-namespaces

И стоило бы всё таки почить доку по куберу........

я читаю, до этого места не добрался или просто не понял что оно значит

https://kubernetes.io/docs/tasks/administer-cluster/namespaces/#understanding-the-motivation-for-using-namespaces

спасибо большое

Вообщем в 1.9.x есть бага в etcd клиенте. Которая приводит к тому что apiserver не коннектится к живым нодам etcd после падения одной из нод. Пофикшена в 1.10.0, не знаю насчет бэепорта. https://github.com/kubernetes/kubernetes/issues/47131 Вести с полей https://community.monzo.com/t/resolved-current-account-payments-may-fail-major-outage-27-10-2017/26296/95

Это не то , что вы описывали. Вы писали , что клиенты не могут достучаться до живых apiservers

Это не то , что вы описывали. Вы писали , что клиенты не могут достучаться до живых apiservers

Нет я не это писал )

Точнее может и писал когда-то пока не сложилась картина полная, но последний раз я писал с просьбой чтобы ктонибьудь рубанул etcd на тестовом кластере )

когда уже стало понятно что к чему

Они там забавно это фиксят. "давайте выпустим апдейт с grpc 1.7.5 в 1.10 но подождем и в 1.9 переносить не будем, пока точно не увидим, что работает" :) 1.10 не буду ставить пока 1.10.5 не будет :)

1.10 альфу мы чекнули - работает )

Но чекали только это

можно как-то сделать kubectl exec через http api, курлом, например?

можно как-то сделать kubectl exec через http api, курлом, например?

берешь PRC сервер, биндишь вызов shell к процедуре, вжух

подскажите, пожалуйста, как его взять, как забиндить и как вжух?

https://github.com/kubernetes/kubernetes/blob/master/pkg/kubectl/cmd/exec.go#L270

как пример

вы ппц тут умные!

https://serverfault.com/questions/777391/xinetd-read-post-data

я так понимаю, все сводится к http rest вызову? https://github.com/kubernetes/kubernetes/blob/master/pkg/kubectl/cmd/exec.go#L312 то есть exec через rest таки работает? мне кажется, я где-то натыкался, что без http2 никак

судя по коду, да, почему бы и нет

никак не разберусь, как вайршарком трафик посмотреть от kubectl до сервера, нужно же просто взять из kubeconfig client-key-data, сделать base64 --decode и дать это wireshark? у меня всеравно данные закодированы. Или я что-то упускаю?

есть способ автоматизированно сделать инъекцию поду при старте в виде дополнительного контейнера (если под имеет соответствующую аннотацию)? желательно, чтобы не писать при этом код на go

может уже ответили, не увидел, тогда сори. есть такая штука как initConteiner, возможно это то, что тебе нужно

никак не разберусь, как вайршарком трафик посмотреть от kubectl до сервера, нужно же просто взять из kubeconfig client-key-data, сделать base64 --decode и дать это wireshark? у меня всеравно данные закодированы. Или я что-то упускаю?

А ты уверен, что тебе нужен wireshark? Мне кажется все что нужно можно увидеть включив расширенное логирование в kubectl

может уже ответили, не увидел, тогда сори. есть такая штука как initConteiner, возможно это то, что тебе нужно

спасибо, но это не совсем то, что нужно. initContainer обычно уже описан в манифесте. Идея в том, что автор манифеста не знает, что ему подсадят контейнер в под

хитрО

А ты уверен, что тебе нужен wireshark? Мне кажется все что нужно можно увидеть включив расширенное логирование в kubectl

я хочу посмотреть как именно kubectl делает http запрос, чтобы повторить kubectl exec курлом

спасибо, но это не совсем то, что нужно. initContainer обычно уже описан в манифесте. Идея в том, что автор манифеста не знает, что ему подсадят контейнер в под

а с какой целью?

я хочу делать некоторые сетевые настройки на поде при его появлении, для этого я подсаживаю в под контейнер, который снабжен необходимыми утилитами. Понятное дело, я не хочу напрягать автора манифеста тем, чтобы он сам добавлял этот контейнер себе в манифест

я хочу посмотреть как именно kubectl делает http запрос, чтобы повторить kubectl exec курлом

у api-server есть insecure-port

настройте kubectl на него

я хочу посмотреть как именно kubectl делает http запрос, чтобы повторить kubectl exec курлом

Ну так я о том и говорю

добавь ключик --v=9

И все будет видно

у api-server есть insecure-port

я полагаю, это сработает, при условии, что аписервер запущен с соответствующим ключом?

я хочу делать некоторые сетевые настройки на поде при его появлении, для этого я подсаживаю в под контейнер, который снабжен необходимыми утилитами. Понятное дело, я не хочу напрягать автора манифеста тем, чтобы он сам добавлял этот контейнер себе в манифест

интересно, модифицировать pause под эти задачи нельзя?

я полагаю, это сработает, при условии, что аписервер запущен с соответствующим ключом?

ну да, ключ --insecure-port

добавь ключик --v=9

спасибо! действительно видно многое, попробую из этого получить рабочую курл команду

интересно, модифицировать pause под эти задачи нельзя?

идея любопытная, но я пока плохо понимаю как именно это сделать. Плюс я таки хочу не во всех подах иметь этот функционал

по хорошему, то, что мне нужно, делается cni плагином (и рано или поздно так и будет сделано), но как всегда надо быстро, а в написать cni плагин еще уметь надо

в общем, нельзя exec просто курлом, сервер там просит SPDY/3.1 upgrade, и курл в это не умеет (или я не знаю как заставить)

в общем, нельзя exec просто курлом, сервер там просит SPDY/3.1 upgrade, и курл в это не умеет (или я не знаю как заставить)

https://github.com/kubernetes/kubernetes/issues/24668

мне кажется они там чет по твоей теме обсуждают

да, я видел этот трэд, как я понял, вывод у них тот же

Как настроить в кластере nginx resolver?

выставляю ip dns service-а но ничего не получается

отдает 502 или 500

502 и 500 ничего не говорят о неисправности DNS. Пробовали дебаг-лог включать?

логи говорят >[error] 26#26: *1 test could not be resolved (3: Host not found)

а в конфиге так: location / { proxy_pass http://test:80; }

Всем привет! Вопрос, кажется, довольно нубский, но тем не менее: Имеется GKE, в нём через Helm установлен coucourse. Всё это дело дичайше спамит в логи. Не могу разобраться, как настроить нужную переменную окружения(`CONCOURSE_GARDEN_LOG_LEVEL`). Всё что нашел по теме — такого же страждущего: https://github.com/kubernetes/charts/issues/3414 Что делать?

kctl get deployment, ktcl edit deployment, env:, либо в чарте хелма, в контейнере добавить env секцию с твоими параметрами

Вопрос. Что произойдет с сервисами в кластере, если пропадёт control plane? Они по прежнему будут работать?

Описано в доках где нибудь проведение системы на этот случай?

Вопрос. Что произойдет с сервисами в кластере, если пропадёт control plane? Они по прежнему будут работать?

Про доку не помню. Но все должно работать.

Ну относительно

Ip не обновятся

Поды не перешедулятся

А DNS?

Kubedns будет работать?

Кеш если есть - точно. Не знаю всасывает он в себя записи или нет

Надо смотреть

Спасибо, будем экспериментировать. Хотя доки все равно придется искать, потому как дизайн надо обосновывать

Спасибо, будем экспериментировать. Хотя доки все равно придется искать, потому как дизайн надо обосновывать

Поделитесь потом, если это возможно!

Есть ответ на SO, но хотелось бы, чтобы это было by design и не поломалась в будущем. https://stackoverflow.com/questions/39172131/what-happens-when-the-kubernetes-master-fails

Днс будет работать, говорят

Ну там надо смотреть как происходит взаимодействие с апи сервером

Как я понимаю

Что будет когда кеш протухнет

kubedns process watches the Kubernetes master for changes in Services and Endpoints, and maintains in-memory lookup structures to serve DNS requests.

Судя по докам кэш есть в dnsmasq. А kubedns хранит всё

И только мониторит изменения

Ок, значит мастер можно делать не HA

Надо только failover продумать.

Привет, кто нибудь сталкивался с проблемой при запуске dashboard $ kubectl logs -n kube-system kubernetes-dashboard-5bd6f767c7-nztxt -f 2018/02/14 13:23:13 Using in-cluster config to connect to apiserver 2018/02/14 13:23:13 Starting overwatch 2018/02/14 13:23:13 Using service account token for csrf signing 2018/02/14 13:23:13 No request provided. Skipping authorization 2018/02/14 13:23:14 Error while initializing connection to Kubernetes apiserver. This most likely means that the cluster is misconfigured (e.g., it has invalid apiserver certificates or service accounts configuration) or the —apiserver-host param points to a server that does not exist. Reason: Get https://10.96.0.1:443/version: dial tcp 10.96.0.1:443: getsockopt: no route to host Refer to our FAQ and wiki pages for more information: https://github.com/kubernetes/dashboard/wiki/FAQ Проверял еще $ kubectl exec -ti busybox -- nslookup kubernetes.default Server: 10.96.0.10 Address 1: 10.96.0.10 nslookup: can't resolve 'kubernetes.default' command terminated with exit code 1 Проблема с настройкой сети видимо какая то...

dns например нету

dns например нету

да нет там вроде все в порядке поды запущены ошибок в логах нет kube-system kube-dns-6f4fd4bdf-trpdh 3/3 Running 0 39m Я пока решил поменять сеть на weave с flannel

Ребят, вопрос наверное до жути глупый, но как я могу вытащить dashboard куба наружу? Чтоб не ходить на локалхост через ssh туннель