ребят, подскажите один момент, не могу догнать никак. если мы делаем запрос в какой-то под, а этот под на другой машине, то как трафик идет? меня интересует с точки зрения security я так понял, что kube-proxy этим заниматеся (в том числе iptables меняет в записимости от созданных сервисов), но как траффик с машины на машину попадает? kube-proxy торчит на каком-то порту?

у вас на чем сеть? flannel?

в деве да, но в проде будет на calico скорее всего. в этом есть разница?

в flannel трафик из контейнера поднимается в flanneld , где он оборачивается по дефолту в vxlan , и отправляется на ноду где находится под назначения, там он принимается flanneld и извлекается оригинальный пакет из vxlan и отдается локальному поду

а что значит "отправляется на ноду где находится под назначения"? это значит там кто-то слушает какой-то порт?

а кто-нибудь использует rbd с hyperkube? как вы прописываете PATH, чтобы controller-manager увидел rbd ?

https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd

сорян за оффтоп (хотя и не совсем оффтоп): кубернетес -> вся эта девопвсокая фигня на блидинг эдж а есть актуальные ресурсы на русском про прометеусу, или как обычно?

сорян за оффтоп (хотя и не совсем оффтоп): кубернетес -> вся эта девопвсокая фигня на блидинг эдж а есть актуальные ресурсы на русском про прометеусу, или как обычно?

как обычно. Мы в ИТ провинции, привыкайте.

Английский, в перспективе - китайский. Если нужно работать с промышленностью - имеет смысл учить немецкий и итальянский

ну как обычно, раньше русский запаздывал просто потому что позже доходило а щас уже последние лет 5 я смотрю и смысла нет на русском искать, все равно те кому надо перешли давно на английские материалы это норм, просто решил че-нить на канале спросить для поддержания флейма :)

про китайский тема кстати :)

Японский тоже ничего

а что значит "отправляется на ноду где находится под назначения"? это значит там кто-то слушает какой-то порт?

Да, flanneld слушает

кто нибудь использует PodSecurityPolicy?

кто нибудь использует PodSecurityPolicy?

Нет, но планируем. Расскажите, как оно? :)

вкратце - оно не работает) вся суть раскрыта в последнем абзаце тут https://kubernetes.io/docs/concepts/policy/pod-security-policy/ PodSecurityPolicy authorization uses the union of all policies available to the user creating the pod and the service account specified on the pod. When pods are created via a Deployment, ReplicaSet, etc, it is Controller Manager that creates the pod… Access to given PSP policies for a user will be effective only when deploying Pods directly.

непонятно зачем вообще это тогда. надеюсь придумают что нибудь в следующих версиях

это разве не про доступ к PodSecurityPolicy Objects?

т..е абзац не про то, что полиси не будет применима для подов запущенных из deployment

по моему как раз про это

кажется, что про доступ, потому что "Access to given PSP policies", ну легко проверить, попробую на недел

но начинается со слов authorization uses the union of all **policies available to the user**

а так да, лучше проверить

Дамы и Господа добрый день с Boston Openstack Summit

Если у кого-то есть специфический интерес в определённом решении Kubernetes могу от вас поговорить тут с кем надо

вопрос из другой оперы немного, мурано совсем закопали или коммунити забрала?

https://kubernetes.io/docs/getting-started-guides/ubuntu/

Друзья из Мирантис придут спрошу

halp А если в kubectl describe pvc есть евент 7m 7m 1 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "standard": rbd: create volume failed, err: exit status 1 где можно найти логи с причиной ошибки?

halp А если в kubectl describe pvc есть евент 7m 7m 1 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "standard": rbd: create volume failed, err: exit status 1 где можно найти логи с причиной ошибки?

а нигде. Но с 90% вероятностью это классический баг автопровижнинга в ceph, и в 1.6.2 его вроде как не починили. Проще всего прокрутить все команды провижнинга вручную и посмотреть коды выхода

багов с провижнингом там два: - если у вас включен страйпинг - том не монтируется. Проверяется просто - создайте том и подмонтируйте. - в любом случае при монтировании тома появляется warning, о том у вас используется устаревший формат rbd. Это не лечится, есть патч, но в mainline его нет.

хм, спасибо »все команды провижнинга а их где найти?

багов с провижнингом там два: - если у вас включен страйпинг - том не монтируется. Проверяется просто - создайте том и подмонтируйте. - в любом случае при монтировании тома появляется warning, о том у вас используется устаревший формат rbd. Это не лечится, есть патч, но в mainline его нет.

rbd же просто бинарник в образе? пересобрать hyperkube с нужным не поможет разве?

хм, спасибо »все команды провижнинга а их где найти?

в мануале по RBD на docs.ceph.com

rbd же просто бинарник в образе? пересобрать hyperkube с нужным не поможет разве?

а разве он не отдельно пакетом идет? Я с hypercube почти не общался просто

но проблема там общая

https://github.com/kubernetes/kubernetes/blob/83846e3a6ad9baab92c266d2fbf086a87f110b9e/pkg/volume/rbd/rbd_util.go#L359 попробовал так создать, в выводе rbd protocol feature mismatch, my fffffffffff < peer 4000fffefdfffff missing 400000000000000 ну и действительно, в hyperkube у меня неправильный rbd с ceph version 0.80.7

Вопрос есть по кластеру версии 1.6.2 в gke Есть pv который маунтится с nfs шары, на кластере версии 1.5.2 все отлично работает, на тестовом версии выше почему то с этим жи конфигами вместо pv из nfs куб нарезает диски в gcp, в чем может быть проблема? Конфиг примерно такой: apiVersion: v1 kind: PersistentVolume metadata: name: nfsshare spec: capacity: storage: 20Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Recycle nfs: path: "/storage" server: 10.x.x.x --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nfsshare spec: accessModes: - ReadWriteMany resources: requests: storage: 20GiИзменений в примерах конфигов по ссылкам в доках что-то не нашел.

привет, может кто сталкивался

сетаплю воркеры по https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/818501707e418fc4d6e6aedef8395ca368e3097e/docs/06-kubernetes-worker.md

стартанули, сертификаты увидел, заапрувил, но ноды не добавились kubectl get nodes пустой

мало того, через некоторое время появились новые сертификаты на апрув

вот такое в логе: May 10 15:31:23 ip-10-0-0-205 systemd[1]: Started Kubernetes Kubelet. May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: Flag --api-servers has been deprecated, Use --kubeconfig instead. Will be removed in a future version. May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: I0510 15:31:23.166074 15889 feature_gate.go:144] feature gates: map[] May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: I0510 15:31:23.166289 15889 bootstrap.go:58] Using bootstrap kubeconfig to generate TLS client cert, key and kubeconfig file May 10 15:31:30 ip-10-0-0-205 kube-proxy[15767]: I0510 15:31:30.885294 15767 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:31:30 ip-10-0-0-205 kube-proxy[15767]: I0510 15:31:30.885960 15767 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:32:22 ip-10-0-0-205 kubelet[15889]: I0510 15:32:22.873627 15889 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:32:22 ip-10-0-0-205 kubelet[15889]: error: failed to run Kubelet: watch channel closed May 10 15:32:22 ip-10-0-0-205 systemd[1]: kubelet.service: Main process exited, code=exited, status=1/FAILURE May 10 15:32:22 ip-10-0-0-205 systemd[1]: kubelet.service: Unit entered failed state.

ну или подскажите, куда копать или как повысить болтливость лога

--v=10

Вот у меня тоже задача - нужно подпихивать в поды большие куски моделей для ML. суммарно 3-4 гигабайта. Модели иногда обновляются. Сейчас есть ReadOnly диск в гугле, но обновлять его совсем неудобно. Какие есть варианты?

Под при старте эти модели грузит в память

Я думаю сделать дата-контейнеры, но скачивание их тоже займет немало времени

мы в AWS сделали DaemonSet, который скачивает новые версии баз и кладет их в фиксированное место на хосте, все кому надо, подключают его к себе и читают

"фиксированное место на хосте" - это хост вольюм?

да, предопределенный путь на хосте

просто есть соглашение: все базы лежат на хосте в папке /ebs

коллеги, а может мне кто-нибудь внятно объяснить, для чего нужен HELM? ведь есть же docker hub, а конфиги все равно каждый сам себе пишет. Или я что-то делаю не так?

докер имадж не описывает того, как запускать приложение

имеется в виду, например, настройка кластера?

Helm - жопа, ну лучшего ничего пока нет, а жопу можно исправить (чем и занимаюсь)

имеется в виду, например, настройка кластера?

Ну, сколько памяти дать, какие конфиги подключить и проч. Хороший реалистичный пример того, где просто докерхаба недостаточно: stable/nginx-ingress чарт

ERROR: S client not available

Helm - жопа, ну лучшего ничего пока нет, а жопу можно исправить (чем и занимаюсь)

жопа - это состояние, а не цель :) а мне бы понять цель. В смысле - нафига он такой нужен

ну вот взгляните на существующие чарты, может найдете ответ :)

например для разных сред, для локльной разработки прокидываешь хостпаф, для прода не будет этого волума

с помощью хельма все можно запарметризировать и в зависимости от среды будут применятся нужные настройки, деплойменты и т.п.

докер имадж не описывает того, как запускать приложение

правда?

CMD / ENTRYPOINT ?

CMD / ENTRYPOINT ?

Посмотрите на все опции docker run, очень многие из них никак не описать в cmd/entrypoint

Гайз, а никто не пробовал прикручивать weave scope к flannel?

у меня работал исправно, но с калико. правда проц жрет постоянно

Привет всем! Народ, а подскажите, какой из мануалов выкурить. Уже вроде исчитал доки, но не осиливаю. Дано: Есть приложуха, почти все настройки которой можно задать через опции командной строки. Но есть настройка связи с бд, она только через файл вроде такого: /my/cool/app —db-shards=/path/to/shards.config Нужно запустить N инстансов шардов db, количество затем изменяться не будет, а после запустить /my/cool/app, но так, чтобы был нагенерён правильный конфиг шардов. Как это правильно то делать?

а какие отличия в конфиге шардов?

Шарды db вообще конфигурить не надо. Нужно только в файл с описанием шардов каким-то образом запихнуть все запущенные

файл разный для разных шард?

Шарды db вообще конфигурить не надо. Нужно только в файл с описанием шардов каким-то образом запихнуть все запущенные

сделайте volume из configMap

Мм, а в configMap как-то динамически значения можно засовывать? Вот запустил я N шардов db. Теперь надо запихнуть все их ip в configMap? Или это всё же динамически как-то можно сделать? А то из описания в доках про configMap как-то не очевидно, там только статические примеры

Такого нет в кубернетесе. Он грубо говоря, дает тебе примитивы, которыми ты можешь оперировать. И у него есть api. Твой use-case про шарды можно реализовать в виде контроллера, который будет мониторить поды по каким-то лэйблам и менять динамически какой-то configmap.

Мм, а в configMap как-то динамически значения можно засовывать? Вот запустил я N шардов db. Теперь надо запихнуть все их ip в configMap? Или это всё же динамически как-то можно сделать? А то из описания в доках про configMap как-то не очевидно, там только статические примеры

а, понял что вам нужно. вам точно конфиг под шарды нужен, а не просто их IP адреса? :)

что случится с app когда шарды все-таки будут перезапущены? (а они будут)

Мне кажется, что-то не так в изначальной задаче. Может быть можно подробнее? Может можно роутер какой-то поставить? Или как-то иначе сервис дискавери сделать?

Привет.

Кто с мск

половина. другая половина из спб )

Мм

Хочу Веселье

а вы точно на тот канал зашли?

На какой зайти по этому поводу подскажите

лол

йй