Кстати, вопрос в догонку про сервис аккаунт ключ и про ключи для подписывания на контроллере. Как Я понял сервисный это просто рандомный приватный ключ без подписи а вот насчет ключей для подписи Я так и не понял :(

вы про какие опции контроллера сейчас? у service account создается секрет с JWT токеном для него, токен подписан контроллером, секретным ключем и проверяется на apiserver при запросах с этим JWT токеном

IPAM

вы про какие опции контроллера сейчас? у service account создается секрет с JWT токеном для него, токен подписан контроллером, секретным ключем и проверяется на apiserver при запросах с этим JWT токеном

вот про эту для аписервера и контроллера: - --service-account-private-key-file=/etc/kubernetes/ssl/ca.key

сейчас у меня там приватный ключ CA но мне это очень не нравится

а еще у контроллера есть вот такие опции: - --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.crt - --cluster-signing-key-file=/etc/kubernetes/ssl/ca.key куда Я тоже впихнул ключи CA так как цейтнот был, но мне тоже очень и очень не нравится отдвать куда-либо CA ключи

вы про какие опции контроллера сейчас? у service account создается секрет с JWT токеном для него, токен подписан контроллером, секретным ключем и проверяется на apiserver при запросах с этим JWT токеном

> токен подписан контроллером, секретным ключем вот про этит секретный ключ судя по всему

и еще, а есть где-то дока по self-hosted? хочу для начала сам ручками поднять, любопытно как оно работает и делается, или исходники bootkub'а ковырять?

и еще, а есть где-то дока по self-hosted? хочу для начала сам ручками поднять, любопытно как оно работает и делается, или исходники bootkub'а ковырять?

https://github.com/kelseyhightower/kubernetes-the-hard-way

это уже читал, по ней и делал, там кстати ошибок много и кейс со static pods не описан, что жаль очень

да и для aws нет, но по аналогии легко сделать

и еще, а есть где-то дока по self-hosted? хочу для начала сам ручками поднять, любопытно как оно работает и делается, или исходники bootkub'а ковырять?

с селфхостед самое сложное поднять apiserver & controller-manager и scheduler так чтобы они были полноценными подами и управляли сами собой. для этого нужен bootkube там руками не поднять на коленке. если все это не self-hosted делать, а по-старинке, то дальше все эти kube-proxy kube-dns и проч можно и самому как daemonset сделать

с селфхостед самое сложное поднять apiserver & controller-manager и scheduler так чтобы они были полноценными подами и управляли сами собой. для этого нужен bootkube там руками не поднять на коленке. если все это не self-hosted делать, а по-старинке, то дальше все эти kube-proxy kube-dns и проч можно и самому как daemonset сделать

спасибо большое, жаль, что нельзя, тогда буду смотреть на bootkube

Вообще я на интеграцию с Vault в AWS убил лучшие годы своей жизни и в итоге выпилил это все нафиг нещадно (неосилил).слишком о многом надо думать: проприсать корректные роли в vault, следить чтобы ноды были с правильными тагами (чтобы получить нужную роль), много возни с systemd демонами, особенно если хочется корректного обновления ключей (а мне хотелось) на лету без рестарттов

и все это ради непонятно чего :) kubelet tls bootstrap работает отличненько

вот, надо будет посмотреть на него поближе

вот про эту для аписервера и контроллера: - --service-account-private-key-file=/etc/kubernetes/ssl/ca.key

вот этот подписывает JWT токены создаваемые внутри кластера для service account . открытая часть этого ключа должна быть среди ключей, которыми apiserver проверяет подписи (их может быть несколько, необходимо для ротации подписывающих ключей)

а еще у контроллера есть вот такие опции: - --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.crt - --cluster-signing-key-file=/etc/kubernetes/ssl/ca.key куда Я тоже впихнул ключи CA так как цейтнот был, но мне тоже очень и очень не нравится отдвать куда-либо CA ключи

эти используютя для TLS bootstrapping, подробнее тут : https://kubernetes.io/docs/admin/kubelet-tls-bootstrapping/

а есть где-то дока по тому какие ключи кому и для кого нужны в kubernetes?

google site:kubernetes.io/docs/

там вразброс, но всё где-нибудь да описано

эх, тогда буду копать там, в любом случае огромное спасибо

альфа фичи только в коде бывают, требование к beta фичам уже полноценная дока, так что они есть

удачи, главное не зарывайтесь. оно все интересно и любопытно вначале, но оно нужно только чтобы приложения запускать, когда настроено и работает от всех этих настроек уже подташнивает

FileBeat такую заразу пишет в лог: INFO Connected to Elasticsearch version 6.2.4 INFO Template already exists and will not be overwritten. ERR Failed to perform any bulk index operations: 502 Bad Gateway ERR Failed to publish events: 502 Bad Gateway Причём в эластик пишутся логи

Нужно обязательно включать кеширование, иначе при недоступности коллектора graylog контейнер подвиснет

Это только при TCP было, да и то уже поправили. При UDP не вешались.

кхех. Плохая была идея слать логи filebeat через ингрес :)

Hi, I heard that Russia shielded Telegram recently. Is it true??

Hi, I heard that Russia shielded Telegram recently. Is it true??

tried to shield, but there is no success as you can see :)

Коллеги, zebra + metalb + k8s. Это нормально?

Коллеги, zebra + metalb + k8s. Это нормально?

metal пока альфа, но в целом выглядит интересно

Коллеги, если есть кто нибудь кто поднимал Rancher 2.0 с SSL отзовитесь :)

Вопрос-то какой?

Вопрос-то какой?

У них оф документация видимо устарела, по словам разработчика валидный мануал для использования со своими сертификатами вот этот: https://medium.com/@superseb/ssl-tls-options-for-rancher-2-0-dca483a7070d Если использовать вместе с Nginx как linked контейнер для терминации SSL, то написано, что нужно дополнительно пробросить сертификаты cacerts.pem по пути /etc/rancher/ssl/cacerts.pem. Вопрос: агенты не могут подключиться к серверу, выкатывая в лог ошибку: Failed to connect to proxy" error="x509: certificate signed by unknown authority". Цепочка сертификатов валидная, как победили? Сталкивались ли вообще?

Народ, а кто нибудь билдит контейнеры в контейнерах?

ну я

и как оно?

нормас

нормас

а как именно? что используешь?

Народ, а кто нибудь билдит контейнеры в контейнерах?

Сейчас я закину немного когнитивности. Смотри, у тебя есть какие-то конкретные опасения / пробелы в знаниях, которые ты хочешь закрыть. Мы о них не узнаем, пока ты прямо о них не скажешь, поэтому стоит прямо сразу все это делать озвучить, чтобы мы могли ответить чем-то большим, чем "билдим / не билдим".

https://hub.docker.com/_/docker/

https://hub.docker.com/_/docker/

Понял, сейчас погляжу, спс

гайз, кто знает, можно ли backend-ы в ингресе направить на сервисы в разных неймспейсах ?

гайз, кто знает, можно ли backend-ы в ингресе направить на сервисы в разных неймспейсах ?

можно, создаешь сервис в том же немспейсе с external name: kind: Service apiVersion: v1 metadata: name: serviceName spec: type: ExternalName externalName: otherService.other-namespace.svc.cluster.local ports: - port: 2522

ага, спасибо

Ребят, а кто-нибудь traefik использует, как он?

Ребят, а кто-нибудь traefik использует, как он?

я использовал. nginx проще и лучше

Всем привет , ситуация как то изменилась с балансировщиками для k8s на VMWARE on premise ??? Есть статейки интересные как сделать лучше ? Заранее спасибо

Изменилась по сравнению с каким временем?

3 Недели

Я тут занят был OpenShift , и понял что голый k8s вроде как лучше , и меньше костылей.

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

skydns – не ваш случай?

к сожалению нет

Я извиняюсь за нубятину, но может где можно почитать про деплой k8s по хардкору на реальном бареметал с реальной flat сетью? А то либо GCE, либо виртуалки и в них уже сеточка. Не могу заставить на железе сеть и ДНС работать по k8s-the-hardway

Я извиняюсь за нубятину, но может где можно почитать про деплой k8s по хардкору на реальном бареметал с реальной flat сетью? А то либо GCE, либо виртуалки и в них уже сеточка. Не могу заставить на железе сеть и ДНС работать по k8s-the-hardway

Kubernetes Hard Way

Kubernetes Hard Way

я по нему и делаю, но там в разделе про сети под мой кейс не работает :(

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

Никто не встречался с такой проблемой?

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

External service не подойдёт?

возможно подойдет, но что-то резолвинг не происходит

А работает вообще днс?

Я про kube-dns

работает

прокси нужен, нжинкс например

прокси нужен, нжинкс например

ээ, не уверен

если бы порт был 8080, то можно было бы днс-алиасом обойтись

Я извиняюсь за нубятину, но может где можно почитать про деплой k8s по хардкору на реальном бареметал с реальной flat сетью? А то либо GCE, либо виртуалки и в них уже сеточка. Не могу заставить на железе сеть и ДНС работать по k8s-the-hardway

У нас три кластера на баре металле. Первый по хард вей поднимал, остальные уже по опыту.

Сеть фланель, которая без cni

Сеть фланель, которая без cni

видимо в этом и разница)

ДНС работат

Ок, щас ещё раз попробую CNI строчка в строчку и если не взлетит, буду тыкать flannel

Спасибо за фидбэк

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

ExternalName поможет отцу русской демократии )

привет. Как средствами кубера организовать service discovery для внешних сервисов. Вот есть у меня app1.google.com:8080, а я хочу вызывать просто http://google/

https://pastebin.com/TJr55dPc так не пойдет?

Привет. Кто-нибудь сталкивался с этой штукой: ACTION REQUIRED: In-place node upgrades to this release from versions 1.7.14, 1.8.9, and 1.9.4 are not supported if using subpath volumes with PVCs. Such pods should be drained from the node first. Проблема касается только этих конкретных патч версий?

Ок, щас ещё раз попробую CNI строчка в строчку и если не взлетит, буду тыкать flannel

Flannel как раз через CNI работает кажется

Ребят, а кто-нибудь traefik использует, как он?

Мы юзаем на двух проектах, очень крутой прокси с хот релоадом. Работал не напрягаясь на 120 rps

Мы юзаем на двух проектах, очень крутой прокси с хот релоадом. Работал не напрягаясь на 120 rps

ну 120 rps – это немного :))) прокси и впрямь хороший, но надо понимать, что он весьма тупенький

Не много, но больше нагрузки не было. У NGINX больше возможностей, но траефик заменил nginx + consul + consul template. Плюс релоадить его не надо

у него дискавери удобный

Я правильно понимаю, что на bare metal что traefik, что nginx надо запускать с hostnetwork? Про romana знаю, еще не изучал детально

Ребята, подскажите, как настроить taint-ы, чтобы ingress и только ingress мог запускаться на мастере.

Хм. Полагаю, taint мастера придётся удалить — тогда мастер станет обычной нодой.

зачем такие извращения?

на мастерах очень не рекомендуют ранить что-либо, кроме контрол плейна

но если отвечать на ваш вопрос, то tl; dr: tolerations + nodeAffinity

но фишка в том, что по умолчанию NodePort на мастерах не слушаются

но фишка в том, что по умолчанию NodePort на мастерах не слушаются

Это как?

у вас слушаются?)

Не проверял, но если не слушают это любопытно

Может у вас там kube-proxy не запущены просто ?

нет, но, если не ошибаюсь, когда taint = unschedulable (надеюсь, правильно написал), то не слушают

Ну видимо просто kube-proxy там изза taint не запускается