Расскажите какие и насколько вам это понравилось :)

А кто serverless фреймворки на k8s запускал?

присоединяюсь к вопросу ;)

Я пока посмотрел на fission и funktion и не могу сказать, что все просто и приятно...

Но есть ли другой опыт? Может я что-то не так делаю..

ну это просто и приятно должно бвть для тех кто использует, а не сопровождает инфраструктуру

ну, не могу сказать, чтоб разработчики порадовались. для зависимостей отдельный контейнер самому собирать

Расскажите какие и насколько вам это понравилось :)

Я пробовал эти два + kubeless Идея хорошая, но пока больше проблем чем пользы. Если фичи из всех трех в один собрать то еще более менее а так у одного крона нет, у другого flow(цепочек задач) FAAS умеет метрики по функциям собирать, эти троя пока лимиты по ресурсам опять таки пока не задать

а кто знает, зачем в helm добавили серверную часть (tiller), чем не угодила прошлая реализация helmc? сейчас из-за этого проблемы с RBAC. в гугле искал - не нашел

вот собственно теперь думают какой костыль им добавить, чтобы RBAC работал https://github.com/kubernetes/helm/issues/1918

roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: tiller namespace: kube-system

ну как-то так

да это понятно. только после этого все кто имеет доступ к tiller, фактически получают cluster-admin

а кто знает, зачем в helm добавили серверную часть (tiller), чем не угодила прошлая реализация helmc? сейчас из-за этого проблемы с RBAC. в гугле искал - не нашел

Мы встраиваем тиллер в нашу деплой тулзу

Так что смысла тоже не вижу. Моя версия - кому то хотелось grpc пощупать :)

Привет господа от Canonical

и вам не хворать)

Кто нибудь в Бостон едет? https://www.openstack.org/summit/boston-2017/

Это прямо вопрос для @openstack_ru :)

Это прямо вопрос для @openstack_ru :)

Привет Ден, поменяй пин уже же)

задача-то какая? для себя-любимого поднять? если да - kubeadm или minicube

А если не для себя? Кубадм плохо?

Там все уже все на Kubernetes делают :-)

Как раз обсуждал эту тему только что с City Network

Как раз обсуждал эту тему только что с City Network

Может быть сделаешь Recap-доклад по итогу, где расскажешь, о чём было, что интересного / нового / полезного сказали относительно Kubernetes? )

А если не для себя? Кубадм плохо?

кубадм не умеет файловеров

а если у вас один аписерв - потенциально будут проблемы, ибо SPOF

ребят, подскажите один момент, не могу догнать никак. если мы делаем запрос в какой-то под, а этот под на другой машине, то как трафик идет? меня интересует с точки зрения security я так понял, что kube-proxy этим заниматеся (в том числе iptables меняет в записимости от созданных сервисов), но как траффик с машины на машину попадает? kube-proxy торчит на каком-то порту?

ребят, подскажите один момент, не могу догнать никак. если мы делаем запрос в какой-то под, а этот под на другой машине, то как трафик идет? меня интересует с точки зрения security я так понял, что kube-proxy этим заниматеся (в том числе iptables меняет в записимости от созданных сервисов), но как траффик с машины на машину попадает? kube-proxy торчит на каком-то порту?

у вас на чем сеть? flannel?

в деве да, но в проде будет на calico скорее всего. в этом есть разница?

в flannel трафик из контейнера поднимается в flanneld , где он оборачивается по дефолту в vxlan , и отправляется на ноду где находится под назначения, там он принимается flanneld и извлекается оригинальный пакет из vxlan и отдается локальному поду

а что значит "отправляется на ноду где находится под назначения"? это значит там кто-то слушает какой-то порт?

а кто-нибудь использует rbd с hyperkube? как вы прописываете PATH, чтобы controller-manager увидел rbd ?

https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd

сорян за оффтоп (хотя и не совсем оффтоп): кубернетес -> вся эта девопвсокая фигня на блидинг эдж а есть актуальные ресурсы на русском про прометеусу, или как обычно?

сорян за оффтоп (хотя и не совсем оффтоп): кубернетес -> вся эта девопвсокая фигня на блидинг эдж а есть актуальные ресурсы на русском про прометеусу, или как обычно?

как обычно. Мы в ИТ провинции, привыкайте.

Английский, в перспективе - китайский. Если нужно работать с промышленностью - имеет смысл учить немецкий и итальянский

ну как обычно, раньше русский запаздывал просто потому что позже доходило а щас уже последние лет 5 я смотрю и смысла нет на русском искать, все равно те кому надо перешли давно на английские материалы это норм, просто решил че-нить на канале спросить для поддержания флейма :)

про китайский тема кстати :)

Японский тоже ничего

а что значит "отправляется на ноду где находится под назначения"? это значит там кто-то слушает какой-то порт?

Да, flanneld слушает

кто нибудь использует PodSecurityPolicy?

кто нибудь использует PodSecurityPolicy?

Нет, но планируем. Расскажите, как оно? :)

вкратце - оно не работает) вся суть раскрыта в последнем абзаце тут https://kubernetes.io/docs/concepts/policy/pod-security-policy/ PodSecurityPolicy authorization uses the union of all policies available to the user creating the pod and the service account specified on the pod. When pods are created via a Deployment, ReplicaSet, etc, it is Controller Manager that creates the pod… Access to given PSP policies for a user will be effective only when deploying Pods directly.

непонятно зачем вообще это тогда. надеюсь придумают что нибудь в следующих версиях

это разве не про доступ к PodSecurityPolicy Objects?

т..е абзац не про то, что полиси не будет применима для подов запущенных из deployment

по моему как раз про это

кажется, что про доступ, потому что "Access to given PSP policies", ну легко проверить, попробую на недел

но начинается со слов authorization uses the union of all **policies available to the user**

а так да, лучше проверить

Дамы и Господа добрый день с Boston Openstack Summit

Если у кого-то есть специфический интерес в определённом решении Kubernetes могу от вас поговорить тут с кем надо

вопрос из другой оперы немного, мурано совсем закопали или коммунити забрала?

https://kubernetes.io/docs/getting-started-guides/ubuntu/

Друзья из Мирантис придут спрошу

halp А если в kubectl describe pvc есть евент 7m 7m 1 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "standard": rbd: create volume failed, err: exit status 1 где можно найти логи с причиной ошибки?

halp А если в kubectl describe pvc есть евент 7m 7m 1 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "standard": rbd: create volume failed, err: exit status 1 где можно найти логи с причиной ошибки?

а нигде. Но с 90% вероятностью это классический баг автопровижнинга в ceph, и в 1.6.2 его вроде как не починили. Проще всего прокрутить все команды провижнинга вручную и посмотреть коды выхода

багов с провижнингом там два: - если у вас включен страйпинг - том не монтируется. Проверяется просто - создайте том и подмонтируйте. - в любом случае при монтировании тома появляется warning, о том у вас используется устаревший формат rbd. Это не лечится, есть патч, но в mainline его нет.

хм, спасибо »все команды провижнинга а их где найти?

багов с провижнингом там два: - если у вас включен страйпинг - том не монтируется. Проверяется просто - создайте том и подмонтируйте. - в любом случае при монтировании тома появляется warning, о том у вас используется устаревший формат rbd. Это не лечится, есть патч, но в mainline его нет.

rbd же просто бинарник в образе? пересобрать hyperkube с нужным не поможет разве?

хм, спасибо »все команды провижнинга а их где найти?

в мануале по RBD на docs.ceph.com

rbd же просто бинарник в образе? пересобрать hyperkube с нужным не поможет разве?

а разве он не отдельно пакетом идет? Я с hypercube почти не общался просто

но проблема там общая

https://github.com/kubernetes/kubernetes/blob/83846e3a6ad9baab92c266d2fbf086a87f110b9e/pkg/volume/rbd/rbd_util.go#L359 попробовал так создать, в выводе rbd protocol feature mismatch, my fffffffffff < peer 4000fffefdfffff missing 400000000000000 ну и действительно, в hyperkube у меня неправильный rbd с ceph version 0.80.7

Вопрос есть по кластеру версии 1.6.2 в gke Есть pv который маунтится с nfs шары, на кластере версии 1.5.2 все отлично работает, на тестовом версии выше почему то с этим жи конфигами вместо pv из nfs куб нарезает диски в gcp, в чем может быть проблема? Конфиг примерно такой: apiVersion: v1 kind: PersistentVolume metadata: name: nfsshare spec: capacity: storage: 20Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Recycle nfs: path: "/storage" server: 10.x.x.x --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nfsshare spec: accessModes: - ReadWriteMany resources: requests: storage: 20GiИзменений в примерах конфигов по ссылкам в доках что-то не нашел.

привет, может кто сталкивался

сетаплю воркеры по https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/818501707e418fc4d6e6aedef8395ca368e3097e/docs/06-kubernetes-worker.md

стартанули, сертификаты увидел, заапрувил, но ноды не добавились kubectl get nodes пустой

мало того, через некоторое время появились новые сертификаты на апрув

вот такое в логе: May 10 15:31:23 ip-10-0-0-205 systemd[1]: Started Kubernetes Kubelet. May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: Flag --api-servers has been deprecated, Use --kubeconfig instead. Will be removed in a future version. May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: I0510 15:31:23.166074 15889 feature_gate.go:144] feature gates: map[] May 10 15:31:23 ip-10-0-0-205 kubelet[15889]: I0510 15:31:23.166289 15889 bootstrap.go:58] Using bootstrap kubeconfig to generate TLS client cert, key and kubeconfig file May 10 15:31:30 ip-10-0-0-205 kube-proxy[15767]: I0510 15:31:30.885294 15767 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:31:30 ip-10-0-0-205 kube-proxy[15767]: I0510 15:31:30.885960 15767 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:32:22 ip-10-0-0-205 kubelet[15889]: I0510 15:32:22.873627 15889 streamwatcher.go:103] Unexpected EOF during watch stream event decoding: unexpected EOF May 10 15:32:22 ip-10-0-0-205 kubelet[15889]: error: failed to run Kubelet: watch channel closed May 10 15:32:22 ip-10-0-0-205 systemd[1]: kubelet.service: Main process exited, code=exited, status=1/FAILURE May 10 15:32:22 ip-10-0-0-205 systemd[1]: kubelet.service: Unit entered failed state.

ну или подскажите, куда копать или как повысить болтливость лога

--v=10

Вот у меня тоже задача - нужно подпихивать в поды большие куски моделей для ML. суммарно 3-4 гигабайта. Модели иногда обновляются. Сейчас есть ReadOnly диск в гугле, но обновлять его совсем неудобно. Какие есть варианты?

Под при старте эти модели грузит в память

Я думаю сделать дата-контейнеры, но скачивание их тоже займет немало времени

мы в AWS сделали DaemonSet, который скачивает новые версии баз и кладет их в фиксированное место на хосте, все кому надо, подключают его к себе и читают

"фиксированное место на хосте" - это хост вольюм?

да, предопределенный путь на хосте

просто есть соглашение: все базы лежат на хосте в папке /ebs

коллеги, а может мне кто-нибудь внятно объяснить, для чего нужен HELM? ведь есть же docker hub, а конфиги все равно каждый сам себе пишет. Или я что-то делаю не так?

докер имадж не описывает того, как запускать приложение