kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

что значит с weave не работает? у меня работает

причем "искаропки" :) т.е. просто в конфиге параметр поменял

марсианский кук самый приличный, не без тараканов, но он хотя бы работает

А дока есть? Просто в тексте описано ТЗ по этому марсианскому кукбуку?

нет, доки нет, но при минимальном знании шефа разобраться несложно + автор кукбука нормально реагирует на вопросы.

что значит с weave не работает? у меня работает

ну вот у меня любая попытка его настроить кончалась багами, причем всегда разными. я три дня провозился, мне это надоело и я перешел на марсианский кукбук. Чему очень рад

Блин. Жесть какая-то. Придется делать как на видео у индуса на centos, наверное.

Только плохо, что этот индус все в текст не выложил.

а вам надо в прод или так, пальцем потыкать? Если второе - kubeadm в помощь

он вообще не требует приложения мозга

https://devopsmates.com/part-1-kubernetes-introduction-installation/ - вот в тексте, то что на видео, если кому интересно. #kubernetes #virtualbox #centos #fulldoc

а вам надо в прод или так, пальцем потыкать? Если второе - kubeadm в помощь

Понять как на проде развернуть. Если потыкать, то и minikube хватит

Понять как на проде развернуть. Если потыкать, то и minikube хватит

тогда выбираете способ деплоя который вам зрительно близок и начинаете собирать баги. они будут ВЕЗДЕ

тогда выбираете способ деплоя который вам зрительно близок и начинаете собирать баги. они будут ВЕЗДЕ

Ну, возможно. Но должно быть уже какое-то решение по багам, а не как с kubespray

kops прибит к облакам и в железе его развренуть нельзя. Kubespay не работает с weave + запрещает привелигированные контейнеры = поломавшийся сетевой контейнер требует перезагрузки ноды целиком

пруфы плиз что kubespray запрещает privileged вижу у apiserver --allow-privileged=true и у kubelet # Should this cluster be allowed to run privileged docker containers KUBE_ALLOW_PRIV="--allow-privileged=true"

я с кубспреем работал пол-года назад. Тогда было запрещено

Ну, возможно. Но должно быть уже какое-то решение по багам, а не как с kubespray

оно и есть. Ставите то, что вам подходит, собираете баги, учитесь их лечить. И так по кругу

я с кубспреем работал пол-года назад. Тогда было запрещено

в общем priviledged можно по дефолту из коробки

Блин. Жесть какая-то. Придется делать как на видео у индуса на centos, наверное.

Посмотрите на typhoon, у меня на его основе на libvirt все нормально поднимается

Ребята, есть проблема с коннекшном к внешней базе данных из подов в GKE. В конфиге nodejs прописаны настройки соединения с базой данных, сама база данных находится на внешнем сервере вне kubernetes, причём у базы данных есть вайтлист айпи адресом которым разрешённо коннектится. Мне не совсем понятно с каких айпи идёт запрос в базу из подов и какие адреса нужно добавить в вайтлист базы данных. Может кто-то объяснить как это работает? Спасибо

ну адрес ноды же

у тебя ж пробрасывается трафик с поды на внешку

если я не ошибаюсь, конечно

Мм, возможно так и есть. Я просто только начал работать с kubernetes, поэтому пока не уверен ни в чём)

Попробую добавить айпи нод

Они ведь в GKE статичные?

На нодах kubernetes в GKE действительно стоят внешние IP адреса, однако если нода рестартится, то выдаётся новый рандомный айпи адрес. Что можно сделать с вайтлистом базы данных?

в gke более интеллектуального инструемента для контроля доступа нет? acl или еще какие политики

А база данных в том же vpc что и k8s? Если да, то можете общаться по внутренним, а в вайтлисте добавить подсеть

база данных на отдельном сервере, она вне k8s

а сетка есть?

На нодах kubernetes в GKE действительно стоят внешние IP адреса, однако если нода рестартится, то выдаётся новый рандомный айпи адрес. Что можно сделать с вайтлистом базы данных?

Ну можно зарезервировать там external IP и явно заттачить его к ноде.

@iweron https://cloud.google.com/compute/docs/ip-addresses/reserve-static-external-ip-address

Спасибо, попробую

база данных на отдельном сервере, она вне k8s

Если что, все инстансы в одном vpc роутятся (по умолчанию используется default vpc). А если будете использовать external ip, то придется платить за внешний трафик

А есть вообще какая-нибудь дока, как развернуть kubernetes на виртуалках ubuntu 16.04 ?

https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/

https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/

А для людей?)

Для людей вот “Setup kubenetes cluster on ubuntu 16.04 with kubeadm” @SystemMining https://medium.com/@SystemMining/setup-kubenetes-cluster-on-ubuntu-16-04-with-kubeadm-336f4061d929

Еще для некоторых людей есть https://kubernetes.io/docs/getting-started-guides/ubuntu/local/, но это может быть интересно не всем)

А для людей?)

это как? Кнопка "сделать зашибись"? Так это вам к майкрософту

Еще в свое время я вот этим мануалом поднимал кластер на packet.net https://blog.alexellis.io/kubernetes-in-10-minutes/

это как? Кнопка "сделать зашибись"? Так это вам к майкрософту

gke

это как? Кнопка "сделать зашибись"? Так это вам к майкрософту

https://devopsmates.com/part-1-kubernetes-introduction-installation/ - это вот так. Только для убунты, например.

https://devopsmates.com/part-1-kubernetes-introduction-installation/ - это вот так. Только для убунты, например.

чудовищный док

просто нет слов

https://github.com/kelseyhightower/kubernetes-the-hard-way для тех, кто хочет углубленно. По верхам - kubeadm

https://github.com/kelseyhightower/kubernetes-the-hard-way для тех, кто хочет углубленно. По верхам - kubeadm

И что там углубленного?

И что там углубленного?

хотя бы объясняют в деталях, что и как устроено в процессе деплоя. Хайтауэру как соавтору куба я верю несколько больше, чем безымянному Кумару

хотя бы объясняют в деталях, что и как устроено в процессе деплоя. Хайтауэру как соавтору куба я верю несколько больше, чем безымянному Кумару

А при чем тут вера в разработчика и объяснение в деталях для новичков?

А при чем тут вера в разработчика и объяснение в деталях для новичков?

при том, что объяснение человеком, который ничего не понимает в продукте, о котором рассказывает – для новичка может быть губительным. кстати я вообще не понимаю, зачем новичку детали

при том, что объяснение человеком, который ничего не понимает в продукте, о котором рассказывает – для новичка может быть губительным. кстати я вообще не понимаю, зачем новичку детали

Потому что поднять на серверах амазона и локально на вагранте - это разные вещи

хотите гонять куб на одном мастере, без фаеровла и с etcd, торчащим голой задницей в инет – ваше право, кто же спорит

откуда амазон вообще взялся? Инструкция Хайтауэра никак не привязана к провайдеру

хотите гонять куб на одном мастере, без фаеровла и с etcd, торчащим голой задницей в инет – ваше право, кто же спорит

Как раз все это и хочу настроить. А не просто разархивировать бинарник

Коллеги, как вы решаете вопрос записи данных от нескольких подов в rbd хранилище? У меня staging/test окружение bare metal k8s + ceph rbd, production Amazon + ebs. ReadmWriteMany не поддерживается, как быть предположим с mysql master + master подами или попросту если несколько реплик?

Как раз все это и хочу настроить. А не просто разархивировать бинарник

так откройде доку и прочитайте что там написано, елки-палки

так откройде доку и прочитайте что там написано, елки-палки

Так уже прочитал и сказал что не подходит. Что не ясно?

Посмотрите на typhoon, у меня на его основе на libvirt все нормально поднимается

как у него происходят апгрейды? деплой нового кластера?

Так уже прочитал и сказал что не подходит. Что не ясно?

как минимум – что непонятно и почему

как минимум – что непонятно и почему

Я написал, что мне нужна подробная дока с мелочами по всем пунктам поднятия kubernetes на ubuntu 16.04 на виртуалках. https://devopsmates.com/part-1-kubernetes-introduction-installation/ - пока я только эту нашел, и в свободное время попробую адаптировать или поднять на centos.

хотя бы объясняют в деталях, что и как устроено в процессе деплоя. Хайтауэру как соавтору куба я верю несколько больше, чем безымянному Кумару

У хайтауэра нет никаких объяснений, есть заточенный под гугл набор shell-команд. Как ориентир ок, но объяснения для новичка - это вообще-то совсем другая задача

У хайтауэра нет никаких объяснений, есть заточенный под гугл набор shell-команд. Как ориентир ок, но объяснения для новичка - это вообще-то совсем другая задача

Ну, он же не читал. Откуда ему знать?) Зато всем одно и то же советуют

Коллеги, как вы решаете вопрос записи данных от нескольких подов в rbd хранилище? У меня staging/test окружение bare metal k8s + ceph rbd, production Amazon + ebs. ReadmWriteMany не поддерживается, как быть предположим с mysql master + master подами или попросту если несколько реплик?

amazon efs умеет readwritemany но делать мульти-мастер на одном и том же волюме....я бы не рискнул.

У хайтауэра нет никаких объяснений, есть заточенный под гугл набор shell-команд. Как ориентир ок, но объяснения для новичка - это вообще-то совсем другая задача

а давно его ман под гугл заточен?

Я написал, что мне нужна подробная дока с мелочами по всем пунктам поднятия kubernetes на ubuntu 16.04 на виртуалках. https://devopsmates.com/part-1-kubernetes-introduction-installation/ - пока я только эту нашел, и в свободное время попробую адаптировать или поднять на centos.

подробная дока со всеми мелочами – это: - ни разу не для новичка - для кубера ее не существует вообще ни в каком виде изучать самому и потрошить код

код там, впрочем, во-многом генерирован

Коллеги, как вы решаете вопрос записи данных от нескольких подов в rbd хранилище? У меня staging/test окружение bare metal k8s + ceph rbd, production Amazon + ebs. ReadmWriteMany не поддерживается, как быть предположим с mysql master + master подами или попросту если несколько реплик?

вам точно нужен WriteMany? это очень опасная практика кмк

ERROR: S client not available

подробная дока со всеми мелочами – это: - ни разу не для новичка - для кубера ее не существует вообще ни в каком виде изучать самому и потрошить код

Ну, так в docker/linux/lxc я не новичек. А вот в обвязке этой и что куда смотреть должно - этого понять не могу. Но все доки как раз и сводятся к тому, что ставь, молись и пляши с бубном, чтобы все завелось.

вам точно нужен WriteMany? это очень опасная практика кмк

Не уверен, поэтому и спрашиваю про best practices

а давно его ман под гугл заточен?

https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/01-prerequisites.md

Ну, так в docker/linux/lxc я не новичек. А вот в обвязке этой и что куда смотреть должно - этого понять не могу. Но все доки как раз и сводятся к тому, что ставь, молись и пляши с бубном, чтобы все завелось.

у кубера НЕТ документации. Некий минимум есть на сайте. Дальше ручками

у кубера НЕТ документации. Некий минимум есть на сайте. Дальше ручками

Ну, я уже скинул ссылку. Вроде дока вменяемая. Все в деталях. Каждый конфиг описан. Осталось только найти время и попробовать

https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/01-prerequisites.md

никакой проблемы сделать ровно то же самое на реальном железе, пропустив 1 и 3 пункты.

это не kops, который без амазона просто работать не будет никак

Не уверен, поэтому и спрашиваю про best practices

делайте отказоустойчивость средствами сервиса, а не средствами СХД

все доки за пределами кубера устаривают обычно через 2 выпуска

делайте отказоустойчивость средствами сервиса, а не средствами СХД

+1

Не уверен, поэтому и спрашиваю про best practices

никогда так не делайте. ИМХО.

все доки за пределами кубера устаривают обычно через 2 выпуска

это когда они в принципе есть :)

это когда они в принципе есть :)

а вообще, вопрос документации для такого проекта уже становится критичным

а вообще, вопрос документации для такого проекта уже становится критичным

Проект очень большой и очень всеобъемлющий. Да, хотелось бы иметь документацию уровня FreeBSD Handbook. И тому же Келси это пеняли не единожды, но там неописуемый бардак

Проект очень большой и очень всеобъемлющий. Да, хотелось бы иметь документацию уровня FreeBSD Handbook. И тому же Келси это пеняли не единожды, но там неописуемый бардак

не бордак, а опенсорс)

хочетс надеятся, когда куб окончательно передет на cri-o (что избавит его от вечных поисков багов докере) – кто-то все-таки займется документацией

никакой проблемы сделать ровно то же самое на реальном железе, пропустив 1 и 3 пункты.

Мы же не проблемы, а про заточенность. Там дальше по доке тоже полно сниппетов относящихся напрямую к google api. По нормальному можно было бы например картинку с сетями приложить, и нарисовать внутренний и внешний интерфейсы, это было бы объяснениt, а в этой доке вместо этого `curl -s -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/network-interfaces/0/ip`

ну как по мне, что ыб им начать приводить документацию в порядок, надо на какой-то момент сделать фича фриз и договориться об апи

хотя бы напистаь документацию для апи которое считается стабильным и не менять его

freebsd тоже опенсорс, а документация там – образец для подражания

freebsd тоже опенсорс, а документация там – образец для подражания

там все хорошо, что касается core систем)

хочетс надеятся, когда куб окончательно передет на cri-o (что избавит его от вечных поисков багов докере) – кто-то все-таки займется документацией

cri-containerd тоже вариант

cri-containerd тоже вариант

это и есть cri-o, точнее его следствие

идея CRI в том, чтобы отвязать куб от конкретной контейнеризации

это и есть cri-o, точнее его следствие

не совсем так

cri-o это Open Container Initiative-based implementation of Kubernetes Container Runtime Interface

полностью свой рантайм осместимый с cri

cri-containerd - соответсвенно совместимый с cri рантайм от докера)

как у него происходят апгрейды? деплой нового кластера?

Апдейты: kubectl apply (все кроме kubelet). Апдейт kubelet: pxe reboot

А self hosted вообще норм идея?

спасибо. выглядит просто, попробую.

А self hosted вообще норм идея?

Вообще норм, если etcd не селфхостить