сколько у тебя мастер нод?

две

у меня функции мастер нод и вычислительных совмещены

чтото видимо не правильно настроил

я указал secure-port=0

чтото видимо не правильно настроил

вот и хотелось бы разобраться, изучил (наверное плохо изучал) на оффсайте, но что-то все-равно не так

надо смотреть с какими опциями запустил компоненты, так тяжело понять, зачем тебе вообще сейчас HA? обойдись без него пока

почему kubernetes в качестве endpoint'а использует HTTPS, я не думал пока его использовать. Или это обязательная часть настройки?

Необязательная, API server стартует и на https и на http просто по дефолту http вешается на 127.0.0.1, переназначь его на 0.0.0.0 и будет работать, почитай флаги запуска сервисов

Необязательная, API server стартует и на https и на http просто по дефолту http вешается на 127.0.0.1, переназначь его на 0.0.0.0 и будет работать, почитай флаги запуска сервисов

1) сокеты apiserver слушаются на 0.0.0.0:8080 и 0.0.0.0:6443 2) компоненты kubernetes цепляются на apiserver на порт 8080 по http через параметр —master (не могу перевести на https, так как не вижу параметры в которых можно было бы использовать https у всё тех же самых компонент) 3) сами apiserver'а обращаются к самим себе на localhost на https порт 6443 (проверено, экспериментировал с сертификатами, в которых пришлось прописать alternaivemane = localhost, чтобы исчезли сообщения об ошибках при подключении к самим себе на localhost!!!!!!!!!) 4) в конце концов постоянно вылетает сообщение "Resetting endpoints for master service "kubernetes" to &TypeMeta{Kind:,APIVersion:,}", видимо это и есть конень моих проблем

надо делать по хауту

там можно и без https

но лучше с ним конечно

за https отвечают флаги запуска сервисов их много

должен быть сертификат и мгенеренный secret

- --tls-cert-file=/etc/kubernetes/ssl/apiserver.pem - --tls-private-key-file=/etc/kubernetes/ssl/apiserver-key.pem - --client-ca-file=/etc/kubernetes/ssl/ca.pem - --service-account-key-file=/etc/kubernetes/ssl/apiserver-key.pem

вот такого рода флаги

если не нужен https api server надо запускать с "--insecure-bind-address=0.0.0.0"

а шедулер и контроллер с --master=http://127.0.0.1:8080

но это зависит от версии кубернетеса и как ты его запускал)

без https возможно будут проблемы с запуском дашборда всякого и dns. fabric8 тоже не запустится из коробки. вроде решаемо все, не помню уже точно

вот я прям щас поднял без https

1.3

secret не сгенерился

лучше ввести ещё 4 команды и серты все же сгенерить.

Сорри за оффтоп, но с праздником, мужчики :) Крепких кластеров и устойчивых сетей)

спасибо!

Сорри за оффтоп, но с праздником, мужчики :) Крепких кластеров и устойчивых сетей)

спасибо

надо делать по хауту

я вот до сих пор не могу нормальный хауту найти, вот нашел лишь вот этот вменяемый документ, но он для coreos: https://www.upcloud.com/support/deploy-kubernetes-coreos/

должен быть сертификат и мгенеренный secret

Артём, а чем генерировать secret?

1) сокеты apiserver слушаются на 0.0.0.0:8080 и 0.0.0.0:6443 2) компоненты kubernetes цепляются на apiserver на порт 8080 по http через параметр —master (не могу перевести на https, так как не вижу параметры в которых можно было бы использовать https у всё тех же самых компонент) 3) сами apiserver'а обращаются к самим себе на localhost на https порт 6443 (проверено, экспериментировал с сертификатами, в которых пришлось прописать alternaivemane = localhost, чтобы исчезли сообщения об ошибках при подключении к самим себе на localhost!!!!!!!!!) 4) в конце концов постоянно вылетает сообщение "Resetting endpoints for master service "kubernetes" to &TypeMeta{Kind:,APIVersion:,}", видимо это и есть конень моих проблем

по 4-му пункту сообщение перестало выводиться на api-серверах как только указал в параметрах их запуска параметр —apiserver-count=2, где 2 - количество api-серверов в кластере!!!

он вроде сам генерит все если серты подложить

я с телефона могу ошибиться

но там создаётся service account

kubectl get secret отрабатывает

https://kubernetes.io/docs/getting-started-guides/ubuntu/

тут правда богомерзкий жужу

но чармы читаются

в целом процесс описан можно повторить

а были ещё нормальные хауту

с командами из консоли

он вроде сам генерит все если серты подложить

С secret все понятно. Начал настраивать HTTPS и столкнулся с проблемой при обращении controller-manager'ов к apiserver'ам: - на стороне apiserver выдается сообщение kube-apiserver[3657]: I0223 19:22:07.357473 3657 logs.go:41] http: TLS handshake error from .....: connection reset by peer - а на стороне controller-manager выдается сообщение error retrieving resource lock kube-system/kube-controller-manager: Get https://kube-master.infra.local:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: x509: certificate signed by unknown authority Сертификаты на обоих сторонах одинаковые: - на стороне apiserver используются параметры —service-account-key-file и —tls-ca-file - на стороне controller-manager используются параметры —service-account-private-key-file и —root-ca-file Они вроде должны общаться друг с другом, но... Что может быть не так? Чего еще добавить?

При обращении curl'ом и по ip-адресу и имени ошибок с https не возникает, результат запросов выдается всегда Unauthorized

https://github.com/kubernetes/kubernetes/issues/14097

где то тут ответ)

Если scheduler'а и controller-manager'а несколько, можно надеятся что при вылете одного из них кластер будет функционировать?

Короче, как я понял, проблем полно с HTTP и не во всех компонентах он нормально поддерживается. Пример тому kube-proxy!

Незавидную тем кто зачем то ставим кластер сам))

Игра в сам себе админ

Игра в получение профильной квалификации, как по мне

Незавидную тем кто зачем то ставим кластер сам))

С удовольствием выслушаю альтернативы. Без Amazon ec2 и kubeadm. Вообще- автоматизация- это прекрасно, но было бы нелишним понимать, что именно автомат творит. Иначе есть риск напороться на ошибку, лечение которой превратится в магическую процедуру.

GCP - GKE

Мы используем его

Autoscale кластера есть

Обновление k8s в бета режиме есть

GCP - GKE

Я правильно понимаю, что все, кто не использует gce/aws- недостойны?

не коните гоней

всё в доках есть, надо сесть и прочесть

альтернатив то нет

Короче, как я понял, проблем полно с HTTP и не во всех компонентах он нормально поддерживается. Пример тому kube-proxy!

Вообще идея использовать http в небезопасных окружениях (а они по умолчанию небезопасны, если явно не доказано иное) - не кажется мне здравой

https везде нормальная практика

можно своих нагенерить

можно за 30 уе купить

Вообще идея использовать http в небезопасных окружениях (а они по умолчанию небезопасны, если явно не доказано иное) - не кажется мне здравой

++, да и общая тенденция движется к тому, что по умолчанию все потоки данных должны быть обернуты в tls.

++, да и общая тенденция движется к тому, что по умолчанию все потоки данных должны быть обернуты в tls.

Гугл вот верил в защищенность своих линий между своими цодами. Все помнят, чем кончилось? :)

тотальным IPSec'ом, чем. ну или функционально аналогичным решением.

mitm рядом, даже если кажется, что и нет.

просто в нынешней реальности гораздо проще сделать секурно, чем это все выпиливать героически, а потом ничего не работает

Гугл вот верил в защищенность своих линий между своими цодами. Все помнят, чем кончилось? :)

неа, я пропустил

неа, я пропустил

Кончилось MitM от NSA. Которое потом засветил Сноуден. АНБ качали данные как пожарный насос, вообще не затыкаясь.

тотальным IPSec'ом, чем. ну или функционально аналогичным решением.

Вы явно никогда не отлаживали IPSec туннель и не представляете, насколько сложная и капризная это технология. Я уж не говорю о том, что туннель предполагает частичный контроль над сетевой инфраструктурой. Список проблем в таком решении могу продолжать ещё долго.

о нет, сейчас начнутся сетевые войны, а я еще с прошлого раза ничего не прочитал по теме!

Вы явно никогда не отлаживали IPSec туннель и не представляете, насколько сложная и капризная это технология. Я уж не говорю о том, что туннель предполагает частичный контроль над сетевой инфраструктурой. Список проблем в таком решении могу продолжать ещё долго.

IPSec не обязательно требует туннелирования и несколько непрост в первичной настройке, но вообще не рокет-саенс, даже в случае тысяч нод. я сказал "функционально аналогичное решение" в том плане, что между отдельными машинами нет (или почти нет, потому что есть edge-кейсы вроде DHCP) хождения нешифрованного трафика

IPSec не обязательно требует туннелирования и несколько непрост в первичной настройке, но вообще не рокет-саенс, даже в случае тысяч нод. я сказал "функционально аналогичное решение" в том плане, что между отдельными машинами нет (или почти нет, потому что есть edge-кейсы вроде DHCP) хождения нешифрованного трафика

Ipsec вообще-то относительно простой

Ipsec вообще-то относительно простой

я об этом и говорю.

Вы явно никогда не отлаживали IPSec туннель и не представляете, насколько сложная и капризная это технология. Я уж не говорю о том, что туннель предполагает частичный контроль над сетевой инфраструктурой. Список проблем в таком решении могу продолжать ещё долго.

А что там капризного?

Там же все предельно просто: взаимная аутентификация, потоковый шифр, рекеинг

Там же все предельно просто: взаимная аутентификация, потоковый шифр, рекеинг

Даже спорить не буду- охота стрелять себе в ногу - вперёд. Желательно за свои деньги.

IPSec не обязательно требует туннелирования и несколько непрост в первичной настройке, но вообще не рокет-саенс, даже в случае тысяч нод. я сказал "функционально аналогичное решение" в том плане, что между отдельными машинами нет (или почти нет, потому что есть edge-кейсы вроде DHCP) хождения нешифрованного трафика

IPSec-mesh с соединением по требованию и инфраструктурой отзыва ключей несложен?

Даже спорить не буду- охота стрелять себе в ногу - вперёд. Желательно за свои деньги.

Ну мы стреляли. В чем сложность? Тот же stronswan смотрел?

RacoonD, strongswan, openswan, cisco vpnc, cisco anyconnect, shrew, ms ike client, nortel secure (кажется так назывался) - смотрел. Плюс железки. Нет там ничего простого. Если часть сложностей strongswan от вас скрыл - это не значит, что настраивать было просто. Это значит магию. А это плохо. Это означает неконтролируемую инфраструктуру. То есть - не понятую инфраструктуру.