Микросервисы так-то используют данные и генерируют данные. Стало быть их и хранить где-то надо. Костыль - это когда hostPath для хранения выбирают. А запросить с помощью pvc хранилище, которому провайдер гарантирует 99% доступности и столько же сохранности, по-моему куда мудрее. Тут остоется только фактор криворукости, который лечится rbac и iam. От вашей собственной (я конечно не о вас конкретно) криворукости это не избавляет, но решение этого вопроса не ложится на компоненты кубера и облака

> ваш провайдер Только разговор начался с вопроса о поднятии сабжа баре-метал

> ваш провайдер Только разговор начался с вопроса о поднятии сабжа баре-метал

Пусть. Все-равно велосипеды строить не надо. Достаточно уже решений по бекапу хранилищ

Везеде в документации по etcd есть раздел по дефрагментации, но при запуске etcdctl такой опции как defrag или compare нет, может что-то не то делаю, версия 3.3.1

Нужно указывать ETCDCTL_API=3 etcdctl blablabla

Нужно указывать ETCDCTL_API=3 etcdctl blablabla

Я когда указываю у меня перестают работать все env для etcd, например etcdctl_endpoint

У меня интересный вопрос. При любой проблеме с ФС coreos переводит ее в режим readonly. Куб видит при этом ноду как здоровую и пытается на ней поднимать поды, которые понятно не встают. Всякая другая ересь тоже происходит. Вопрос - как сделать так, чтобы при "Read-only filesystem" куб воспринимал ноду как нездоровую?

Нужно указывать ETCDCTL_API=3 etcdctl blablabla

Спасибо, у меня через конфиг сделано, отработало как надо

У меня интересный вопрос. При любой проблеме с ФС coreos переводит ее в режим readonly. Куб видит при этом ноду как здоровую и пытается на ней поднимать поды, которые понятно не встают. Всякая другая ересь тоже происходит. Вопрос - как сделать так, чтобы при "Read-only filesystem" куб воспринимал ноду как нездоровую?

мониторить и вешать taint на нее по результатам

Пусть. Все-равно велосипеды строить не надо. Достаточно уже решений по бекапу хранилищ

Примеры.

Ребят, есть способ перевести CLI команду kubectl в yaml? Например указание лейбла на ноды, и т.п. Во многих туториалах это просто cli команда.

Ребят, есть способ перевести CLI команду kubectl в yaml? Например указание лейбла на ноды, и т.п. Во многих туториалах это просто cli команда.

$ kubectl get svc kubia -o yaml apiVersion: v1 kind: Service metadata: creationTimestamp: 2018-03-11T23:12:58Z name: kubia namespace: default resourceVersion: "5427564" selfLink: /api/v1/namespaces/default/services/kubia uid: bcf1eae6-2581-11e8-82bb-de2b50072002 spec: clusterIP: 10.254.139.102 externalTrafficPolicy: Cluster ports: - nodePort: 32521 port: 80 protocol: TCP targetPort: 8080 selector: app: kubia sessionAffinity: None type: NodePort status: loadBalancer: {}

Спасибо

кто replicas: 2 выставил хрычу ?

кто replicas: 2 выставил хрычу ?

их пять вообще то уже

их пять вообще то уже

Так говоришь, как будто проблема забанить всех.

их пять вообще то уже

Welcome, Mr. Smith

?какие сегодня все злые

Только что развернул bare metal кластер на одной ноде. С самой ноды все замечательно Пытаюсь приконнектится со своей машины Читаю тут https://github.com/kubernetes-incubator/kubespray/blob/master/docs/getting-started.md#connecting-to-kubernetes "Kubespray permits connecting to the cluster remotely on any IP of any kube-master host on port 6443 by default. However, this requires authentication. One could generate a kubeconfig based on one installed kube-master hosts (needs improvement) or connect with a username and password. By default, a user with admin rights is created, named kube. The password can be viewed after deployment by looking at the file PATH_TO_KUBESPRAY/credentials/kube_user.creds. This contains a randomly generated password. If you wish to set your own password, just precreate/modify this file yourself." Создал config.yaml по гайду https://kubernetes.io/docs/tasks/access-application-cluster/configure-access-multiple-clusters/, прописал туда хост, юзернейм и пароль

https://pastebin.com/VAtmuJ4d

Получаю такое

https://pastebin.com/FdzZbe8c Вот конфиг файл для кубера

Пароль взял из inventory/local/credentials/kube_user.creds если что

Пароль взял из inventory/local/credentials/kube_user.creds если что

Ну 403. Значит надо из другого места взять юзера и пароль. Ну или сгенерить.

Ну 403. Значит надо из другого места взять юзера и пароль. Ну или сгенерить.

Из другого это из какого? По доке выходит что я откуда надо взял-то

А как сгенерить?

Из другого это из какого? По доке выходит что я откуда надо взял-то

Мне если честно не хочется проверять валидность доки по которой вы ставили. https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/10-configuring-kubectl.md вот я шёл по этому пути и у меня работало.

Решил проблему очень просто: скопировал inventory/local/artifacts/admin.conf на хост (kubespray сам сгенерил за меня)

Я пытаюсь два ингресс контроллера задеплоить на одной ноде в разных неймспейсах. У меня хронический конфликт портов для хелс чека. Очевидно, я что-то косячу в деплоймент.ямл В деплойменте nginx-copntroller'а все порты указываются через command line параметры, отдельно нужно пробы прописывать? Я уже много портов перепробовал (10254-10258), они все оказываются заняты. Всё, извините. На 10259-м поднялось.... :/

Всем привет, кто-нибудь использует что то из Spring Cloud в Kubernetes ?

мониторить и вешать taint на нее по результатам

Немножко гуглил и неочень понял, как повесить кастомный параметр как taint

Вроде как есть только дефолтные типа memorypressure, diskpressure

эээ, а NoSchedule не подходит?

эээ, а NoSchedule не подходит?

Так мне надо - если фс ридонли, то NoSchedule

и в чем проблемы?

и в чем проблемы?

Что написать перед :NoSchedule ? :)

Встретил странное поведение кластера, после перезагрузки нод не поднимается CNI, в качестве overlay использую flannel

А фланнел бежит на хосте или в контейнере демонсетом?

А фланнел бежит на хосте или в контейнере демонсетом?

Демонсетом

После перезагрузки из 3-х нод только на одной поднимается CNI

У меня была такая же история с калико, что другие контейнеры стартанули раньше контейнера с калико и сети ещё не было

У меня была такая же история с калико, что другие контейнеры стартанули раньше контейнера с калико и сети ещё не было

Как лечил ?

Ну и да, это race condition типичный - не всегда происходит

Можно как-то order для подов выставить ?

Уже не помню сейчас, кажется что-то в конфиге cni нужно было дописать чтобы их в первую очередь кубелет запускал

Попробуй погугли на тему race condition

Попробуй погугли на тему race condition

Ок, сейчас гляну.

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

установка from Scratch ?

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

Понять не сложно, сложно все это собрать во что-то существенное и работоспособное. Век code-as-infrastructure настал. http://jeffmendoza.github.io/kubernetes/ Вот тут все есть

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

https://www.manning.com/books/kubernetes-in-action

я опеншифт с помощью ансибла развернул , но не все понятно осталось - поэтому хочется именно разобраться с каждым компонентом

что-то слышал про "hard way" , но не помню к шифту это относилось или куберу. https://github.com/kelseyhightower/kubernetes-the-hard-way - кто-либо пробовал ?

что-то слышал про "hard way" , но не помню к шифту это относилось или куберу. https://github.com/kelseyhightower/kubernetes-the-hard-way - кто-либо пробовал ?

выглядит неплохо

А тут все сидят на калико и фланели? В aws клауде weave никто не пользует?

пользует и весьма успешно, с gossip dns даже

Никто не сталкивался с проблемой, при создании cbr0 для bridge после перезагрузки ноды, cbr0 бридж пропадает, сделать его persistent не получается, правка interdfaces и указание его в списке интерфейсов не помагает. ??? OS. UBUNTU 16.04

пользует и весьма успешно, с gossip dns даже

У меня weave постоянно сваливается в режим sleeve. Weave работает в режиме шифрования. У вас такого не наблюдается? МТУ 8 кб

ноуп, а нафига вам энкрипшн? слышал много негативных отзывов о его работе

ноуп, а нафига вам энкрипшн? слышал много негативных отзывов о его работе

Требование шифровать весь трафик, есть вариант шифровать каждое соединение, думали, обойдемся малой кровью, если зашифруем все

mtu ровно 8912?

Да

192

8192

Они рекомендуют ставить это значение на 9000 джамбо фреймах авс

ну здрасте, 9001-87 байт

считайте и ставьте правильный. скорее всего, из-за этого в слив мод и сваливается

Проверю еще раз, спасибо

Но я и так ставлю меньше, а не больше

Это все равно может быть причиной?

Еще одна деталь - там были tx drop на vxlan интерфейсе

И была теория что кернел не успевает шифровать трафик

Еще раз прошу Вашего совета по поводу cbr0 интерфейса ? все ли его создают ? и меняют параметр запуска сервиса докера на —bridge=cbr0 ??? или кто то использует дефолтный docker0 ??

Надо было сразу сказать

у вас weave в подах?

В подах

В демонсете

ну, возможно, лимиты повысить? вот не верится, что ядро не успевает

ENA еще можете попробовать, если тип инстансов поддерживает

Так мне надо - если фс ридонли, то NoSchedule

формат <причина>:<Effect>, причина может быть любая, например "debug-in-progress-see-ticket-6999:NoSchedule"

эффектов кажется 2: NoSchedule и NoExecute

ну, возможно, лимиты повысить? вот не верится, что ядро не успевает

Там интересная картина, все начинает в фастдп, все хорошо, потом начинают переходить в слив по одному два в день, это вроде бы коррелирует с всплесками сетевой нагрузки

эффектов кажется 2: NoSchedule и NoExecute

Может вы поможете с моим вопросом , если встречались с данной проблемой? заранее благодарен