https://pastebin.com/VAtmuJ4d

Получаю такое

https://pastebin.com/FdzZbe8c Вот конфиг файл для кубера

Пароль взял из inventory/local/credentials/kube_user.creds если что

Пароль взял из inventory/local/credentials/kube_user.creds если что

Ну 403. Значит надо из другого места взять юзера и пароль. Ну или сгенерить.

Ну 403. Значит надо из другого места взять юзера и пароль. Ну или сгенерить.

Из другого это из какого? По доке выходит что я откуда надо взял-то

А как сгенерить?

Из другого это из какого? По доке выходит что я откуда надо взял-то

Мне если честно не хочется проверять валидность доки по которой вы ставили. https://github.com/kelseyhightower/kubernetes-the-hard-way/blob/master/docs/10-configuring-kubectl.md вот я шёл по этому пути и у меня работало.

Решил проблему очень просто: скопировал inventory/local/artifacts/admin.conf на хост (kubespray сам сгенерил за меня)

Я пытаюсь два ингресс контроллера задеплоить на одной ноде в разных неймспейсах. У меня хронический конфликт портов для хелс чека. Очевидно, я что-то косячу в деплоймент.ямл В деплойменте nginx-copntroller'а все порты указываются через command line параметры, отдельно нужно пробы прописывать? Я уже много портов перепробовал (10254-10258), они все оказываются заняты. Всё, извините. На 10259-м поднялось.... :/

Всем привет, кто-нибудь использует что то из Spring Cloud в Kubernetes ?

мониторить и вешать taint на нее по результатам

Немножко гуглил и неочень понял, как повесить кастомный параметр как taint

Вроде как есть только дефолтные типа memorypressure, diskpressure

эээ, а NoSchedule не подходит?

эээ, а NoSchedule не подходит?

Так мне надо - если фс ридонли, то NoSchedule

и в чем проблемы?

и в чем проблемы?

Что написать перед :NoSchedule ? :)

Встретил странное поведение кластера, после перезагрузки нод не поднимается CNI, в качестве overlay использую flannel

А фланнел бежит на хосте или в контейнере демонсетом?

А фланнел бежит на хосте или в контейнере демонсетом?

Демонсетом

После перезагрузки из 3-х нод только на одной поднимается CNI

У меня была такая же история с калико, что другие контейнеры стартанули раньше контейнера с калико и сети ещё не было

У меня была такая же история с калико, что другие контейнеры стартанули раньше контейнера с калико и сети ещё не было

Как лечил ?

Ну и да, это race condition типичный - не всегда происходит

Можно как-то order для подов выставить ?

Уже не помню сейчас, кажется что-то в конфиге cni нужно было дописать чтобы их в первую очередь кубелет запускал

Попробуй погугли на тему race condition

Попробуй погугли на тему race condition

Ок, сейчас гляну.

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

установка from Scratch ?

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

Понять не сложно, сложно все это собрать во что-то существенное и работоспособное. Век code-as-infrastructure настал. http://jeffmendoza.github.io/kubernetes/ Вот тут все есть

привет. подскажите наиболее подходящий способ понять внутреннюю архитектуру кубера

https://www.manning.com/books/kubernetes-in-action

я опеншифт с помощью ансибла развернул , но не все понятно осталось - поэтому хочется именно разобраться с каждым компонентом

что-то слышал про "hard way" , но не помню к шифту это относилось или куберу. https://github.com/kelseyhightower/kubernetes-the-hard-way - кто-либо пробовал ?

что-то слышал про "hard way" , но не помню к шифту это относилось или куберу. https://github.com/kelseyhightower/kubernetes-the-hard-way - кто-либо пробовал ?

выглядит неплохо

А тут все сидят на калико и фланели? В aws клауде weave никто не пользует?

пользует и весьма успешно, с gossip dns даже

Никто не сталкивался с проблемой, при создании cbr0 для bridge после перезагрузки ноды, cbr0 бридж пропадает, сделать его persistent не получается, правка interdfaces и указание его в списке интерфейсов не помагает. ??? OS. UBUNTU 16.04

пользует и весьма успешно, с gossip dns даже

У меня weave постоянно сваливается в режим sleeve. Weave работает в режиме шифрования. У вас такого не наблюдается? МТУ 8 кб

ноуп, а нафига вам энкрипшн? слышал много негативных отзывов о его работе

ноуп, а нафига вам энкрипшн? слышал много негативных отзывов о его работе

Требование шифровать весь трафик, есть вариант шифровать каждое соединение, думали, обойдемся малой кровью, если зашифруем все

mtu ровно 8912?

Да

192

8192

Они рекомендуют ставить это значение на 9000 джамбо фреймах авс

ну здрасте, 9001-87 байт

считайте и ставьте правильный. скорее всего, из-за этого в слив мод и сваливается

Проверю еще раз, спасибо

Но я и так ставлю меньше, а не больше

Это все равно может быть причиной?

Еще одна деталь - там были tx drop на vxlan интерфейсе

И была теория что кернел не успевает шифровать трафик

Еще раз прошу Вашего совета по поводу cbr0 интерфейса ? все ли его создают ? и меняют параметр запуска сервиса докера на —bridge=cbr0 ??? или кто то использует дефолтный docker0 ??

Надо было сразу сказать

у вас weave в подах?

В подах

В демонсете

ну, возможно, лимиты повысить? вот не верится, что ядро не успевает

ENA еще можете попробовать, если тип инстансов поддерживает

Так мне надо - если фс ридонли, то NoSchedule

формат <причина>:<Effect>, причина может быть любая, например "debug-in-progress-see-ticket-6999:NoSchedule"

эффектов кажется 2: NoSchedule и NoExecute

ну, возможно, лимиты повысить? вот не верится, что ядро не успевает

Там интересная картина, все начинает в фастдп, все хорошо, потом начинают переходить в слив по одному два в день, это вроде бы коррелирует с всплесками сетевой нагрузки

эффектов кажется 2: NoSchedule и NoExecute

Может вы поможете с моим вопросом , если встречались с данной проблемой? заранее благодарен

Через пару недель все в сливе

ENI - была идея, но оставил это на крайний случай

@hatemosphere еще если не секрет, у вас кластер большой? Я не смог собрать кластер более 100 нод, вив сказал, что требуется доп настройка (типа рефлектора в калико)

Еще раз прошу Вашего совета по поводу cbr0 интерфейса ? все ли его создают ? и меняют параметр запуска сервиса докера на —bridge=cbr0 ??? или кто то использует дефолтный docker0 ??

У нас докер 17.12.1, calico в daemonset без flannel, никаких параметров докеру на задаем кажется, чистый дефолт из CoreOS (но там дефолт может быть заточен под куб), так что врят ли помогу

у нас много маленьких кластеров с жирными нодами, и вот ни одной из ваших проблем у нас нет)

У нас докер 17.12.1, calico в daemonset без flannel, никаких параметров докеру на задаем кажется, чистый дефолт из CoreOS (но там дефолт может быть заточен под куб), так что врят ли помогу

docker-ce=17.03.2 По оф рекомендации.

но weave encryption пробовали для соединения нод в разных регионах и оно лагало дико

docker-ce=17.03.2 По оф рекомендации.

Использую flanned daemnset без calico

для энкрипшна из коробки лучше какой-нибудь сервис меш юзать и по TLS гонять трафик

но weave encryption пробовали для соединения нод в разных регионах и оно лагало дико

У нам в одном регионе, 3 зоны, работает ок, но в сливе :( т.е вив жрет кучу цпу и ограничен по сети

Да, я тоже склоняюсь к мысли с тлс

Даже без меша пока может

ну тогда же в каждый под придется проксю совать как сайдкар? (если не хотите в код пихать)

У нас можно проще включить тлс, каждый сервис конфигурится в принципе, в коде это уже есть так или иначе

На будущее - меш

Меш в принципе тот же сайдкар