у апи сервера есть ключик —authirization=rbac удали его

можно ли указать его при kubeadm init?

а вот не знаю) я этой тулзой не пользуюсь

спасибо, попробую без RBAC)

Есть такая опция hostNetwork: true. Как-то можно указать сетевой интерфейс, через который будет ходить трафик?

он же сделает по сути тоже самое что и docker run -net host. тоесть процесс будет на хостовой сетевой порты открывать

он же сделает по сути тоже самое что и docker run -net host. тоесть процесс будет на хостовой сетевой порты открывать

Да. Но у меня их две. Я хочу выбрать нужную сетевую.

я думаю на этом уровне докеру пофиг уже

в приложении может это можно сделать или в entrypoint, но хз как вы будете обрабатывать ситуацию когда под переедет на другой хост, где нужных сетевух не будет.

в приложении может это можно сделать или в entrypoint, но хз как вы будете обрабатывать ситуацию когда под переедет на другой хост, где нужных сетевух не будет.

По условию задачи на сервере в любом случае присутствует вторая сетевая карта. На самом деле это только мизерная часть проблемы. По сути, я пытаюсь решить другую. В последнем релизе kubespray, они, вместо запуска calico, как докер-контейнера вне кластера, сделали Daemonset. Раньше я назначал каждому контейнеру IP и они через него ходили. А теперь в демонсете нет возможности указать разные айпи. Он пытается переменную окружения применить ко всем подам. Ну и они все (кроме одного - первого) падают с ошибкой, что такой ip уже назначен. Ума не приложу, что делать.

я только на днях первый кластер с kubespray задеплоил и не знаю как раньше было. и вижу что вообще нифига не знаю как calico устроен и как ноды взаимодействуют между собой. поэтому я вообще не понимаю о котором ip речь идет

Есть такая опция hostNetwork: true. Как-то можно указать сетевой интерфейс, через который будет ходить трафик?

внутрь: зависи от того,на какой IP забиндите. наружу: гуглить iproute2 policy routing

внутрь: зависи от того,на какой IP забиндите. наружу: гуглить iproute2 policy routing

Вот это и интересно: как забиндить?

По условию задачи на сервере в любом случае присутствует вторая сетевая карта. На самом деле это только мизерная часть проблемы. По сути, я пытаюсь решить другую. В последнем релизе kubespray, они, вместо запуска calico, как докер-контейнера вне кластера, сделали Daemonset. Раньше я назначал каждому контейнеру IP и они через него ходили. А теперь в демонсете нет возможности указать разные айпи. Он пытается переменную окружения применить ко всем подам. Ну и они все (кроме одного - первого) падают с ошибкой, что такой ip уже назначен. Ума не приложу, что делать.

ip присваивается flannel, если он есть

это от прлиожения зависит, в общем и целом man 2 bind

Я хочу сеть пустить по внутренней сети через свитч. Оно сейчас у меня в проде так и работает.

Я хочу сеть пустить по внутренней сети через свитч. Оно сейчас у меня в проде так и работает.

Ты хочешь сеть подов вывалить в vlan без оверлея?

Подскажите пожалуйста, кто хорошо разбирается с limits/requests (Resource Quotas) на пальцах, чем limits от requests отличается?

Ты хочешь сеть подов вывалить в vlan без оверлея?

Нет. Я хочу оверлей по vlan пустить.

Там даже не vlan, а физическая сеть между серверами.

Подскажите пожалуйста, кто хорошо разбирается с limits/requests (Resource Quotas) на пальцах, чем limits от requests отличается?

Реквест - зарезервирует на сервере. Лимит - лимит)

Подскажите пожалуйста, кто хорошо разбирается с limits/requests (Resource Quotas) на пальцах, чем limits от requests отличается?

Реквест - минимальные рескрсы, которые шелдулер ищет на ноде для запуска пода. Лимит это максимальные ресурсы доступные поду.

те если не будет места (по реквестам) на сервере, он выкинет ошибку? или он все таки по лимитам выкинет ошибку? не совсем ясен этот момент, несколько раз упирались в ошибку (insufficient cpu), но из доки не совсем ясно, это из-за лимитов или все таки реквестов ?

если ресурсов будет недостаточно на всех нодах, то под будет висеть в ожидании ресурсов

это может быть видно по kubectl describe

FYI https://groups.google.com/forum/#!topic/kubernetes-dev/QWIzhD3JhhE

В продолжение темы про requests и limits получается, что requests это чисто логическая вещь и не на что не влияет?

В продолжение темы про requests и limits получается, что requests это чисто логическая вещь и не на что не влияет?

Простой пример. Есть одна нода с одним процессором. Все поды запущены на ней. соответственно, вы не сможете запустить больше чем у вас есть CPU. Конечно можно выделять по 1% и запустить 100 подов, но нужно учесть, что есть ещё запущеные поды системные. У меня в google cloud выходило на базовой конфигурации с 1 процессором ~60% CPU занято под системные поды. посмотреть текущее распределение на ноде можно kubectl describe node-1 В конце есть очень наглядное представление о том сколько какой под запросил и какой лимит. И общее состояние по ноде.

Спасибо за комментарий. Где посмотреть и как установить это все понятно. Переформулирую вопрос, зачем указывать requests?

Спасибо за комментарий. Где посмотреть и как установить это все понятно. Переформулирую вопрос, зачем указывать requests?

на тот случай, если вы хотите гарантировать минимум ресурсов для своего контейнера (контейнер критичный). Если минимум не гарантировать - kubelet будет контейнеры в ноду трамбовать, пока обратно не полезет

на тот случай, если вы хотите гарантировать минимум ресурсов для своего контейнера (контейнер критичный). Если минимум не гарантировать - kubelet будет контейнеры в ноду трамбовать, пока обратно не полезет

Т.е. если у меня нода с 10 CPU, я могу туда запихать 100 подов с лимитами в 10CPU каждый и кубер ни чего не скажет?

лимитами - нет. а вот ресурсами - не влезет

лимиты на 10 ЦПУ означают, что более 10 ЦПУ контейнеры гарантированно не получат

Т.е. получается лимит ограничивает только под, а реквест ограничает под внутри ноды?

нет

лимит ограничивает под сверху

а реквест гарантирует ресурсы снизу

Да, но при этом при лимит может быть оверселинг, а при реквесте нет. И когда добавляется под на ноду, реквест ресурсов по каким параметрам проиходит, по реквестам? лимитам?

а еще это необходимо, чтобы настроить горизонтальное масшабирование)

Да, но при этом при лимит может быть оверселинг, а при реквесте нет. И когда добавляется под на ноду, реквест ресурсов по каким параметрам проиходит, по реквестам? лимитам?

по реквестам. Оверскейл возможен.

https://coreos.com/blog/kubernetes-1.8-announcement по-моему - восхитительно

Да, но при этом при лимит может быть оверселинг, а при реквесте нет. И когда добавляется под на ноду, реквест ресурсов по каким параметрам проиходит, по реквестам? лимитам?

реквесты учитываются только при шедулинге: то есть в момент выбора на какую ноду запихать под - больше они никак не влияют на поды лимиты, наоборот, никак не влияют на то на какую ноду положить под, но учитываются в том случае когда на ноде заканчивается память и кубер выбирает кого казнить чтоб освободить место (ну плюс основная своя задача - лимитирование внутри контейнера)

по памяти лучше всего делать request=limit чтобы не возникало ситуаций "кубер думает что места полно и шедулит под на эту ноду, а по факту там oom-killer лютует уже вовсю" по процессору в принципе некритично, максимум что будет это сервисы будут тормозить что можно обнаружить кучей инструментов если сделать requests=limits (для cpu и mem) то под получает более приоритетный статус и в случае переполнения памяти его казнят последним по сравнению с другими плебеями, но в 1.8 это делать необязательно так как там добавили отдельную рукоятку для выставления приоритетов

еще упомяну что, естественно, лимиты ставятся на контейнер и суммируются для всего пода, и на этом закончу краткое изложение официальной доки кубернетеса ?

а, еще из того что в доке нет: все контейнеры написаны на разных языках и разными людьми, и очень мало из них умеют ограничивать себя выделеной памятью (из-за докеровской архитектуры стандартными средствами в контейнере видна общая память а не та которая выделена докеру) так что, кроме выставления лимитов, надо обязательно искать пимпочку для сервиса которая ограничивает жор памяти например, для монгодб есдинственный вариант - подкрутить кеш wiredtiger в конфиге, для приложений написаных на java обязательно задание мемори хипа через флаги и тп а раббитэмкью например корректно сам определеяет и ему норм в общем, если этого не сделать то рано или поздно приложуха превысит mem limits и сам же докер ее пристрелит

https://habrahabr.ru/company/flant/blog/339120/

а, еще из того что в доке нет: все контейнеры написаны на разных языках и разными людьми, и очень мало из них умеют ограничивать себя выделеной памятью (из-за докеровской архитектуры стандартными средствами в контейнере видна общая память а не та которая выделена докеру) так что, кроме выставления лимитов, надо обязательно искать пимпочку для сервиса которая ограничивает жор памяти например, для монгодб есдинственный вариант - подкрутить кеш wiredtiger в конфиге, для приложений написаных на java обязательно задание мемори хипа через флаги и тп а раббитэмкью например корректно сам определеяет и ему норм в общем, если этого не сделать то рано или поздно приложуха превысит mem limits и сам же докер ее пристрелит

Широко, спасибо!)

А он разве не на кубере? Пойму он с самого начала на кубере.

А он разве не на кубере? Пойму он с самого начала на кубере.

Не, он поддерживает деплой кубера как отдельное окружение, но все общение с ним только напрямую через кубер, минуя ранчер.

Ну это всё равно что сказать что ОпенШифт теперь на кубере.....

как и swarm, он может его задеплоить, но управлялка перенаправляет на portainer

а в 2.0 будет кошерно, все контейнеры будут запускаться прямо в кубере

другими словами, вы получите отличный гуй для управления кластером и запущенными контейнерами, с лдапом и деплоем приложений из репо прямо в кубер всего за пару кликов

это должно быть будет бомба

А кто-нибудь уже попробовал IPVS из 1.8? https://github.com/kubernetes/kubernetes/tree/master/pkg/proxy/ipvs

оно требует внешний балансировщик?

не совсем понимаю как он в кубере работает

Всем привет! Помогите пожалуйста понять))) я не могу достучаться до сервиса, (работающего на одной ноде) с другой ноды. как в теории это должно происходить? на физических нодах есть интерфейсы докера (172.17.0.1) и фланэла (10.4.х.х) а сетки 10.3.х.х (которая используется для сервисов) на физической ноде не светится и весь траффик идёт на шлюз по умолчанию (и естественно уходит вникуда)

у сервиса, соответственно, айпишник из подсетики 10.3.х.х

https://www.google.ru/search?newwindow=1&source=hp&q=kubernetes+network+plugin&oq=kubernetes+netw&gs_l=psy-ab.3.1.0i203k1l2j0l8.1000.5600.0.7700.11.10.0.0.0.0.200.1200.0j6j3.9.0....0...1.1.64.psy-ab..2.9.1100.0..46j35i39k1j0i46k1.0.ZLRtAFgumkA

какой ip у контейнера?

дай kubectl get po

https://www.google.ru/search?newwindow=1&source=hp&q=kubernetes+network+plugin&oq=kubernetes+netw&gs_l=psy-ab.3.1.0i203k1l2j0l8.1000.5600.0.7700.11.10.0.0.0.0.200.1200.0j6j3.9.0....0...1.1.64.psy-ab..2.9.1100.0..46j35i39k1j0i46k1.0.ZLRtAFgumkA

ПОдрабатываешь релкомй в гугле? Бросай это он не фига не платит....

дай kubectl get po

pxe webdev$ kubectl -n intranet get po NAME READY STATUS RESTARTS AGE intranet-2163743981-3bm8p 1/1 Running 0 2h pxe webdev$ kubectl -n intranet get svc NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE intranet-svc 10.3.133.127 <nodes> 80:7180/TCP,443:7143/TCP 2h

мм

kubectl get po -o wide

kubectl get po -o wide

pxe webdev$ kubectl -n intranet get po -o wide NAME READY STATUS RESTARTS AGE IP NODE intranet-2163743981-3bm8p 1/1 Running 0 2h 10.4.31.7 10.1.29.11

ПОдрабатываешь релкомй в гугле? Бросай это он не фига не платит....

мне в удовольствие, спасибо. но обязательно посоветуюсь в след.раз

на физических нодах есть интерфейсы докера (172.17.0.1) и фланэла (10.4.х.х) Исходя из этого у тебя не правильно настроен overlay сеть

на физических нодах есть интерфейсы докера (172.17.0.1) и фланэла (10.4.х.х) Исходя из этого у тебя не правильно настроен overlay сеть

не понял)) можно подробнее))

при првельно настройке docker0 должен иметь адресс 10.4.х.1

поробуй остановить докер

удалить docker0 интерфейс

(удали все контейнеры)

и только потом запустить его, что бы ядро пересоздало интерфейс

мне в удовольствие, спасибо. но обязательно посоветуюсь в след.раз

Твой ответ не в тему, там cni плагин правильно настроен, а по твоему запросу нет ни слова о хитростях работы ядра с виртуальным интрфейсами и стеями внутри докера

не понял)) можно подробнее))

По холрошем нужно остановить kubelet, удалить контейнеры и сети докера, остановить докер, удалить eth, после запустить докер и кублет

интерфейс удаляется ip link delete <>

изначально было не очевидно что у человека cni настроен. я вообще не спец совсем чтобы давать советы

я больше скажу))) я сам не знаю, настроен ли у меня cni ))))

а вот сейчас и узнаем.

переконфигурируй docker0

я больше скажу))) я сам не знаю, настроен ли у меня cni ))))

Где-то ты ошибся, ибо не работает

у меня при заливке нод на них (по крайней мере на мастере) заливаются файлы /etc/kubernetes/cni/docker_opts_cni.env /etc/kubernetes/cni/net.d/10-flannel.conf далее в клауд-конфиге короса есть секция - name: 40-flannel.conf content: | [Unit] Requires=flanneld.service After=flanneld.service [Service] EnvironmentFile=/etc/kubernetes/cni/docker_opts_cni.env далее в секции кублета есть ключ —network-plugin=cni

ну это ладно... по 10.4 сетку я поковыряю...

а как вообще должно быть? сетка 10.3 должна присутствовать на ноде? (на физ интерфейсе)

т.е. сетка с сервисами (может у кого она с другими адресами)

при првельно настройке docker0 должен иметь адресс 10.4.х.1

У меня docker0 имеет адрес 172.17, а интерфейс оверлейной 10.233

хм...

видимо ч совсем иначе делал сеть(

тогда надо смотреть firewall

У меня docker0 имеет адрес 172.17, а интерфейс оверлейной 10.233

а что значит оверленая сеть? это какая?

Это слой сети, в которой поды меж собой взаимодействуют. Она объединяет докеровские сети на нодах.

Грубо говоря.

а, понял... это, собственно, pod_network)) в настройках задаётся две подсетки при поднятии кластера: service_network и pod_network вот у меня первая сетка это 10.3.х.х а вторая 10.4.х.х

У меня docker0 имеет адрес 172.17, а интерфейс оверлейной 10.233

а из сетки сервисов у тебя есть интерфейс на физической ноде?