хм, то есть правильно ли я понимаю, что я могу повесить внешний IP на любой minion, и он будет маршрутизировать трафик на pod, даже если pod запущен на другом minion?

Да. ТАм пишется DNAT правило по порту.

3. ВОт этого не понял

ingress - это как в docker swarm, правильно? экспозишь порт, и он доступен на любой ноде?

ммм. с Роем дело не имел) Но кажесь не так.

Ingress это правило для ingress-controller (которым в данный момент выступает либо GCE либо nginx-proxy)

вроде как пилят HAproxy

а, точно, я что-то такое читал :)

Да. ТАм пишется DNAT правило по порту.

хм, а вот это интересно уже, спасибо. Теперь вопрос в следующем, как можно вешать IP на ноду и "переезжать" его на другую, это вообще возможно сделать средствами kubernetes?

что-то типа https://github.com/kubernetes/contrib/tree/master/keepalived-vip только проще

Вот пример NodePort

KUBE-MARK-MASQ tcp — 0.0.0.0/0 0.0.0.0/0 /* kube-system/grafana: */ tcp dpt:30300 KUBE-SVC-3QDDWNGGGXWDZXKH tcp — 0.0.0.0/0 0.0.0.0/0 /* kube-system/grafana: */ tcp dpt:30300

грубо говоря, я бы хотел просто создать такой сервис как ip-адрес (много сервисов) и если одна нода падает, kubernetes перезапустил бы его на другой ноде

[root@222720-2 ~]# iptables -t nat -L KUBE-SVC-3QDDWNGGGXWDZXKH -n Chain KUBE-SVC-3QDDWNGGGXWDZXKH (2 references) target prot opt source destination KUBE-SEP-BXYSBSOKGBRCZUIW all — 0.0.0.0/0 0.0.0.0/0 /* kube-system/grafana: */

[root@222720-2 ~]# iptables -t nat -L KUBE-SEP-BXYSBSOKGBRCZUIW -n Chain KUBE-SEP-BXYSBSOKGBRCZUIW (1 references) target prot opt source destination KUBE-MARK-MASQ all — 172.17.79.7 0.0.0.0/0 /* kube-system/grafana: */ DNAT tcp — 0.0.0.0/0 0.0.0.0/0 /* kube-system/grafana: */ tcp to:172.17.79.7:3000

ТО есть идёт DNAT с 30300 на 3000 на ip Пода

Не ip адресс принадлежит по сути ноде

и кубер не разрешает вопрсы переезда ip по нодам

С другой стороны NodePort существует на ВСЕХ нодах

и ты можешь поставить балансер до них

либио через dns

то есть эти правила создаются на всех нодах?

NodePort да.

прикольно

В моем случае мне внешний балансер не нужен, т.к. все ноды смотрят в интернет просто, но я кажется придумал как это можно реализовать. Что если я создам контейнер с network=host и просто буду им ассигнить ip адрес ноде?

может уже есть подобный механизм в kubernetes? я просто максимально упростить схему, в моем случае один pod - имеет свой ip

еще вопрос: можно ли в NodePort указать чтобы перенапривление шло конкретно с этого ip адреса. Потому что, как я сказал, сервисы будут запущены на одинаковых портах

то есть правило dnat скажем не 0.0.0.0 а например с 11.22.33.44

А как мне назначить другую ноду мастером?

ну в BetsPrartic нельзя

А как мне назначить другую ноду мастером?

Запустить нужные сервисы на новой ноде и переписать конфиги у кублетов)

А как мне назначить другую ноду мастером?

как сделать через kubeadm не знаю)

то есть правило dnat скажем не 0.0.0.0 а например с 11.22.33.44

externalIP тебе поможет

ну в BetsPrartic нельзя

тоесть, я обязан импользовать разные порты для своих сервисов?

externalIP тебе поможет

понял, попробую

https://kubernetes.io/docs/tutorials/stateless-application/expose-external-ip-address/

Хотя не уверен что это работает без внешнего балансировщика

а вообще hostnetwork вроде не работает в кубере

через daemonset вроде работает, думаю и так должен, сча

ds это способ запустить контейнеры на Всех Нодах сразу

то есть на каждой ноде будет экземляр пода

https://github.com/weaveworks/weave/blob/master/prog/weave-kube/weave-daemonset.yaml#L77

hostNetwork: true - мне кажется он и в обычном pod должен сработать

ладно, с этим я разберусь

скажи только, правильно ли я понял, что параметр externalIP определяет адрес, который будет переписываться для правила dnat?

и нода на который это работает

так было в 1.5 но там он уже объявлен как устаревший

в 1.7 его может и не быть , я 1.7 пока не юзаю

у меня сейчас 1.7.2, о чем конкретно ты говоришь?

у меня сейчас кубер версии 1.5.2

1.7.2 я пока не ставил )

Не, я про что ты имеешь ввиду "объявлен устаревшим"?

ну у метода приписка depricated

У ds?

у external-ip

а, сорри

скажи только, правильно ли я понял, что параметр externalIP определяет адрес, который будет переписываться для правила dnat?

на этот вопрос не подскажешь ответ?

если это то что я думаю, то надеюсь, это решит мою проблему

Ну да. тут ты прав.

отлично, спасибо!

осталось только понять в чем разница от ClusterIP, похоже что он делает ровно тоже самое

ммм

ClusterIP это внутренняя сущность

ПО сути это виртуальный IP который есть только в правилах IPtables

его присваивают сервису, который балансирует трафик в поды

если подов больше одного то поравну.

ClusterIP это внутренняя сущность

внезапно его кстати можно вывесить на интерфейсы и это начнет работать

внезапно его кстати можно вывесить на интерфейсы и это начнет работать

Почему внезапно?)

Почему внезапно?)

внезапно я всегда использую слово внезапно в любой непонятной ситуации

ERROR: S client not available

внезапно, правда?

внезапно я всегда использую слово внезапно в любой непонятной ситуации

Ну он балансируется в IP tables

Ну он балансируется в IP tables

точно. просто таким путем можно без ExternalIP иметь одинаковые IP-адреса для сервисов как изнутри k8s, так и снаружи.

точно. просто таким путем можно без ExternalIP иметь одинаковые IP-адреса для сервисов как изнутри k8s, так и снаружи.

imho не лучшая идея)

нужно ставить кластер ip в реальную адрессацию...

imho не лучшая идея)

зависит от вашей сети.

по умолчанию кластерные адреса в NAT адрессации 10.0.0.0/4)

внезапно я всегда использую слово внезапно в любой непонятной ситуации

весьма внезапно

например я сторонник того, чтобы контейнеры имели first-class-адреса и с физическими серверами (например) снаружи k8s маршрутизировались без NAT.

first-class ,

?

ну у вас в инфраструктуре не только k8s есть.

но и еще снаружи от нее какие-то другие сервисы/хосты/виртуалки/контейнеры

ты как с Интереном общаешься? если используешь реальную адрессацию?

нужно ставить кластер ip в реальную адрессацию...

зачем?

все твои сервисы видны...

потому что ClusterIP назначается автоматически при создании сервиса

ты как с Интереном общаешься? если используешь реальную адрессацию?

конкретно я использую NAT в публичные адреса, реализованный на каждом хосте k8s, соответственно контейнер уходит в интернет сразу с того хоста, на котором запущен.

в моем случае как раз это и требуется :)

У тебя контейнеры имеют публичные адресса?

но вся внутренняя инфраструктура при этом плоская и не содержит натов или точек входа/выхода в k8s

У тебя контейнеры имеют публичные адресса?

технически мне ничто не помешает так сделать, кроме нехватки ipv4-адресов.

потому что ClusterIP назначается автоматически при создании сервиса

сорри, этого не увидел

То есть кривые разрабы накодили всякой фигни и ты это голым простите задом в интернет?

китайцев не боишься?

у меня вон сервера по 10-20к трайев по ssh ежедневно отлавливают

То есть кривые разрабы накодили всякой фигни и ты это голым простите задом в интернет?

а кто сказал про голый зад? вы мои слова не перевирайте, я этого не говорил. public-routable-адрес не означает отсутствие фаервола.

в особы удачные дни мы насчитывали миллон запросов в ssh

и нат - это не безопасность :)

https://habrahabr.ru/post/134638/

Ну когда все сети тебе подкотрольны вполне себе

потому что ClusterIP назначается автоматически при создании сервиса

стоп-стоп-стоп, ClusterIP я могу назначить самостоятельно при создании сервиса, если он будет ассигниться на реальный интерфейс - это вообще сказка.