хотя в настройках использую keepalive.

ServerAliveInterval 30

TCPKeepAlive yes

что еще за ssh? вы же про port forward

коллеги, я тут к aws приобщаюсь. и возникла пролема с kubectl port-forward, да даже ssh. соединения рвутся. ssh: packet_write_wait: Connection to AWS_IP_KUBE_API port 22: Broken pipe kubectl port-forward: E0614 15:25:44.667739 17585 portforward.go:178] lost connection to pod Кто-нибудь может объяснить какого черта?

я про ssh тоже говорил

незнаю, смотрите по tcpdump кто шлет FIN/RST и ищите там

Ребята, что я делаю не так? Поднимаю кластер при помощи kubeadm. Запускаю тестовое приложение apache-hostname (которое слушает порт 80), делаю expose с type=LoadBalancer. В итоге внешний адрес всё время в состоянии pending. Никак мне кубернетес не даётся...

Привет! А не подскажите требования к мастер нодам k8s? Допустим у меня 3 мастера и 3 воркера.

всё что угодно )

Ребята, что я делаю не так? Поднимаю кластер при помощи kubeadm. Запускаю тестовое приложение apache-hostname (которое слушает порт 80), делаю expose с type=LoadBalancer. В итоге внешний адрес всё время в состоянии pending. Никак мне кубернетес не даётся...

type=LoadBalancer из коробки вроде работает только с облаками(AWS, GCE)

type=LoadBalancer из коробки вроде работает только с облаками(AWS, GCE)

А как быть в таком случае? Как мне извне доступ получить к приложению?

А как быть в таком случае? Как мне извне доступ получить к приложению?

В проде с кубернетесом не работал(кто-то может что-то более дельное подсказать), но для своих тестовых целей использовал https://kubernetes.io/docs/concepts/services-networking/service/#external-ips

NodePort или ExternalIP

NodePort или ExternalIP

NodePort подразумевает, что я установлю, например, nginx, как реверс прокси и буду проксировать на ноды запросы? Тогда придётся руками каждый раз править его конфиг, когда ногу добавлять буду.

В проде с кубернетесом не работал(кто-то может что-то более дельное подсказать), но для своих тестовых целей использовал https://kubernetes.io/docs/concepts/services-networking/service/#external-ips

Спасибо. Почитаю.

NodePort подразумевает, что я установлю, например, nginx, как реверс прокси и буду проксировать на ноды запросы? Тогда придётся руками каждый раз править его конфиг, когда ногу добавлять буду.

можно попрбовать confd напрямую к etcd прикрутить (сам не пробовал, правда)

А как быть в таком случае? Как мне извне доступ получить к приложению?

Тогда нужен Ingress Controller. Он есть например на базе Nginx. Дока тут - https://kubernetes.io/docs/concepts/services-networking/ingress/

Тогда нужен Ingress Controller. Он есть например на базе Nginx. Дока тут - https://kubernetes.io/docs/concepts/services-networking/ingress/

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

в кубере, но можете пускать с net=host

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

Да, это просто сервис. Типа прокси. Запускается на всех нодах. ingress умеет по определенным правилам пониматьдля какого сервиса предназначается конкретный запрос. Правила можно задавать по доменам или по путям. В реальности придется ставить перед кластером kubernetes еще и балансер какой-то (для отказоустоичивости, на случай падения одной из нод с ingress)

Вот пример как конфигрурировать роутинг по путям - https://kubernetes.io/docs/concepts/services-networking/ingress/#simple-fanout

А вот так по доменам - https://kubernetes.io/docs/concepts/services-networking/ingress/#name-based-virtual-hosting

Да, это просто сервис. Типа прокси. Запускается на всех нодах. ingress умеет по определенным правилам пониматьдля какого сервиса предназначается конкретный запрос. Правила можно задавать по доменам или по путям. В реальности придется ставить перед кластером kubernetes еще и балансер какой-то (для отказоустоичивости, на случай падения одной из нод с ingress)

Спасибо. Вроде читал всё это. Видимо не внимательно.

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

мы round-robin dns сделали

а проверяли? он пробует следующий?

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

мы, извините, так делаем

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

как мастеров обновлять собрались? :)

как мастеров обновлять собрались? :)

пока не думали в эту сторону =)

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

В этом мануале (https://kubernetes.io/docs/getting-started-guides/scratch/) говорится что kube-proxy должен быть запущен на всех воркерах. И что на нодах с мастером он не нужен.

мы, извините, так делаем

Как? Через DNS?

В этом мануале (https://kubernetes.io/docs/getting-started-guides/scratch/) говорится что kube-proxy должен быть запущен на всех воркерах. И что на нодах с мастером он не нужен.

О как.

Есть тикет https://github.com/kubernetes/kubernetes/issues/18174 Вот тут чувак пишет что DNS не сработал Another technique that I have tried (which failed) is to use DNS round robining - "kubemaster -> IP1, IP2, IP3". This does not work - I think the kubelet/go/os is caching the resolution and keeps re-trying the same master. So DNS round robin may be useful for load balancing but is no good for HA failover. Хотя другой пишет (https://github.com/kubernetes/kubernetes/issues/18174#issuecomment-232850783) что вроде все ок, и другой уже даже скрипт написал для мониторинга мастеров и обновления DNS записей (https://github.com/kubernetes/kubernetes/issues/18174#issuecomment-232874344)

Тут ведь полюбому есть кто-то, кто эту проблему решал и провоидл тесты с вырубанием мастеров?

а проверяли? он пробует следующий?

пробует. kubelet тоже

пробует. kubelet тоже

спасибо, тогда пока делаю так

тут кто-то использовал kafka+spark в kubernetes из helm репы? брат жив?

https://www.cncf.io/blog/2017/06/15/sign-kubernetes-beta-certification-exam/

сертификацию завезли

а как к нему подготовиться? 😱

https://github.com/cncf/curriculum/blob/master/certified_kubernetes_administrator_exam_V0.9.pdf

сертификация к софту, который из беты не вылезает

сертификация к софту, который из беты не вылезает

так и сертификация бета :)

в Питере встреч, митапов по k8s не намечается???

Бета- софт бета-сертификат бета-админы....

Прям детская считалочка

в Питере встреч, митапов по k8s не намечается???

пивной митап все собрать не можем

это печально

Один раз собирали, правда я не помню чем закончилось ;)

Один раз собирали, правда я не помню чем закончилось ;)

все отлично было :)

решили собраться через месяцок. Вот, до сих пор собираемся

А скиньте ссылку на канал плиз питерский я на телефоне ссылку не могу найти )

пинганул тебя в чате, там нет прямой ссылки

@kubernetes_spb

Спасибо

ребята, небольшой офф, раскидайте, почему не стоит пользоваться проксмоксом взамен куба

Почему не стоит пить пиво вместо водки?

пока расплывчатые метафоры)

ребята, небольшой офф, раскидайте, почему не стоит пользоваться проксмоксом взамен куба

зачем мне машина, когда дома есть пылесос?

Зачем мне мало, когда есть мачалка

Мыло

скажем, у меня не 100500 нод, а всего 1-3. и колличество сервисов не больше 10. откинем также перспективы личностного роста, чисто решение задач бизнеса

Проксмокс для инфраструктуры, куб для сервисов

Разное назначение

ну вот, остановил поток безумия(

ещё уточняю вопрос) при вышеозвученных условиях стоит ли выбирать куб, учитывая околонулевой уровень и там и там. ну в докере более менее

и если стоит, буду благодарен за аргументацию

Ты там не какой нибудь почтовик и телефонию под сервисами подразумеваешь?)

Уровни абстракции: сервер > проксмокс / ос > кубер > докер

ещё уточняю вопрос) при вышеозвученных условиях стоит ли выбирать куб, учитывая околонулевой уровень и там и там. ну в докере более менее

Проксмокс - быстро, грязно и хуже поддерживать потом. Кубер - больше головняка сначало, но лучше потом. Коммунити проксмокса и документация хуже, но запустить на чистом железе проще

Проксмокс - быстро, грязно и хуже поддерживать потом. Кубер - больше головняка сначало, но лучше потом. Коммунити проксмокса и документация хуже, но запустить на чистом железе проще

Да нормально куб на железе едет

Да нормально куб на железе едет

Я не сказал что плохо, просто проксмокс - вообще думать не нужно - вставил исошку и next,next,next

Хотя может тектоник(?) уже тоже так..

Да нормально куб на железе едет

Или может опеншифт ?)

Или может опеншифт ?)

Там точно далее далее готово

Проксмокс - быстро, грязно и хуже поддерживать потом. Кубер - больше головняка сначало, но лучше потом. Коммунити проксмокса и документация хуже, но запустить на чистом железе проще

Не проще. Как пойдут баги - будет жесть. Их можно вечно ловить

Не проще. Как пойдут баги - будет жесть. Их можно вечно ловить

Это уже day 2 operations:)

Проксмокс - быстро, грязно и хуже поддерживать потом. Кубер - больше головняка сначало, но лучше потом. Коммунити проксмокса и документация хуже, но запустить на чистом железе проще

благодарствую 👍