Put the pod in zone Z: Tricked you! It is not possible express this using the API described here. For this you should use node affinity.

зону "заказать" нельзя, но вопрос был про то, как запустить всё в одной зоне, а это можно

Коллеги, все привет

есть у кого опыт kubernetes cloud-provider=openstack?

https://github.com/gravitational/workshop/blob/master/k8sprod.md

Интересная дока. Местами очевидная

Ребят, а хранить в Vault конфиги целыми json файлами это кошерно или как?

Ребят, а хранить в Vault конфиги целыми json файлами это кошерно или как?

если вы про hashicorp - то нет.

да, про hashicorp. а как лучше сделать? мне на выходе всё равно нужно json файлик подсунуть сервису. хранить секреты в vault, как key/value и потом собирать json?

а, вижу. там можно хранить как key/value, а читать как json. попробую так

если вы про hashicorp - то нет.

почему?

почему?

потому, что vault придуман для другого, как мне кажется. эх, сдедал бы кто хранение секретов плагином :(

в kubernetes плагины такие плагины :)

кубернетес так задуман, вообще-то

за это мы его и любим

это не сервис, это клей

а кстати, сори за оффтоп: кронджобы еще не в бете?

кубернетес так задуман, вообще-то

задуман что плагины надо вкомпиливать? :))

задуман что плагины надо вкомпиливать? :))

ну да. Это такой клей, который связывает между собой кучу кирпичиков и мы получаем облако

а кирпичики каждый сам выбирает

а кстати, сори за оффтоп: кронджобы еще не в бете?

неа https://github.com/kubernetes/kubernetes/issues/41039

кстати, а кто тут как секреты провижинит в кубер? они же до сих пор не запилили нормальную экосистему для этого, даже обновлять нельзя

коллеги, я тут к aws приобщаюсь. и возникла пролема с kubectl port-forward, да даже ssh. соединения рвутся. ssh: packet_write_wait: Connection to AWS_IP_KUBE_API port 22: Broken pipe kubectl port-forward: E0614 15:25:44.667739 17585 portforward.go:178] lost connection to pod Кто-нибудь может объяснить какого черта?

на apiserver через ELB ходите?

на apiserver через ELB ходите?

и так и так пробовал. поведение одинаковое

незнаю, что насчет "и так", но когда делаете "и так", посмотрите на idle_timeout на ELB

и напрямую по внешнем IP захожу и через ELB

хм. посмотрел документацию. timeout. The range for the idle timeout is from 1 to 3,600 seconds.. т.е. больше нельзя? они серьезно?

port forward оно же для временных туннельчиков

port-forward - частный случай. а как народ с websockets работет? тоже ограничение идет?

вебсокетс умеют восстанавливать соединение

иначе грош им цена

ну это тоже частный случай. в любом случае, спасибо.

ок, с elb разобрался. а почему при внешнем IP такое?

когда я напрямую на внешний IP коннекчусь

посмотрите все аргументы к apiserver, может будет что

дело не в apiserver, а в ssh

вот оставил я соединение, а оно рвется

хотя в настройках использую keepalive.

ServerAliveInterval 30

TCPKeepAlive yes

что еще за ssh? вы же про port forward

коллеги, я тут к aws приобщаюсь. и возникла пролема с kubectl port-forward, да даже ssh. соединения рвутся. ssh: packet_write_wait: Connection to AWS_IP_KUBE_API port 22: Broken pipe kubectl port-forward: E0614 15:25:44.667739 17585 portforward.go:178] lost connection to pod Кто-нибудь может объяснить какого черта?

я про ssh тоже говорил

незнаю, смотрите по tcpdump кто шлет FIN/RST и ищите там

Ребята, что я делаю не так? Поднимаю кластер при помощи kubeadm. Запускаю тестовое приложение apache-hostname (которое слушает порт 80), делаю expose с type=LoadBalancer. В итоге внешний адрес всё время в состоянии pending. Никак мне кубернетес не даётся...

Привет! А не подскажите требования к мастер нодам k8s? Допустим у меня 3 мастера и 3 воркера.

всё что угодно )

Ребята, что я делаю не так? Поднимаю кластер при помощи kubeadm. Запускаю тестовое приложение apache-hostname (которое слушает порт 80), делаю expose с type=LoadBalancer. В итоге внешний адрес всё время в состоянии pending. Никак мне кубернетес не даётся...

type=LoadBalancer из коробки вроде работает только с облаками(AWS, GCE)

type=LoadBalancer из коробки вроде работает только с облаками(AWS, GCE)

А как быть в таком случае? Как мне извне доступ получить к приложению?

А как быть в таком случае? Как мне извне доступ получить к приложению?

В проде с кубернетесом не работал(кто-то может что-то более дельное подсказать), но для своих тестовых целей использовал https://kubernetes.io/docs/concepts/services-networking/service/#external-ips

NodePort или ExternalIP

NodePort или ExternalIP

NodePort подразумевает, что я установлю, например, nginx, как реверс прокси и буду проксировать на ноды запросы? Тогда придётся руками каждый раз править его конфиг, когда ногу добавлять буду.

В проде с кубернетесом не работал(кто-то может что-то более дельное подсказать), но для своих тестовых целей использовал https://kubernetes.io/docs/concepts/services-networking/service/#external-ips

Спасибо. Почитаю.

NodePort подразумевает, что я установлю, например, nginx, как реверс прокси и буду проксировать на ноды запросы? Тогда придётся руками каждый раз править его конфиг, когда ногу добавлять буду.

можно попрбовать confd напрямую к etcd прикрутить (сам не пробовал, правда)

А как быть в таком случае? Как мне извне доступ получить к приложению?

Тогда нужен Ingress Controller. Он есть например на базе Nginx. Дока тут - https://kubernetes.io/docs/concepts/services-networking/ingress/

Тогда нужен Ingress Controller. Он есть например на базе Nginx. Дока тут - https://kubernetes.io/docs/concepts/services-networking/ingress/

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

в кубере, но можете пускать с net=host

nginx-ingress-controller - это приложение, которое надо запускать на хост-системе, или это такой же докер-контейнер, который запускается в кубере?

Да, это просто сервис. Типа прокси. Запускается на всех нодах. ingress умеет по определенным правилам пониматьдля какого сервиса предназначается конкретный запрос. Правила можно задавать по доменам или по путям. В реальности придется ставить перед кластером kubernetes еще и балансер какой-то (для отказоустоичивости, на случай падения одной из нод с ingress)

Вот пример как конфигрурировать роутинг по путям - https://kubernetes.io/docs/concepts/services-networking/ingress/#simple-fanout

А вот так по доменам - https://kubernetes.io/docs/concepts/services-networking/ingress/#name-based-virtual-hosting

Да, это просто сервис. Типа прокси. Запускается на всех нодах. ingress умеет по определенным правилам пониматьдля какого сервиса предназначается конкретный запрос. Правила можно задавать по доменам или по путям. В реальности придется ставить перед кластером kubernetes еще и балансер какой-то (для отказоустоичивости, на случай падения одной из нод с ingress)

Спасибо. Вроде читал всё это. Видимо не внимательно.

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

мы round-robin dns сделали

а проверяли? он пробует следующий?

ERROR: S client not available

Разбираюсь тут с настройкой kube-proxy, и во всех мануалах указывается только один --master, реально же мастеров хочется минимум 3, как быть?

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

мы, извините, так делаем

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

как мастеров обновлять собрались? :)

как мастеров обновлять собрались? :)

пока не думали в эту сторону =)

мы пока пошли от идеи, что на каждой ноде с мастером, куби прокси смотрит на своего мастера. И если не доступен мастер, то скорее всего с нодой что то не так. Кто вообще как делает в проде? у нас пока тестовый кластер.

В этом мануале (https://kubernetes.io/docs/getting-started-guides/scratch/) говорится что kube-proxy должен быть запущен на всех воркерах. И что на нодах с мастером он не нужен.

мы, извините, так делаем

Как? Через DNS?

В этом мануале (https://kubernetes.io/docs/getting-started-guides/scratch/) говорится что kube-proxy должен быть запущен на всех воркерах. И что на нодах с мастером он не нужен.

О как.

Есть тикет https://github.com/kubernetes/kubernetes/issues/18174 Вот тут чувак пишет что DNS не сработал Another technique that I have tried (which failed) is to use DNS round robining - "kubemaster -> IP1, IP2, IP3". This does not work - I think the kubelet/go/os is caching the resolution and keeps re-trying the same master. So DNS round robin may be useful for load balancing but is no good for HA failover. Хотя другой пишет (https://github.com/kubernetes/kubernetes/issues/18174#issuecomment-232850783) что вроде все ок, и другой уже даже скрипт написал для мониторинга мастеров и обновления DNS записей (https://github.com/kubernetes/kubernetes/issues/18174#issuecomment-232874344)

Тут ведь полюбому есть кто-то, кто эту проблему решал и провоидл тесты с вырубанием мастеров?

а проверяли? он пробует следующий?

пробует. kubelet тоже

пробует. kubelet тоже

спасибо, тогда пока делаю так

тут кто-то использовал kafka+spark в kubernetes из helm репы? брат жив?

https://www.cncf.io/blog/2017/06/15/sign-kubernetes-beta-certification-exam/

сертификацию завезли

а как к нему подготовиться? ?

https://github.com/cncf/curriculum/blob/master/certified_kubernetes_administrator_exam_V0.9.pdf

сертификация к софту, который из беты не вылезает

сертификация к софту, который из беты не вылезает

так и сертификация бета :)

в Питере встреч, митапов по k8s не намечается???

Бета- софт бета-сертификат бета-админы....

Прям детская считалочка

в Питере встреч, митапов по k8s не намечается???

пивной митап все собрать не можем

это печально

Один раз собирали, правда я не помню чем закончилось ;)

Один раз собирали, правда я не помню чем закончилось ;)

все отлично было :)

решили собраться через месяцок. Вот, до сих пор собираемся

А скиньте ссылку на канал плиз питерский я на телефоне ссылку не могу найти )

пинганул тебя в чате, там нет прямой ссылки

@kubernetes_spb