Народ, с помощью чего вы деплоили кластер куба в продакшене? Нужно развернуть на виртуалках. Я посмотреть kops/kubespray, они вроде в основном для cloud решений. Посоветуйте с помощью чего лучше

Поделитесь болью

Если оно падает, то всему становится плохо.....вплоть до падения нод.

Народ, с помощью чего вы деплоили кластер куба в продакшене? Нужно развернуть на виртуалках. Я посмотреть kops/kubespray, они вроде в основном для cloud решений. Посоветуйте с помощью чего лучше

Руками поднимал ? После под ansible/puppet занес

Руками поднимал ? После под ansible/puppet занес

Моя Одобрям

Я просто раньше через kubeadm делал, вроде нормально, но сейчас нужно поднять еще пару кластеров, и смотрю на альтернативы, как лучше.

ну так оказалось намного проще понять, что, куда и зачем, чем пытаться понять, как переделать текущие скрипты\установщики под твои нужды

kubespray точно лучше kubeadm

а нужда стояла построить кластер с несколькими мастерами

Ну я просто через kubeadm поднимал ноды, а потом дополнительно несколько слейвов в мастера переделал

Сейчас 3 мастера и 24 слейва стоят на одном из кластеров

а как же tls auth?

Все это имеется

У меня кластер через паппет накатывается, пара моментов руками (все никак в паппет не запихну) , сам икомпоненты кубера работают через бинарники, через systemd. Единственное, пока приходится руками обновлять дебиан до 4.9+ ядра, т.к. пока 8-я версия стоит

Народ, с помощью чего вы деплоили кластер куба в продакшене? Нужно развернуть на виртуалках. Я посмотреть kops/kubespray, они вроде в основном для cloud решений. Посоветуйте с помощью чего лучше

Блин, такое чувство, что я один тут kismatic пиарю :(

Народ, с помощью чего вы деплоили кластер куба в продакшене? Нужно развернуть на виртуалках. Я посмотреть kops/kubespray, они вроде в основном для cloud решений. Посоветуйте с помощью чего лучше

kubespray отлично все ставит на виртуалки, облака там опциональны. Только лучше его как набор ansible playbooks применять. а не черех cli-утилиту которая там все только захламляет

kubespray отлично все ставит на виртуалки, облака там опциональны. Только лучше его как набор ansible playbooks применять. а не черех cli-утилиту которая там все только захламляет

а как нынче в kubespray RBAC сетапится - из коробки умеет?

или править много в group_vars?

все делает =)

недавно фиксы были

я с calico ставила, calico с RBAC не дружит вроде, поэтому не пробовала, но это было три месяца назад

недавно фиксы были

ок, спасибо - будем посмотреть!

я с calico ставила, calico с RBAC не дружит вроде, поэтому не пробовала, но это было три месяца назад

как эт?

failover в kubespray есть?

как эт?

не могу сейчас найти. но где-то в доках было написано "не поддерживается" и я просто не стала разбираться дальше. Возможно речь шла о том что network policy в calico не были синтегрированы с rbac в kubernetes. и возможно это уже исправлено.

failover в kubespray есть?

apiserver знает всех etcd. kubelet и остальные через nginx подключаются, который знает о всех api. не помню только как kubernetes.svc выглядит внутри, сколько там endpoints

У меня кластер через паппет накатывается, пара моментов руками (все никак в паппет не запихну) , сам икомпоненты кубера работают через бинарники, через systemd. Единственное, пока приходится руками обновлять дебиан до 4.9+ ядра, т.к. пока 8-я версия стоит

Модуль сам писали или что-то заюзали ?

Не понял про модуль. Для чего?

Не понял про модуль. Для чего?

Как вы настраиваете через паппет?

Написал классы под мастер-воркер, в манифесте хоста подключаю его

пост на тему задания конфигурации nginx через ConfigMap https://medium.com/@olegsmetanin/kubernetes-receipt-reverse-proxy-to-your-github-page-using-configmap-1b81ec31cbd1

Ребята, хочу поднять кластер на хетзнер(да,да, знаю что говно) и следовательно нет возможности засетапить отказоустойчивый лоад балансер. Собственно какие есть способы чтобы в случае смерти мастера или etcd, можно было быстро восстановить работу кластера?

Ребята, хочу поднять кластер на хетзнер(да,да, знаю что говно) и следовательно нет возможности засетапить отказоустойчивый лоад балансер. Собственно какие есть способы чтобы в случае смерти мастера или etcd, можно было быстро восстановить работу кластера?

Используйте встроенный мультисистема етцд, а балансёр ставьте локально на каждый апи-сервер. У меня тестовый кластер как раз на хецнере, для тестирования вполне ок

@not_logan каким образом можно использовать балансер локально на каждом мастере?

В каждый балансёр прописать ip всех etcd. В kube-apiserver прописать 127.0.0.1 и порт балансера

Как вариант - прописать в балансёр апи-сервера а в каждый апи прописать свой локальный етцд. Посмотрите кукбук от ЗлыхМарсиан, это хороший пример

Какой балансер можно так использовать? И кто такие марсиане?

https://github.com/evilmartians/chef-kubernetes марсиане используют haproxy. Он вполне эффективен

А разве haproxy не нужно ставить на отдельную машину и с нее уже балансить на мастера?

А разве haproxy не нужно ставить на отдельную машину и с нее уже балансить на мастера?

ничего не мешает его запускать на каждой машине, откуда необходим доступ к api server, жрет он всего ничего

В каждый балансёр прописать ip всех etcd. В kube-apiserver прописать 127.0.0.1 и порт балансера

kube-apiserver может знать сразу о всех etcd серверах, тоесть можно прописать списком ему и клиент сам будет управлять куда подключаться

Правильно ли я понял что вы имеете ввиду поставить пару независимых haproxy?

предлагают поставить балансер на каждую из нод для локальных клиентов

предлагают поставить балансер на каждую из нод для локальных клиентов

я тут тоже своим железом занялся. хочу попробывать ipvs на каждой ноде для хождения к apiserver прикрутить

но вообще по хорошему, go-client должен бы уметь ходить на несколько apiserver сам

так apiserver умеет же --etcd-servers stringSlice List of etcd servers to connect with (scheme://ip:port), comma separated.

так apiserver умеет же --etcd-servers stringSlice List of etcd servers to connect with (scheme://ip:port), comma separated.

это к etcd, я тогоже хочу при хождении к apiserver

kubelet использует client-go для этого дела

если бы client-go научился знать о нескольких apiservers было б круто и костыли не нужны

чет не думаю что там будет меняться что то, недавно вроде на --kubeconfig переехали для указания контекста для подключения. может он сможет когда нить контексты перебирать?

привет! не отрабатывает cronjob: Unable to mount volumes for pod "name-microservice-cronjob-1509696000-ls346_stage(fda5f04b-c06c-11e7-9813-021930a0ab96)": timeout expired waiting for volumes to attach/mount for pod "stage"/"name-microservice-cronjob-1509696000-ls346". list of unattached/unmounted volumes=[default-token-rxx06] никто не сталкивался?

ну тут не в кроне дело, а в конфиге пода, диск указанный не может примонтироваться

default-token-rxx06

Нет ответа от api сервера

который должен поду выдать токен

скорее всего косяк в настройке апи сервера и/или сети

так же стоит смотреть на kube-proxy/kube-router

ну тут не в кроне дело, а в конфиге пода, диск указанный не может примонтироваться

диска в конфиге нет

скорее всего косяк в настройке апи сервера и/или сети

обычные jobs работают

а кто нить сравнивал https://github.com/nginxinc/kubernetes-ingress и https://github.com/kubernetes/ingress-nginx pros\cons?

и то и другое реализация ingress controller с nginx внутри

берите от nginxinc

там нет баги с upstream keepalive

А ещё лучше не использовать nginx для балансировки: https://thehftguy.com/2016/10/03/haproxy-vs-nginx-why-you-should-never-use-nginx-for-load-balancing/

кстати, какие еще норм ингрессы есть? :)

там нет баги с upstream keepalive

это не бага ж =)) прост есть сложности с ws & keepalive

А ещё лучше не использовать nginx для балансировки: https://thehftguy.com/2016/10/03/haproxy-vs-nginx-why-you-should-never-use-nginx-for-load-balancing/

видели vts exporter для prometheus для метрик из nginx-ingress? я думал будет бомбическое сравнение по методам балансировки, прилипанию по куке, обработка кук и тд. а тут фигня

берите от nginxinc

я думаю смысл есть только с nginx+ его брать. это круто что k8s не игнорят эти ребята, очень хорошо что мы все в одной направлении идем. только вот на дефолтном nginx там нечего ловить в плане метрик, как правильно заметил @vadikgo (чет я слепой стал)

кстати, какие еще норм ингрессы есть? :)

traefik

А ещё лучше не использовать nginx для балансировки: https://thehftguy.com/2016/10/03/haproxy-vs-nginx-why-you-should-never-use-nginx-for-load-balancing/

для ingressa не имеет значения, там в качестве апстрима только 1 сервис кубернетеса, который на самом деле просто iptables правило, которое рандомом распределяет пакеты м/у другими подами. Да и сама статья плохая, которую в 3 слова можно было сказать.

А вот чувак протестировал в сравнении производительности nginx и хапрокси https://www.youtube.com/watch?v=yQvcHy_tPjI тут преимущество у "отечественного" производителя)

для ingressa не имеет значения, там в качестве апстрима только 1 сервис кубернетеса, который на самом деле просто iptables правило, которое рандомом распределяет пакеты м/у другими подами. Да и сама статья плохая, которую в 3 слова можно было сказать.

у которого именно ингресса так? в nginx-ingress адреса подов попадают в upstreams и балансировка по адресам подов происходит

на видео показывают как от запросов падает приложение?

нет, приложение падают принудительно и сколько пакетов теряется при переключении

у которого именно ингресса так? в nginx-ingress адреса подов попадают в upstreams и балансировка по адресам подов происходит

хм, я использую ха, и всё таки похоже балансировка между подами) почему-то был уверен, что к сервису привязан, т.к. конфигурация ингресов указывает на сервиснэйм

это несколько топорно было бы не выяснять кто из подов прячется за сервисом, просто кидая на сервисный адрес

а ктото использует nginx-ingress в highload нагрузках для балансировки трафика между подами? у нас сейчас в среднем 20000rps, сервисы пока на железе с отдельным nginx+ на входе, хотим это в кубер засунуть

это не бага ж =)) прост есть сложности с ws & keepalive

ну как же ш не бага, если та еще бага: https://github.com/kubernetes/ingress-nginx/issues/986

а ктото использует nginx-ingress в highload нагрузках для балансировки трафика между подами? у нас сейчас в среднем 20000rps, сервисы пока на железе с отдельным nginx+ на входе, хотим это в кубер засунуть

20k rps со статикой?

не, динамика больше

go-сервисы на десятке железных серверов

норм.