Нам не хочется возиться с 100нями вариантов установок, так что все в кубеадм. Так мы уверены что вы установили все правильно, и ваш тикет не от вашей тупости

И у нас нет крупного корпаративного клиента, так что амшем и херачим релизы...потому что опенсурс и платят нам за код и релизы...

Примерно так.

Сейчас этап бурного роста. Через пару лет приземлиться в крупный корпаратив и убавит темпы.

Посмотри на ОпенСтак)

1.6 уже на ectd 3?

Проблему, с которой я столкнулся решили уже в 1.7 — пул-реквест лежит почти полгода, причем это не какая-то мелочь, а серьезная вещь: если поставить в kubtadm.yaml cloudProvider: openstack то apiserver не стартует и установка уходить в бесконечный луп, поэтому приходится ставить без этой опции и потом допиливать руками. Это крайне неудобно.

Ну в 1.8 сломали http auth. Выпилив приглашение. Теперь приходится зарание формировать хедер

Проблему, с которой я столкнулся решили уже в 1.7 — пул-реквест лежит почти полгода, причем это не какая-то мелочь, а серьезная вещь: если поставить в kubtadm.yaml cloudProvider: openstack то apiserver не стартует и установка уходить в бесконечный луп, поэтому приходится ставить без этой опции и потом допиливать руками. Это крайне неудобно.

Ну так напиши свой плейбук. Папет иронков или просто баш....

Посмотри на ОпенСтак)

OS в этом плане вообще цирк с конями, но там другая история, у них куча сайд-пректов где каждый суслик — агроном.

Добро пожаловать в ОС)

Ну так напиши свой плейбук. Папет иронков или просто баш....

Я уже (-:

Я уже (-:

А чего так грустно?

Когда обновили kubeadm, реакция ньюфага и олдфага:

Ну в 1.8 сломали http auth. Выпилив приглашение. Теперь приходится зарание формировать хедер

Ну там RBAC вполне обоснованно перепили.

Прально олдфаг на кубеадм вообще не смотрит

Короче разобрался, вкратце, k8s по какой то причине, не принимал cloud-config из /etc/kubernetes/, переложил его в /etc/kubernetes/pki/ — все завелось. Отосплюсь, перетестирую все и опишу решение подробнее.

Спасибо, схоронил

Ну там RBAC вполне обоснованно перепили.

Дело не в ролях, а в ошибке http сервера у кубеапи, который при http basic auth не. Шлет приглашение улиенту, а сразу отвечает 403

Или вообще не шлет 401 при отсутвии auth в хедере. Я не смотрелтна пакеты.

Прально олдфаг на кубеадм вообще не смотрит

Ну как на него не смотреть, если его объявили единственным поддерживаемым путём установки k8s?

Ну как на него не смотреть, если его объявили единственным поддерживаемым путём установки k8s?

Пусть объявляет чего хотят. Тут ОпенСорс.

Они и мастер компоненты подвешивают в виде под к кублету напрямую....

Они и мастер компоненты подвешивают в виде под к кублету напрямую....

О чем и речь! Как я понимаю все это рассчитывается под CoreOS, а мы все дело крутим на CentOS? поскольку нам нужна оркестровка хост-систем, чтобы сами эти хост-системы не были питомцами. Иначе это рушит всю идею: получается, поды — скот, а ноды — питомцы.

Тут можно долеко уйти

Тут можно долеко уйти

В каком смысле?

Есть мысль что они хотят как VMware со своей vSphere

когда в парадигме сервера грузятся по PXE ловят esxi, и предстроенный кофниг, для коннекта в vCenter, после их уже манеджат, да только имхо не выйдет)

тот же VMware начали продавать предустановленным, сами вендоры

Ребят, у Weave вроде как есть какая то визуальная штука для отображения информации о сети, никто не знает название?

Нашел, Weave Scope, вроде оно

ab -t 20 -c 20 http://echo.example.com/doku.php 3x node k8s with ingress: 6250 reqs 3x node k8s with nodePort: 806 reqs (each node) 2x node k8s with ingress: 4250 reqs Результаты какие-то удивительные, но приятные, может кто-нибудь на своем/тестовом кластере прогнать, для сравнения ?

я гонял yandex tank, он умеет всякие плюшки, типа квантилей. сранивал какая будет разница при использовании одного хоста по старинке и кластера к8с (ingress + hostnetwork, внутри развернуто приложение через deployment с двумя репликами на разных нодах). пока не зафорсил Connection: keepalive через proxy-set-header результат отличался заметно. как только кипэлайв внутри заработал, отличие в результатах практически сошло на нет.

а yandex cocaine не видел?)

я гонял yandex tank, он умеет всякие плюшки, типа квантилей. сранивал какая будет разница при использовании одного хоста по старинке и кластера к8с (ingress + hostnetwork, внутри развернуто приложение через deployment с двумя репликами на разных нодах). пока не зафорсил Connection: keepalive через proxy-set-header результат отличался заметно. как только кипэлайв внутри заработал, отличие в результатах практически сошло на нет.

погоняю сегодня, скинь команду если сохранилась

погоняю сегодня, скинь команду если сохранилась

там зарегаться нужно, чтобы результаты в веб залились успешно. пример load.yml: core: lock_dir: . overload: {enabled: true, job_name: JOB-NAME, package: yandextank.plugins.DataUploader, token_file: token.txt} phantom: address: x.x.x.x:443 header_http: '1.1' headers: '[Host: www.xxx] [Connection: close]' instances: 10 load_profile: {load_type: rps, schedule: 'const(200, 3m)'} package: yandextank.plugins.Phantom ssl: true uris: /your/uri запускать можно так: docker run -v $(pwd):/var/loadtest -v $HOME/.ssh:/root/.ssh --net host -it --rm direvius/yandex-tank -c load.yml instances \ schedule подбирать под задачу, в uris может быть куча uri, которые нужно дергать. я сравнивал только процедуру отдачи, так что дергал статику. эти ребята не так давно переехали на yaml, но документацию не обновили толком.

а yandex cocaine не видел?)

чет я с недоверием отношусь к внутренним поделкам крупных компаний

////

шутка не зашла? =)

Осторожно, ваш HA setup недостаточно HA: http://github.com/kubernetes/kubernetes/pull/23129

if we start to run controllers like scheduler and controller-manager onto the cluster in HA configurations, they should talk to the same API server if possible. Because each apiserver serves from a cache а разве controller-manager & scheduler не ожидают лок объекта при запуске? я прост пробовал их стартовать в большем числе, они при запуске блокируют объект какой то устаревающий, чтобы гарантировать что запущены в одном числе. плохо понимаю как может быть несколько этих компонент одновременно работающих. пока писал понял, что речь только о большем числе аписерверов. что каждый раз подключаюсь к другому аписерверу можно поймать косяк с кэшем =))

Привет всем. Если в кубере создаю сервис с типом NodePort как мне к нему с внешней сети достучаться?

$ kubectl get services --namespace=kube-system

traefik-ingress-service NodePort 10.100.142.132 <none> 80:32182/TCP,8080:31056/TCP 18h

ip машины внешний и порт который там примерно такой: 31056

спаисбо за быстрый ответ

если 3 машины в кластере. 1 мастер и 2 миньёна?

ищи на которой запущено

либо ингрес и нормальный проброс

ищи на которой запущено

На всех машинах где есть kube-proxy(скорее всего миньёны)

На всех машинах где есть kube-proxy(скорее всего миньёны)

ну тогда сорян)

Ребят, а с TeamCity деплоит кто в кубер?

ищи на которой запущено

Именно на той и есть. Спасибо

Именно на той и есть. Спасибо

Возможно есть проблема в overley сети

Всем привет! Ребята, подскажите как лучше сделать? Хочу спрятать важные ingress-ресурсы за фаерволом, например dashboard, он у меня проброшен на субдомен, наружу у ClusterIP торчит только 433 порт, получается и к доске доступ есть

в ingress можно повесить ограниения

а зачем вообще открывать dashboard?

через ingress.kubernetes.io/auth-type можно навесить basic auth например

Всем привет! Ребята, подскажите как лучше сделать? Хочу спрятать важные ingress-ресурсы за фаерволом, например dashboard, он у меня проброшен на субдомен, наружу у ClusterIP торчит только 433 порт, получается и к доске доступ есть

https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/annotations.md#whitelist-source-range

и вот еще белый лист есть, тоже через аннотации

а зачем вообще открывать dashboard?

чтобы быстрее к нему иметь доступ видимо. тыкнул ссылку и посмотрел

ну хз, открывать такое наружу... что там такого надо что нельзя провесить напрямую? создавать через него что-то все равно не удобно

Аутентификацию базовую включил, но хотелось бы совсем закрыть

можно совсем не открывать

Кто какой версией nginx-ingress-controller пользуется у себя в продакшене?

забавно, яндекс на овер-инжинирил https-бенчмарк, сделал его как сервис, а он отдает 502 на 50% запросов

видимо себя они не тестируют)

if we start to run controllers like scheduler and controller-manager onto the cluster in HA configurations, they should talk to the same API server if possible. Because each apiserver serves from a cache а разве controller-manager & scheduler не ожидают лок объекта при запуске? я прост пробовал их стартовать в большем числе, они при запуске блокируют объект какой то устаревающий, чтобы гарантировать что запущены в одном числе. плохо понимаю как может быть несколько этих компонент одновременно работающих. пока писал понял, что речь только о большем числе аписерверов. что каждый раз подключаюсь к другому аписерверу можно поймать косяк с кэшем =))

да и решая эту задачу они сломали HA для всех. Что будет если оба kubedns захешируются на один и тот же apiserver и он уйдет в даун? Днс пропадет нафиг.

if we start to run controllers like scheduler and controller-manager onto the cluster in HA configurations, they should talk to the same API server if possible. Because each apiserver serves from a cache а разве controller-manager & scheduler не ожидают лок объекта при запуске? я прост пробовал их стартовать в большем числе, они при запуске блокируют объект какой то устаревающий, чтобы гарантировать что запущены в одном числе. плохо понимаю как может быть несколько этих компонент одновременно работающих. пока писал понял, что речь только о большем числе аписерверов. что каждый раз подключаюсь к другому аписерверу можно поймать косяк с кэшем =))

Или скажем есть у вас единственный prometheus-operator, он всегда ходит на один apiserver, если этот сервер пропал, то все. (есть обходные пути вроде —apiserver-cont=1, но это ж костыль). Сделаю PR с отменой того комита, посмотрим

Ну а как это еще назвать?))) Если для go/с++ обязательно все комилить и там не долго и целый докер контейнер под это все добро пересобрать, то там все сходится. А мне же нужно просто поднять все чистые контейнеры и протестить на них новую версию кода.

Ну протестите, куда потом эта новая версия кода пойдет? В прод точно так же подцепится к какому-то контейнеру?

да и решая эту задачу они сломали HA для всех. Что будет если оба kubedns захешируются на один и тот же apiserver и он уйдет в даун? Днс пропадет нафиг.

ну там кубелеты до сих пор не очень умеют нативно жить с HA-аписервером еще

Здравы буде, бояре! Крутим k8s на openstack'е хотим наладить автоматическое создание лоадбаласера на openstack'е, сделали cloud-config, и все прочее, в логах нигде не ругается, вижу, что ноды увидели свои openstack'овские ID и вроде все нормально. Но если задаем для сервиса тип LoadBalancer и применяем, видим ExternalIP: <pending> и висит так вечно )-: Главное в логах леденящая пустота. К логам openstack доступа нет, поэтому на той стороне посмотреть не можем. Кто-нибудь сталкивался с подобным? Как можно проверить подключение к cloud-провайдеру?

'—v=3' ко всем компонентам и в логах жизнь заведется

ну там кубелеты до сих пор не очень умеют нативно жить с HA-аписервером еще

Вот это я и хочу решить при помощи ipvs , может на этой неделе получится

Вот это я и хочу решить при помощи ipvs , может на этой неделе получится

боюсь, там может так легко не получиться...

Например? К чему быть готовым :)

если я правильно понимаю, они активно еще и лонг-поллингом пользуются, что весьма портит жизнь попыткам это забалансировать. и реконнект кубелета к аписерверу я не нашел как легко и контролируемо чинить.

мы имели проблемы на том что ELB, стоящий над apiserver'ами менял адреса, а кубелеты не перерезолвливали. из-за этого периодически кубелеты нахер отваливались от аписервера

А ну это старая проблема, они закостылили в kubelet тайиаут на связь с апи. По хорошему надо б client-go чинить, но уж как есть

по хорошему надо в кубелет залезать и заставлять его нормально интерпретировать мультимастер

все остальное - паллиативное решение, что балансировщики (где бы они ни были)

кстати, зачем совать там ipvs?