а сайдкаром - чтобы снимать метрики с самого сервиса, верно ? Прилично, да.

В этом фишка istio - весь трафик всех подов проходит через сайдкар-прокси, которыми можно централизованно управлять, в том числе, да, снимать метрики.

сайдкар к поду. удваиваем количество оперативки под проект. пипец )

не уверен что нельзя поставить демонсетом

сайдкар к поду. удваиваем количество оперативки под проект. пипец )

шашечки/езда

шашечки/езда

какой русский езды не любит))

не уверен что нельзя поставить демонсетом

пытались ставить истио пер хост - затрахались придумывать как отправлять траффик с хоста в энвой а не в эндроинт сервиса (ну акромя айпитейблс) то есть из энвоя в энвой

400 мегов на кластере с 1500к сервисов. У вас че такие есть?

- name: MY_NODE_NAME valueFrom: fieldRef: fieldPath: spec.nodeName

можно как-то так выделываться

400 мегов на кластере с 1500к сервисов. У вас че такие есть?

да даже если +100мб на каждый сервисочек, то уже получается дофига

да даже если +100мб на каждый сервисочек, то уже получается дофига

я ради роутинга, трейсинга и рбака заплачу

альтернатива-то известна - zipkin/jaeger вместо istio но сначала попробовать нужно.

это не альтернатива

они работают вместе

это понятно

альтернатива - инструментация сервисов, а это обычно дорого

hardware is cheap, X is not

сейчас задача декомпозировать - какой сервис - слабое звено понятно, что внутри сервиса нужны более детальные утилиты.

ща я вас сломаю, еще вместо истио можно юзать ротор- он умеет забирать инфу о сервисах не только с куба

ротор ?

https://github.com/turbinelabs/rotor

но эту штуку я руками не трогал

хм

но ведь память жрут инстансы энвоя, а не истио?

из за тогл как истио их конфигит

а не разбирался что там больше всего памяти жрёт?

может можно почикать

ща я ишу найду

но вообще раз 15 уже говорилось и тут в том числе что kubelet смотрит в localhost на локалхост haproxy в haproxy API ????? PROFIT

Нафиг, пусть смотрит в будущий kubernetes.default.svc.cluster.local

https://github.com/istio/istio/issues/7879

альтернатива-то известна - zipkin/jaeger вместо istio но сначала попробовать нужно.

Как istio понимает ка исходящие запросы связаны с входящими без кооперации с приложением?

это эпик, но как я понял проблема в том, что истио конфигурит во всех энвоях весь набор кластеров и листнеров (перевожу на кубоебский: хостнеймов и сервисов) вместо того, чтобы делать по умному и добавлять только те с которыми конкретный энвой будет шпили вили

Как istio понимает ка исходящие запросы связаны с входящими без кооперации с приложением?

Без кооперации - плохо

Как istio понимает ка исходящие запросы связаны с входящими без кооперации с приложением?

приложение должно прокидывать айдишники в хедерах

Без кооперации - плохо

был бы id-запроса, а прокинуть его дальше - дело разработчика. то, что мы обсуждаем - оверхед от истио. @rossmohax

это эпик, но как я понял проблема в том, что истио конфигурит во всех энвоях весь набор кластеров и листнеров (перевожу на кубоебский: хостнеймов и сервисов) вместо того, чтобы делать по умному и добавлять только те с которыми конкретный энвой будет шпили вили

дайте угадаю, он написан на го

с++ (

но это проще чем подключать библиотеки и генерить спэны самим - все это делает энвой (это к истио кстати отношентя не имеет)

я про генерацию спэнов и трейсинг - это может энвой без истио

приложение должно прокидывать айдишники в хедерах

Только с http? Другим протоколам можно научить? Скажем смотреть в SET application_name=$requestID в запросах к постгресу?

я про генерацию спэнов и трейсинг - это может энвой без истио

смотреть чем ? В элактик грузить ?

нет оно выдает зипкинсовместимый вид

Только с http? Другим протоколам можно научить? Скажем смотреть в SET application_name=$requestID в запросах к постгресу?

энвой ещё не умеет постгрес

энвой ещё не умеет постгрес

Да я сам написать не против, если расширяемость под протоколы заложена и есть примеры с чем-нибудь простым вроде редиса

по моему редис как раз есть

ну там тикет про постгрес уже есть

ну там тикет про постгрес уже есть

Т.е. подключить библиотекой пока нельзя?

оно же на гошке

какой библиотекой?

а, тфу, энвой же на крестах

вы тока это перед тем как истио полезете дергать почитайте объектную модель энвоя и в ручную его поконфигуряйте, там процентов 80 функционала в нем самом, а не в истио

вы тока это перед тем как истио полезете дергать почитайте объектную модель энвоя и в ручную его поконфигуряйте, там процентов 80 функционала в нем самом, а не в истио

Я почитал про алгоритмы лоад балансинга у него как то, впечатлился

а я сразу когда прочитал про эвенчуал консистент сервис дискавери или как они там это называют

это эпик, но как я понял проблема в том, что истио конфигурит во всех энвоях весь набор кластеров и листнеров (перевожу на кубоебский: хостнеймов и сервисов) вместо того, чтобы делать по умному и добавлять только те с которыми конкретный энвой будет шпили вили

Так вот почему у меня погромист написал свой истио для энвоя

а нельзя истио подключить как библиотеку? :)

а нельзя истио подключить как библиотеку? :)

у нее самой в зависимостях 5 сраных бинарей на го

А вот интересно, чевойто не сделают возможность указать несколько endpoint для api server в .kube/config, чтобы поверх всякие haproxy не городить

альтернатива - инструментация сервисов, а это обычно дорого

в плане инструментация?

в плане инструментация?

Ну чтобы все приложения внутри кубера сами умели и балансить как хочешь и метрики и трейсинг

Доброго утра, как можно (и можно ли в принципе) объяснить kube-proxy не хайдить клиентский IP для ингрес-контроллера. Т.е. мне в кластере надо както увидеть реальный IP адрес клиента.

клиенты ходят по HTTPS в ингресконтроллер и оттуда соответсвенно на сервисы

hostNetwork: true или proxy protocol чуть выше, если балансер есть.

Балансер для апи кубера на нжинкс + кипэлайвд, если ему еще один сервер с апстримом на теже мастера по 443 порту и сетить кастом хеадер это норм решение???

Все запросы на vvrp ip ходят

Господа, накатил kubespray-ем kubernetes на машинки крутящиеся в private-cloud, при попытке подключиться к кластеру из-вне через kubectl он ругается что сертификат не валидный для внешнего айпи. Это надо переделать сертификаты?

Господа, накатил kubespray-ем kubernetes на машинки крутящиеся в private-cloud, при попытке подключиться к кластеру из-вне через kubectl он ругается что сертификат не валидный для внешнего айпи. Это надо переделать сертификаты?

Похоже на то

А вот интересно, чевойто не сделают возможность указать несколько endpoint для api server в .kube/config, чтобы поверх всякие haproxy не городить

Давным давно, в далёкой далёкой галактике, в ишью на гитхаб поднимался впрос ха в кубере и как его реализовывать, на что был сначала ответ - нам ха не нужен, ебитесь сами

А вообще им схему как в апаче мезос предлагали, когда лидер среди мастеров хранится в том же етсд, и воркеры за ним туда ходят

А вообще им схему как в апаче мезос предлагали, когда лидер среди мастеров хранится в том же етсд, и воркеры за ним туда ходят

Scheduler так и делает

Scheduler так и делает

мы говорим в целом за мастер, а не только за какой-то компонент

Ну там однозначного мастера получается и нет, все инстансы равносильны и к какому идти - без разницы. Видимо не хотят жертвовать этой свободой, ради определения конкретного мастера

Но если здоровый apiserver будет определяться на стороне кубелета, то я совсем не против)

Но если здоровый apiserver будет определяться на стороне кубелета, то я совсем не против)

Клаудам этого не надо, у них перед аписерверами привычные им лоад балансеры, а неклаудных контрибьюторов кроме openshift нет, да и те клаудные :)

потому что все идеи сводятся к "давайте вынесем round-robin на сторону клиента"

да еще и ему позволять в etcd лезть, да

потому что все идеи сводятся к "давайте вынесем round-robin на сторону клиента"

А чем плохо ? :)

А чем плохо ? :)

DNS is cheap, можно хоть курлом лезть

https://medium.com/@kvapss/creating-baremethal-kubernetes-ha-cluster-with-kubeadm-and-keepalived-simple-guide-c70ec4adf8ca

Сделал образ для keepalived. https://hub.docker.com/r/aialferov/keepalived Можно запустить как daemonset на мастерах и не париться с systemd или запуском keepalived на coreos (я так и не осилил). Кому интересно (лень самому) могу ссылку на daemonset тоже дать.

мне одному кажется, что это оффтоп?

Сделал образ для keepalived. https://hub.docker.com/r/aialferov/keepalived Можно запустить как daemonset на мастерах и не париться с systemd или запуском keepalived на coreos (я так и не осилил). Кому интересно (лень самому) могу ссылку на daemonset тоже дать.

? почему бы не запускать keepalived как static pod

ну если одна мастер нода с концами отъедет, то daemonset раскатает keepalived на вновь прибывшую. Ну, или даже если временно отъедет.

https://habr.com/company/nixys/blog/426543/

@StanislavKhalup

https://habr.com/company/nixys/blog/426543/

ark переизобрели?

начал блевать со слога еще на первом абзаце

> познакомились с такой технологией как Kubernetes

okay

примерно 90% текста можно удалить, и ничего не изменится

если еще 5% - то мы увидим некоторые улучшения

Велосипеды - это нормально... И иногда даже необходимо, если существующее не устраивает. Но про существующее в статье ничего нет.