нельзя потому что мощности одного ингресса не хватит

А сколько у тебя трафик?

Сколько хендшейков в секунду?

50 к в сек

?

запросов

Хендшейков или запросов в секунду?

хендшейков примерно столько же должно быть

Я когда-то тестировал на коленке - выходило примерно 1000 хендшейков в секунду на ядро

хендшейков примерно столько же должно быть

Почему? Http keepalive отключен?

у меня вышло только 500 на ядро

это демо страница нгинкса

по хттпс

Потюнь

нгинкс сам?

Ага

тестил через яндекс танк и аб про keepalived и так и так пробовал ну тут не слишком важно 50 или 100 ядер все равно на один комп не поставишь

Это именно хендшейков, запросов на одно ядро у меня было в районе 10к в секунду

То есть если заведомо отключить http keepalive

а чем тестил?

как считал хендшейки?

В гитлабе поищи юзера Andorka, там открытый проект

Ща сам поищу

https://gitlab.com/Andorka/nginx-ssl-perf-test

спасибо гляну

ну т е в худшем случае все ранво при разынх клиентах будет 500 -1000 запросов

ну т е в худшем случае все ранво при разынх клиентах будет 500 -1000 запросов

В вырожденном сферическом случае - да, в районе тыщи хендшейков в секунду на ядро Очень сомневаюсь что у тебя нет кипэлайва

а есть наработки как тюнил нгинкс сам?

Там же конфиг лежит

Там не очень много

нгинкс

понял хорошо

Наверняка можно ещё потюнить, я этим только полвечера занимался

нгинкс

Ынжынгц

Всем ку, кто перелез на 1.13 ?

я жду пока gke хотя бы до 1.12 обновится)

https://www.projectcalico.org/whats-new-in-calico-v3-4/ >With Calico v3.4, you can now advertise Kubernetes service cluster IPs over BGP.

я не совсем догоняю, как это поможет обойтись без LB. Вот у меня приватная сеть ipv4 адресов для сервисов, калико может часть из них адвертайзить, и что? Как снаружи то заходить. Все равно ставить еще один LB, который роутит уже на внутренние адреса.

я не совсем догоняю, как это поможет обойтись без LB. Вот у меня приватная сеть ipv4 адресов для сервисов, калико может часть из них адвертайзить, и что? Как снаружи то заходить. Все равно ставить еще один LB, который роутит уже на внутренние адреса.

это скорее удобно для достаточно больших компаний кто контролирует сеть и у кого помимо куба есть еще много чего

https://www.projectcalico.org/whats-new-in-calico-v3-4/ >With Calico v3.4, you can now advertise Kubernetes service cluster IPs over BGP.

А ограничения как у MetalLB для BGP сохраняются же? Что при изменении эндпоинтов все соединения дропаются.

я то откуда знаю, только заанонсили)

А ограничения как у MetalLB для BGP сохраняются же? Что при изменении эндпоинтов все соединения дропаются.

Ты уверен, что это металлб должен обрабатывать?

кто какую версию metallb юзал?

Ты уверен, что это металлб должен обрабатывать?

Я его не щупал, просто у него в доках про это есть упоминание, правда ошибся, там про ноды. The biggest is that BGP-based load balancing does not react gracefully to changes in the backend set for an address. What this means is that when a cluster node goes down, you should expect all active connections to your service to be broken (users will see “Connection reset by peer”).

я не совсем догоняю, как это поможет обойтись без LB. Вот у меня приватная сеть ipv4 адресов для сервисов, калико может часть из них адвертайзить, и что? Как снаружи то заходить. Все равно ставить еще один LB, который роутит уже на внутренние адреса.

Ingress controller тебе поможет

Ingress controller тебе поможет

:) чем же?

:) чем же?

Рассмотрим простой пример. Одну из нод ты выделяешь по под с ingress контроллером, мапишь его на 80 и 443 порты. Далее для сервиса определяешь ingress на то доменное имя, по которому будет доступно твоё приложение. Доменное имя должно ссылаться на ту ноду с подом ingress контроллера.

Для отказоустойчивости, тебе понадобится как минимум три ноды под под с ingress контроллером

как разгрузить ингресс контроллер основной вопрос

а сам ingress controller типа nodePort?

чтобы он работал в режиме reverse proxy

или кто там, externalIP?

а сам ingress controller типа nodePort?

Да

и потом если у меня нода отъехала, то нужно идти править днс?

Нет

если смотреть по нагрузке где рабочие поды нгинксы и перед ними ингресс контроллер то они там вообще не работают

работает только нода отдлеьаня с демоном ингресс контроллера ну точнее загружена

и потом если у меня нода отъехала, то нужно идти править днс?

Для этого у тебя будет три ноды с виртуальными ip которые будут переезжать на живую ноду с Ingress контроллером

Для этого у тебя будет три ноды с виртуальными ip которые будут переезжать на живую ноду с Ingress контроллером

и кто это делает? keepalived?

А в днс прописываешь round robin alias

и кто это делает? keepalived?

На твой вкус. Я выбрал Pacemaker

а зачем такая сложная схема? в смысле почему бы просто LB не поставить

а два keepalived могут быть в кластере? один для мастер нод а другой для рабочих?

а зачем такая сложная схема? в смысле почему бы просто LB не поставить

Если ты не в облаках, то только так

я вот не в облаках, у меня LB эту работу делает

народ, сориетнитуйте плз по метрике прометеуса на летенси по сетке (calico) внусти кластера роюсь - не могу найти думал нарою что-то по node exporter - хрен там, либо плохо искал

я вот не в облаках, у меня LB эту работу делает

А как ты порты ловишь подов и хосты на которых они находятся?

А как ты порты ловишь подов и хосты на которых они находятся?

Думаю за него это делает контроллер

я не совсем понимаю вопрос. Я поставил MetalLB, а дальше — magic.

да, в смысле их ловлю не я, а MetalLB

да, в смысле их ловлю не я, а MetalLB

Внутри кластера?

порт указывается при создании сервиса, также как в облаке, когда делаешь type=LoadBalancer

переезд пода контроллер отслеживает самостоятельно, потому что — да, он запущен в кластере тоже как под

так или иначе, ни это решение, ни схема с HA ingress controller не избавляет от LB/VRRP. Это я к моему изначальному вопросу про новую фичу калико.

А ограничения как у MetalLB для BGP сохраняются же? Что при изменении эндпоинтов все соединения дропаются.

Это проблема сетевого железа, какие-то умеют консистентное хеширование, какие-то -- нет. Эту проблему можно решить, используя ipvs с маглев-хэшингом, в 4.18 впилили.

так или иначе, ни это решение, ни схема с HA ingress controller не избавляет от LB/VRRP. Это я к моему изначальному вопросу про новую фичу калико.

Ну новая фича вроде позволяет сделать ecmp?

Значит это балансировщик внутри кластера. Так как по умолчанию маршрутизацией занимается iptables по умолчанию, но можно сконфигурировать кластер на использование ipvs. Тогда сторонние балансировщики внутри кластера будут не нужны. А для того чтобы выкинуть сервис наружу, тебе нужен Ingress, а для него Ingress контроллер

Или калико не умеет в ecmp?

я не совсем догоняю, как это поможет обойтись без LB. Вот у меня приватная сеть ipv4 адресов для сервисов, калико может часть из них адвертайзить, и что? Как снаружи то заходить. Все равно ставить еще один LB, который роутит уже на внутренние адреса.

Сиысл в том, чтоб сделать сеть сервисов и подов маршрутизируемой, и использовать возможности кубернетесовой балансировки.

Или калико не умеет в ecmp?

Это не калико должно уметь, а сетевая железка, с которой калико пирится.

Не совсем

Даже не просто уметь, а консистентно уметь.