Vadim
идея интересная, но вроде толком не тестированная
Maksim
ну и про мастеры вроде аргументы были внятные. Предложенная вами структура фактически federation
По мне так это сплит брейн....ещё и админом сделанный...
Andrey
а просто active-active api ктоорый в сторонке стоит - не spilt brain? не вижу разницы
Vadim
пять мастеров должно хватить всем!
Maksim
а просто active-active api ктоорый в сторонке стоит - не spilt brain? не вижу разницы
Неее сплит не в что что два апи сервера актив-актив, а вто м что каждый кублем смотрит в СВОЙ АПи сервер
Andrey
хорошо. есть два сервера с апи. есть два воркера. один воркер через lb говорит с первым апи, второй со вторым.
Maksim
через lb.
Andrey
и?
Maksim
то есть для воркеров апи то один
Andrey
нет
Maksim
Да.
Andrey
поскольку сессия обслуживается не лоадбалансером, а апи сервисом, то каждый воркер идёт к своему апи
Andrey
в какой-то момент времени они могут обращаться к одному апи, какой-то момент времени - к разным
Maksim
а что за балансир?
Andrey
это контролируется лоад балансером
Andrey
nginx revers proxy
Andrey
например
Andrey
вот у вас - какой?
Maksim
Так иди и читай мат часть.
Andrey
ненене.
Maksim
У меня nginx. И API server то как раз один
Andrey
ip один. а апи сервисов за ним сколько?
Maksim
а это уже не важно
Maksim
вообще не важно
Andrey
а почему тогда это становится важно, когда воркер идёт на 127/0/0/1?
Andrey
Не, Максим, тут ты не прав
Maksim
Потому что в первом случае при nginx revers proxy у меня Один API сервер
Maksim
в твом их Много
Andrey
у тебя один LB
Andrey
за которым много API сервисов
Vadim
эмм, а если локальный аписервер погиб - то вся нода отвалится? (в сетапе с 127.0.0.1)
Andrey
получается, что да
Vadim
тогда в чем преимущество решения?
Vadim
так медленно придем к идее выносить апи сервера отдельно, как полчаса назад было с etcd?
Andrey
а если погиб lb, за которым api сервисы, то тогда отвалится весь кластер
Vadim
верно
Vadim
такой вот tradeoff
Maksim
а если погиб lb, за которым api сервисы, то тогда отвалится весь кластер
Для этого делают всякие peacemaker ) и плавыющие ip
Andrey
в гробу я видал этот peacemaker, сбасибо наелся :)
Andor
он не единственный вариант как сделать HA для одного адреса
Vadim
но плюс в том что а) один lb мониторить проще, б) если сделать на haproxy, то много ему не надо - и восстановится он быстро
Andrey
я хочу сделать ha k8s кластер средствами k8s
Andrey
да
Andrey
вы меня медленно, но верно убеждаете
Andrey
раз etcd выносить, то можно и api туда же
Maksim
а ещё есть шедулер и контроллер)
Andrey
ага :)
Vadim
сделай два лоадбалансера на хапроксях с round-robin по dns, например (хотя такое я не тестил)
Andor
но ведь кубер - он не про ha, он про оркестрацию?
Andrey
ucarp лучше
Andrey
про triplek не в курсе :)
Vadim
(аллюзия на опенстакового монстра TripleO - Openstack on Openstack)
Anton
Всем привет
Mikhail
извините что про openstack - конторе подогнали акк в openstack cloud имени t-mobile, оно вообще рабочее?
Maksim
извините что про openstack - конторе подогнали акк в openstack cloud имени t-mobile, оно вообще рабочее?
не знаю) щас этих облаков на openstack как собак)
Vadim
(дисклеймер: ненавижу опенстак)
Я не видел еще кластера который бы жил дольше года. Там вечно какой-то фатальный недостаток и всё надо по новой редеплоить. Но так да, виртуалки можно запускать, вольюмы там
Dan
(дисклеймер: ненавижу опенстак)
Я не видел еще кластера который бы жил дольше года. Там вечно какой-то фатальный недостаток и всё надо по новой редеплоить. Но так да, виртуалки можно запускать, вольюмы там
не, это перебор, я их много сопровождал пока не свалил из консалтинга. Но да, я тоже не фанат опенстак, это очень нишевый продукт и пихать его куда попало имхо идиотизм
Vadim
Vadim
смотря для какого, мне в CI RHV хватает
я честно говоря не смотрел апи RHV, но если она внятная то тут дилемма Эскобара
Dan
я честно говоря не смотрел апи RHV, но если она внятная то тут дилемма Эскобара
скорее это вопрос масштабирования (RHV прекрасно тянет несколько сотен хостов, но с тысячами уже сложнее) и потребности в разделении ресурсов (в RHV RBAC есть, но не как в опенстаке с tenants)
Vadim
интересно, KubeVirt уже как-нибудь тестировали, оно по идее должно потянуть тысячу (раз те ребята 2500 нод смогли после тюнинга)
Михаил
Dan
Andrey
это вроде проект мирантиса ?
Anton
я хочу сделать ha k8s кластер средствами k8s
Есть же self hosted вариант размещения мастер компонент. Только там альфа и ограничения
Алексей
#whois
RTB, и мобильные платежи
широкого профиля
иногда могу задать интересный вопрос, иногда на него ответить
пока не знаю, возможно источник информации
родом с Кемеровской области
habr
Алексей
--proxy-mode=ipvs кто нибудь использовал?
или kube-router для сети
интересует как оно себя ведет на большом количестве входящих запросов по http (50 - 60k rps)
Anton
Алексей
не густо
Oleg
--proxy-mode=ipvs кто нибудь использовал?
или kube-router для сети
интересует как оно себя ведет на большом количестве входящих запросов по http (50 - 60k rps)
На такой вопрос долго ответа ждать будете. Быстрее будет поднять это все в миникубе и протестить jmeter/locust
А ну и чтоб не морочиться с пониманием результатов - istio поднять.
Это все требует времени, зато весело и понятно
Алексей
In Kubernetes, the proxies are injected into pods and traffic is captured by programming iptables rules
Алексей
а зачем мне это?
Алексей
да и миникуб мне собственно тоже не за чем, протестить я и в лабе могу, меня интересует опыт людей у которых в кластер идет большой поток запросов
тестить можно то что ожидаешь, а интересует то чего не ожидаешь.
Oleg
Anonymous
Можно ли в кубере использовать etcd для хранения своих данных?