Solyar
Моё погружение было Флант (доклад по куберу) / K8s hard way/ Docs
Й
Ой, не любят тут флант, почему-то
Solyar
Не видел ни одного хейтера и даже с Дмитрием тут общался
George
Ой, не любят тут флант, почему-то
Доклады Столярова прекрасны, но какое отношение это имеет к работе его компании ? 😳
George
И статьи у них на Хабре толковые
George
Вы точно мне?
Мысль продолжаю
George
галеры)
Гаал-эра?
Dmitry
Вообще кругом хеллоу волд
Dmitry
Нет прям папских туториалов
Й
Хммм, а можете расскрыть мысль, более полно? Чего не хватает?
Aleksandr
наверное потому что когда "папа" построил инфраструктуру, он не хочет потратить неделю, чтобы ее описать в статье, при этом выпилив из нее все специфичные для своей инфраструктуры вещи
Max (Papko)
Коллеги, вопрос по LB для kube-apiserver. Проектирую multimaster на трёх ДЦ, на bare-metal. И собственно в поисках наилучшего варианта для LB. Строил подобный кластер на external LB на haproxy, стабильно, хорошо, но расходуются три виртуалки, и конечно же хочется минимизировать расход ресурсов. (Примерно как тут https://medium.com/faun/configuring-ha-kubernetes-cluster-on-bare-metal-servers-with-kubeadm-1-2-1e79f0f7857b) Строил мастеров на keepalived c единым VIP, в этой схеме не расходуются лишние мощности, но возникат вопрос, насколько эта схема надёжнее, чем, например предложенная ребятами из kubespary "local internal loadbalancer" https://github.com/kubernetes-sigs/kubespray/blob/master/docs/ha-mode.md То есть короче говоря, нужно выбрать между internal LB и мастерах на keepalived. Может у кого то есть опыт или соображения?
George
переключение между ДЦ ведь можно на основе того же BGP сделать?
𝚔𝚟𝚊𝚙𝚜
Хммм, а можете расскрыть мысль, более полно? Чего не хватает?
Хочется объяснить что контейнер - это такой же процесс в системе, как и все остальные. Подробнее рассказать про cgroups и про неймспейсы ядра linux, разжевать 12 factor-apps. Что такое контейнер и что представляет собой Docker/Kubernetes. Описать принципы и базовые концепции Kubernetes, ведь Kubernetes - это не только про контейнеризацию, Kubernetes - это в первую очередь штука которая предоставляет очень крутой уровень абстракций для всего. Рассказать что такое service account, показать как круто можно работать с Kubernetes API прямо из пода и проектировать приложения для этого. Чтобы после прочтения было сразу понятно как дебажить под, если он умирает и не пишет логов, и не возникало вопросов: можно-ли запускать базу данных в кубе или почему нужно по процессу на контейнер.
Lucky SB
но лень ;)
Lucky SB
Коллеги, вопрос по LB для kube-apiserver. Проектирую multimaster на трёх ДЦ, на bare-metal. И собственно в поисках наилучшего варианта для LB. Строил подобный кластер на external LB на haproxy, стабильно, хорошо, но расходуются три виртуалки, и конечно же хочется минимизировать расход ресурсов. (Примерно как тут https://medium.com/faun/configuring-ha-kubernetes-cluster-on-bare-metal-servers-with-kubeadm-1-2-1e79f0f7857b) Строил мастеров на keepalived c единым VIP, в этой схеме не расходуются лишние мощности, но возникат вопрос, насколько эта схема надёжнее, чем, например предложенная ребятами из kubespary "local internal loadbalancer" https://github.com/kubernetes-sigs/kubespray/blob/master/docs/ha-mode.md То есть короче говоря, нужно выбрать между internal LB и мастерах на keepalived. Может у кого то есть опыт или соображения?
На картинке адский ад накручен. не симметричная конфигурация, хапрокси heartbeat И metallb. омг. делай как в кубспрее. много маленьких личных балансировщиков лучше одной точки отказа.
𝚔𝚟𝚊𝚙𝚜
Коллеги, вопрос по LB для kube-apiserver. Проектирую multimaster на трёх ДЦ, на bare-metal. И собственно в поисках наилучшего варианта для LB. Строил подобный кластер на external LB на haproxy, стабильно, хорошо, но расходуются три виртуалки, и конечно же хочется минимизировать расход ресурсов. (Примерно как тут https://medium.com/faun/configuring-ha-kubernetes-cluster-on-bare-metal-servers-with-kubeadm-1-2-1e79f0f7857b) Строил мастеров на keepalived c единым VIP, в этой схеме не расходуются лишние мощности, но возникат вопрос, насколько эта схема надёжнее, чем, например предложенная ребятами из kubespary "local internal loadbalancer" https://github.com/kubernetes-sigs/kubespray/blob/master/docs/ha-mode.md То есть короче говоря, нужно выбрать между internal LB и мастерах на keepalived. Может у кого то есть опыт или соображения?
> multimaster на трёх ДЦ, на bare-metal Тут стоит сразу сделать оговорку, что если связь между ДЦ не очень стабильная, то можно упереться в etcd, т.к. etcd будет работать только тогда, когда доступно большинство нод в кластере (т.е. кворум). Не могу советовать пока не попробовал сам, но я бы рассмотрел возможность federation для создания мульти-дц кластера. > Строил подобный кластер на external LB на haproxy, стабильно, хорошо, но расходуются три виртуалки, и конечно же хочется минимизировать расход ресурсов. Haproxy можно запускать на тех же нодах где и keepalived, тогда будет норм. > Строил мастеров на keepalived c единым VIP, в этой схеме не расходуются лишние мощности, но возникат вопрос, насколько эта схема надёжнее, чем, например предложенная ребятами из kubespary "local internal loadbalancer" keepalived + haproxy работает довольно стабильно, юзаем подобную связку в проде уже больше года. Проблема Keepalived в том, что в виду antispoofing protection у многих хостинг провайдеров, VRRP и плавающий айпишник попросту работать не будут. Local internal loadbalancer данной проблемы не имеет, потому и активно применяется в kube-spray.
Max (Papko)
Lucky SB
Да, там имеется ада, потому статья больше чтобы донести мысль. Про избежание точки отказа оч годный совет, спасибо.
и таки да. обрати внимание, что в кубспрее прокси только на рабочих узлах. а вот на мастерах контроллер менеджер, шедулер и куб-прокси общаются только со своим локальным API сервером на 127.0.0.1 и никаких балансировщиков им не надо
Max (Papko)
> multimaster на трёх ДЦ, на bare-metal Тут стоит сразу сделать оговорку, что если связь между ДЦ не очень стабильная, то можно упереться в etcd, т.к. etcd будет работать только тогда, когда доступно большинство нод в кластере (т.е. кворум). Не могу советовать пока не попробовал сам, но я бы рассмотрел возможность federation для создания мульти-дц кластера. > Строил подобный кластер на external LB на haproxy, стабильно, хорошо, но расходуются три виртуалки, и конечно же хочется минимизировать расход ресурсов. Haproxy можно запускать на тех же нодах где и keepalived, тогда будет норм. > Строил мастеров на keepalived c единым VIP, в этой схеме не расходуются лишние мощности, но возникат вопрос, насколько эта схема надёжнее, чем, например предложенная ребятами из kubespary "local internal loadbalancer" keepalived + haproxy работает довольно стабильно, юзаем подобную связку в проде уже больше года. Проблема Keepalived в том, что в виду antispoofing protection у многих хостинг провайдеров, VRRP и плавающий айпишник попросту работать не будут. Local internal loadbalancer данной проблемы не имеет, потому и активно применяется в kube-spray.
С etcd и его чеками и кворумом рафта проблемы исследовали, протестировали, все ок. От федерации хочется отказаться, выглядит сыровато и ненадежно. За опыт про стабильность на external haproxy спасибо, имею ту же картинку на прошлой работе, а вот про internal proxy были сомнения, наскольэто production ready решение.
Lucky SB
Спасибо, про мастеров оч полезно, как раз не дошли руки разобраться, почему кубеспрей не несет на мастера lb
потому что вредно это на мастерах. если локальный API Умер, значет нода с мастером не очень себя чуйствует. так что пусть и остальной контрол плейн не мешается и тоже умрет.
Lucky SB
С etcd и его чеками и кворумом рафта проблемы исследовали, протестировали, все ок. От федерации хочется отказаться, выглядит сыровато и ненадежно. За опыт про стабильность на external haproxy спасибо, имею ту же картинку на прошлой работе, а вот про internal proxy были сомнения, наскольэто production ready решение.
нуу был негативный опыт с keepalived+haproxy. Когда сеть стала фапать и в итоге все закончилось тем, что ip адрес балансировщика хаотично перемещался постоянно. а все потребители не очень-то и поспевали за ним.
Lucky SB
в итоге проблемы в части сети привели к хаосу в кластере. а учитывая, что контроллер-менеджер и шедулер также через этот балансер работали....
Max (Papko)
Угу, понял. Ладно, попробую local lb в этот раз, всем спасибо, уперся в отсутствие опыта, оч выручили!
𝚔𝚟𝚊𝚙𝚜
Lucky SB
А в этой схеме точно haproxy был? Ведь клиентам должно быть пофиг на какую ноду они попадут, haproxy всегда сбалансирует на рабочую.
ну стандартная схема же. три хапрокси+vrrp с плавающим адресом. проблема было до хапрокси. в том, что клиенты на плавающий адрес слали запросы, а он в этот момент переезжал на другой хапрокси
Max (Papko)
А в этой схеме точно haproxy был? Ведь клиентам должно быть пофиг на какую ноду они попадут, haproxy всегда сбалансирует на рабочую.
Здесь мои размышления приводили к тому, что я не мог спрогнозировать, что произойдёт, если keepalive сплитбрейнется, при том по какой то причине останется связанность его мастера с etcd
Lucky SB
а каким боком кипалив связан с etcd ???
𝚔𝚟𝚊𝚙𝚜
Здесь мои размышления приводили к тому, что я не мог спрогнозировать, что произойдёт, если keepalive сплитбрейнется, при том по какой то причине останется связанность его мастера с etcd
ну как мы уже выяснили keepalived+haproxy должен использоваться только для клиентов, в этом случае ничего страшного не произойдёт, т.к. клиенты всё также будут попадать на одну из нод
Lucky SB
А в этой схеме точно haproxy был? Ведь клиентам должно быть пофиг на какую ноду они попадут, haproxy всегда сбалансирует на рабочую.
и да. щас то понятно, что схема была излишне навороченной. хватило бы адрес сразу между мастерами перекидывать...
Виктор
а как указать в кубере registry если он является соседним севрисом, типа image: registry-service/project/my-fpm:0.1.0 ?
𝚔𝚟𝚊𝚙𝚜
Пользуясь случаем спрошу у комьюнити на счёт политики модерирования оффтопа. Знаю, многие недовольны, потому и хочется получить некий фидбэк.
𝚔𝚟𝚊𝚙𝚜
Й
Проголосовал за пункт 1. За оффтопом - в девопс.ру
Й
Там скучно
Оу, Хрыча снова забанили?)
Alexander
Плохо что нет варианта "немного про околокуберовские темы". Ну то есть добавить обсуждения на чем Кубер крутится - облака наприм и что в Кубере крутится - базы, кэши. И причем чтоб непременно было связано с Кубером. Просто во времена строгого модерирования, такие темы считались уже оффтопом. Обсуждение абстрактного ИТшного: "как собрать KDE под FreeBSD" - не хотелось бы.
G72K
ну как мы уже выяснили keepalived+haproxy должен использоваться только для клиентов, в этом случае ничего страшного не произойдёт, т.к. клиенты всё также будут попадать на одну из нод
В момент переезда IP все активные сессии рвутся, т.к. новый владелец адреса не знает о прошлых TCP сессиях. Получается, что если IP часто метается,то ничего не работает толком. Если использовать NAT/IPVS вместо haproxy, то можно синхронизировать conntrack таблицы между балансировщиками и тогда переезд IP не рвет болшенство сессий
NM
там поди 70% это вода, как обычно
Ну не вода а все таки хорошие мысли выскакивают
🇷🇺 Vladimir
Ну не вода а все таки хорошие мысли выскакивают
трава должна быть зеленой, небо должно быть голубым, настроение должно быть хорошим, мысли должны быть расово верными
🇷🇺 Vladimir
чем не хорошие мысли)
🇷🇺 Vladimir
вот видите, я уже пол книги по куберу написал, надо только развернуть мысль пошире
Andrey
Добрый день, кто может подсказать, настроил Ingress Nginx, но когда иду по ссылке к сайту на node.js браузер пытается загрузить файлы по ссылке без редиректа от ингреса - «http://hostname:ingress_port/js/chunk-vendors.0530f161.js», вместо «http://hostname:app_port/app_ingress_path/path/to/load/file.js» чего может не хватать, чтобы ссылки уходили внутрь нужного пода, а не терялись на ингресе?
🇷🇺 Vladimir
мне кажется проблема с лейблами у сервиса
🇷🇺 Vladimir
проверь чтоб лейблы однозначно указывали на нужную группу подов и что в нее ничего левого не попадает
Andrey
проверь чтоб лейблы однозначно указывали на нужную группу подов и что в нее ничего левого не попадает
ты про это? rules: - host: sandbox.kz http: paths: - path: /lk(/|$)(.*) backend: serviceName: frontend-lk-ingress servicePort: 80 через другой сервис сайт нормально работает, а тут прогружает только базовую часть страницы, все header-ы и лейбл сайта, дальше падает при загрузке ресурсов..
Andrey
у тебя приложение ничего не знает об ингрессе, оно думает что работает на корневом пути от домена, а не в дирретории, потому и отдаёт пути относительно корня а не относительно директории
вообще вижу логи по запросам на nginx-е ингреса, хотя должны прогружаться на nginx-е внутри пода.. может на этом уровне неправильный редирект?
🇷🇺 Vladimir
ну так если запрос не дошел в под значит запрос ушел куда-то еще
🇷🇺 Vladimir
подними дефолтный бэкэнд, если он уходит в него значит редирект неправильный, если уходит не в него значит лейблов не хватает
𝚔𝚟𝚊𝚙𝚜
вообще вижу логи по запросам на nginx-е ингреса, хотя должны прогружаться на nginx-е внутри пода.. может на этом уровне неправильный редирект?
смотри: - у тебя на ингрессе есть правило, все запросы на /app-root/ перенаправлять на / твоего приложения - ты загружаешь страничку по пути /app-root/index.html, приложение видит что ты запросил /index.html и выдаёт её - страничка говорит тебе: возьми app.js по пути /js/app.js - ты запрашиваешь /js/app.js, nginx-ingress в ступоре, так как правила для /js/* у него нет решение: объяснить приложению что оно работает в /app-root/, а не в /, чтобы сразу выдавало правильные пути обходной костыль: создать правило для ингресса что-бы редиректил /js/* в /app-root/js/*
Andrey
ну так если запрос не дошел в под значит запрос ушел куда-то еще
дошел, получил кучу данных в шапку и пошел подгружать js скрипты, но почему-то пошел смотреть их у себя, а не в поде
Andrey
𝚔𝚟𝚊𝚙𝚜
есть и третий костыль, аннотация к ing nginx.ingress.kubernetes.io/rewrite-target
оно же не будет содержимое странички менять?
Andrey
есть и третий костыль, аннотация к ing nginx.ingress.kubernetes.io/rewrite-target
пробовал и rewrite-target и proxy-redirect-from и app-root и другие.. по всем форумам добавляют: apiVersion: extensions/v1beta1 kind: Ingress metadata: name: kubernetes-lk-ingress namespace: lk annotations: nginx.ingress.kubernetes.io/rewrite-target: /$2 kubernetes.io/ingress.class: "nginx" spec: rules: - host: sandbox.almanit.kz http: paths: - path: /lk(/|$)(.*) backend: serviceName: frontend-lk-ingress servicePort: 80 и у них взлетает.. у меня он их как-будто не добавляет в конфиг..
Maksim
можно поиграться, я им решал таки проблемы, сейчас еще сделал аннотация app-root