на сервисы

деплой у меня отличается от штатного немного sysctl добавленны чтоб в режиме тунелирования работало + prometheus метрики выведенны

не, я про то как роутится трафик из внешней сети в куб

пакеты идут на lvs балансировщик с него на поды с подов напрямую к клиенту

сеть l2

и внешка и внутренняя

в L2-режиме меня смутило что на простой arp-запрос who-has, отвечают сразу все ноды кластера

у вас так же?

или как ваш роутер узнает на какую ноду слать пакеты?

сервисы висят на noarp интерфейсе это те которые внутренние внешка выделенна в 3 машины, l2 только на них собственно проблемы не вижу

в общем то это более менее стантартный способ рабоы lvs

Роман, покажи поды в kube-system и кинь ссылку на daemon-set сети

https://pastebin.com/UED9BD47 Сеть L3. Я похоже разобрался. Если сделать route внешней сетки на сервере где есть kube-router, то все работает и трафик уже начинает роутится.

Алексей у меня по умолчанию все ноды отвечали, у вас получается только три? - или что значит "внешка выделенна в 3 машины"? - просто arp работает там?

если использую отдельный vip с маскарадингом то да но я в основном использую tunneled режим, маскарадинг мой трафик не тянет а в tunneled режиме vip и nodeip одно и тоже

Очень интересно:) У меня много IP-адрессов и много нод, нужно организовать несколько точек входа для каждого из них. Kube-router выглядит очень многообещающе но как разрулить эти точки входа в L2-режиме я так и не придумал, похоже arptables надо просто подкрутить

vмного нод это сколько?

4-6

ну пока 200

а они что все должны торчать наружу?

ну пока 200

А сколько сервисов и pod-ов?

ну пока не так много kubectl get pod --all-namespaces | wc -l 1626

собственно lvs в режиме тунелирования или directrouting позволяет прокачивать очень много, 30 krp/s у меня через lvs спокойно пролазиет

это на 4 нодах которые смотрят наружу основная нагрузка идет на nginx/haproxy внутри

в принципе хватило бы и одной ноды, но входящий канал не позволяет

туннелинг это тот который: --enable-overlay When enable-overlay set to true, IP-in-IP tunneling is used for pod-to-pod networking across nodes in different subnets. When set to false no tunneling is used and routing infrastrcture is expected to route traffic for pod-to-pod networking across nodes in different subnets (default true)?

нет

annotations: kube-router.io/service.dsr: tunnel

service.dsr грепни в документации

спасиб!

там без sysctl специфических не заведется, ну вернее зависит от того что дефолтом

и от версии ядра

ну и в принципе можно еще vrrp впилить тогда оно еще и внешние ip отказоустойчивыми сделает

ага, то есть это тот самый новомодный Direct server return

ну и в принципе можно еще vrrp впилить тогда оно еще и внешние ip отказоустойчивыми сделает

ну кстати да тоже вариант, хотя я сейчас romana-vip использую

но когда тестил kube-router, очень понравился своей нативностью и наличием DSR - его то я правда и не потестил тогда

а почему ‘новомодный Direct server return’ я эту хрень юзал в 2005 году еще

если не ошибаюсь по времени

ну в 2008 точно

потому что никто кроме kube-router больше не предоставляет эту функцию, везде по умолчанию предлагается только nat, в какой-то момент она меня очень заинтересовала, но до тестов пока так и не дошло

доброго дня, подскажите что дает реплика 3шт kube-dns (делаю по этой статье с 3-я мастерами) https://habr.com/post/358264/#othermaster

сейчас используем romana и pipework для некоторых сервисов, который в принципе делает почти тоже самое. (ассигнит внешний ip в сетевой неймспейс пода), pipework - хочется выкинуть, но увы, вариантов пока особо нет.

на текщий момент 3 мастера все в статусе Ready, но потом предлагается kube-dns реплицировать до количества мастеров, и затем прописать количество apiserver-count 3 в манифесте kube-apiserver.yaml каждого мастера- я этот момент никак не поиму - что это дает?

на текщий момент 3 мастера все в статусе Ready, но потом предлагается kube-dns реплицировать до количества мастеров, и затем прописать количество apiserver-count 3 в манифесте kube-apiserver.yaml каждого мастера- я этот момент никак не поиму - что это дает?

там же написанно: > Если вы используете kubernetes версии больше 1.9 этот шаг можно пропустить.

ох я невнимательный.. спс

доброго дня, подскажите что дает реплика 3шт kube-dns (делаю по этой статье с 3-я мастерами) https://habr.com/post/358264/#othermaster

реплика 3шт дает три запущенных dns-пода в кластере, и балансировку между ними

pipework эт что?

я немного не в трэнде, варюсь сам по себе и тенденции не отслеживаю

эт древний скрипт, который позволяет в неймспейс контейнера прокидывать интерфейсы и ассигнить айпишники, прописывать роуты включая дефолтный и все такое https://github.com/jpetazzo/pipework

не рекомендуется к использованию, так как это НЕнативный способ сети в docker и k8s

чет напоминает помесь bridge-utils + обвязку + всякую фигню

так оно и есть

у вас профиль сетевой нагрузки какой в основном?

сервисы с высоким rps есть?

насколько я понимаю использование iptables для сервисов с высоким rps это изначально тупик с костылями высокий это от 5k rps в секунду на ноду

запросов а не пакетов

собственно поэтому я сразу начал плясать от ipvs

тем более я его давно знаю и пользую

сколько rps честно не знаю, но такие севисы точно есть, потеря призводительности - это одна из основных причин почему мы пробрасываем внешние интерфесы сразу в под, а не роутим средствами k8s

но повторюсь, от этого очень хочется уйти

ну боль понятна, скриптами обросли

Не, скрипт то один, и запущен как демонсет, эт ваще не напрягает

Не нравится то, что куб ничего не знает о том что происходит внутри контейнера и никак не отслеживает эти изменения

Не нравится то, что куб ничего не знает о том что происходит внутри контейнера и никак не отслеживает эти изменения

crictl в помощь с containerd

CRI-O ещё.

Не понял, а это тут при чем?

Разговор был про сетевой стейк контейнера

Hi all. Anyone have that issue ? == Failed to curl https://kubeupv2.s3.amazonaws.com/kops/1.9.1/linux/amd64/nodeup. Retrying. == All downloads failed; sleeping before retrying % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 6 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 5 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 4 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0^C

Hi all. Anyone have that issue ? == Failed to curl https://kubeupv2.s3.amazonaws.com/kops/1.9.1/linux/amd64/nodeup. Retrying. == All downloads failed; sleeping before retrying % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 6 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 5 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0Warning: Transient problem: timeout Will retry in 10 seconds. 4 retries left. 0 0 0 0 0 0 0 0 --:--:-- 0:00:19 --:--:-- 0^C

hi, nope curl -o /dev/null https://kubeupv2.s3.amazonaws.com/kops/1.9.1/linux/amd64/nodeup % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 24.1M 100 24.1M 0 0 3499k 0 0:00:07 0:00:07 --:--:-- 5632k

i deployed k8s using kops but have that error on my master node.

command used : kops create cluster --node-count 4 --zones ap-southeast-1a --master-zones ap-southeast-1a --dns-zone=${DNS_ZONE_PRIVATE_ID} --dns private --node-size t2.medium --master-size t2.small --topology private --networking weave --vpc=${VPC_ID} --bastion=true ${NAME}

need to check nat gw on master node ?? because i see my master node is stay on private subnet, but i i already added nat GW.

https://kubecloud.io/ha-kubernetes-cluster-on-aws-kops-makes-it-easy-2337806d0311

i'm using this tutorial.

need to check nat gw on master node ?? because i see my master node is stay on private subnet, but i i already added nat GW.

yep, looks like there is a connectivity problem between your master node and uplink

oke. let me check again.

VN?

Друзья, подскажите почему деплой происходит как-будто из какого-то кеша. Я на докер хабе образ обновил, а деплотся старый?

небось со старым тегом?

небось со старым тегом?

Да

https://kubernetes.io/docs/concepts/containers/images/#updating-images

https://kubernetes.io/docs/concepts/containers/images/#updating-images

Спасибо!

a=1 b=2 envsubst < template.yml > kubectl create -f - прокатит или надо вместо > |?

а ты между ними знаешь разницу?

нужен пайп короче

нужен

Новый сервис для развертывания k8s в публичном облаке (пока AWS, потом другие): https://cloud.vmware.com/community/2018/06/26/introducing-vmware-kubernetes-engine-vke/ В beta можно поучаствовать тут: https://cloud.vmware.com/vmware-kubernetes-engine

Коллеги, подскажите пожалуйста как заставить StatefulSet перекатывать поды? Поставил spec.updateStrategy.type.RollingUpdate Пробовал добавить в spec.template и в spec.template.spec Всё безрезультатно. не перекатываются поды

что такое "перекатывать поды"?

Rolling update - это же при изменениях извне

Т.е. в любом случае что-то должно апдейт дёргать

И да, это же вроде только для деплойментов

anyone know that error ? pods is forbidden: User "kube" cannot list pods in the namespace "default"

прав нет

Вангую это с дэшборда