куб - это не магическая технология, которая решает все проблемы, скорее нечто типа супового набора. Если ты повар, то сваришь вкусный суп. Если начинающий, то пару запорешь

Всем привет, а вот если кто делает HA multi-master k8s кластеры, то как вы организовываете проксирование до apiserver??? может кто-то думал над идеей DaemonSet с networkHost: true в котором linkerd \ Envoy \ Traefik как то получают текущий список живых apiserver прямо из etcd или apiserver ? ну то есть чтобы была возможность зная хотя бы один ip получить все остальные?

суета это все и не надежно. чтобы кублету поднять у себя DaemonSet для доступа к API, ему надо сходить к API. проблема курыца - яцо

А это сложная задача?

нет, но вы тут просто утверждаете, что это полная фигня

Всем привет, а вот если кто делает HA multi-master k8s кластеры, то как вы организовываете проксирование до apiserver??? может кто-то думал над идеей DaemonSet с networkHost: true в котором linkerd \ Envoy \ Traefik как то получают текущий список живых apiserver прямо из etcd или apiserver ? ну то есть чтобы была возможность зная хотя бы один ip получить все остальные?

зачем? ранчер, например, решает эту проблему. Кипэлайв решает эту проблему

А еще днс вдогонку, кубовый встроенный не поможет

поясни. чем он не поможет ?

что тебе еще надо?

куб - это не магическая технология, которая решает все проблемы, скорее нечто типа супового набора. Если ты повар, то сваришь вкусный суп. Если начинающий, то пару запорешь

Так вот получается он может и вкусным, но так пахнет и выглядит, что пробовать на вкус никто не будет :(

ранчер зло

поясни. чем он не поможет ?

я так понимаю, что коллега имеет в виду, что кубовый днс обновляется с задержкой - раз, два - он отдает все поды, а не конкретный один

ранчер зло

почему? норм тема

Так вот получается он может и вкусным, но так пахнет и выглядит, что пробовать на вкус никто не будет :(

идите номад используйте или мезос.

поясни. чем он не поможет ?

Ну если ингресс юзать - надо указыват домены. Я ж не смогу сказать сервису че-то типа backend.api.svc.cluster.local - ингресс на такое не повесится

Ну если ингресс юзать - надо указыват домены. Я ж не смогу сказать сервису че-то типа backend.api.svc.cluster.local - ингресс на такое не повесится

почему? ты можешь вылезать кластера и залезать внутрь

конечно, это не очень эффективно с точки зрения маршрута пакета... но что поделать

полезай внутрь сраного кластера, синдзи

Так. Вот щас есть у меня ингресс для домена www.mydomain.ru И если я юзаю ингресс доя балансировки приложух внутри кластера - мне придется такого плана самому завести домены, пользоваться автоматически созданными от самого куба не выйдет

Ну если ингресс юзать - надо указыват домены. Я ж не смогу сказать сервису че-то типа backend.api.svc.cluster.local - ингресс на такое не повесится

зачем ? пропиши в заголовке запроса нужный хост. отправь запрос на loca_balancer.api.svc.cluster.local

полезай внутрь сраного кластера, синдзи

Нужно больше ингресс-контроллеров, милорд

зачем ? пропиши в заголовке запроса нужный хост. отправь запрос на loca_balancer.api.svc.cluster.local

Так это изменение логики приложения же?

Так это изменение логики приложения же?

да там и так все запущенно до терминальной стадии. только ампутация поможет

да там и так все запущенно до терминальной стадии. только ампутация поможет

Так пациент не хочет

ну значит ждем, пока само отвалится

ингресс для балансировки http. если твои сервисы не соблюдают принципы микросервисности, когда общение идет через одну точку входа в API и общаются между собой напрямую, и при этом не умеют ретрай и прочее. то можешь для только для них поднять отдельный дополнительный ингресс-контроллер, который в интернет трочать не будет

Framework от Netfix для микросервисов использует спец клиент для общения микросервисов между собой. Он сам делает балансировку, устойчивости на клиенской стороне. Так что разные бывают принципы у микросервисов. Хотя возможно это и поменялось, давно не сморел что у них.

Так. Вот щас есть у меня ингресс для домена www.mydomain.ru И если я юзаю ингресс доя балансировки приложух внутри кластера - мне придется такого плана самому завести домены, пользоваться автоматически созданными от самого куба не выйдет

Что мешает в ингрессе прописать - host: test-ingress.default.svc.cluster.local и ходить в него по внутренней сети?

ну значит ждем, пока само отвалится

А виноват будет Путин, что не запретил использовать Кубер

Что мешает в ингрессе прописать - host: test-ingress.default.svc.cluster.local и ходить в него по внутренней сети?

Я тоже не понимаю, но это другой вопрос 🧩

Что мешает в ингрессе прописать - host: test-ingress.default.svc.cluster.local и ходить в него по внутренней сети?

тем что coredns ложил на ваш ингресс и будет все равно отдавать айпишник сервиса?

Дак создать сервис который указывает на ингресс прямо? selector: app: nginx-ingress component: controller release: nginx-ingress

Если я редактирую deployment через kubectl edit deploy, то pod сам перезапустится?

тем что coredns ложил на ваш ингресс и будет все равно отдавать айпишник сервиса?

они хотят свой отдельный балансировщик-ингресс-контроллер под каждое приложение-сервис

они хотят свой отдельный балансировщик-ингресс-контроллер под каждое приложение-сервис

Ну, ты прав, что у нас все ходило через внешний ингрес, фу-фу-фу

Либо у меня такое чувство, что коллеги используют консул для Дискавери живых сервисов 😳

Если я редактирую deployment через kubectl edit deploy, то pod сам перезапустится?

зависит от того что ты редактируешь. то так да. будет проведена процедура роллинг апдейта

Очевидно что надо просто поставить Istio на самом деле и проблема решена

Либо у меня такое чувство, что коллеги используют консул для Дискавери живых сервисов 😳

консул в номад - это в соседнем подъезде тусят

зависит от того что ты редактируешь. то так да. будет проведена процедура роллинг апдейта

PILOT_TRACE_SAMPLING в istio-pilot

они хотят свой отдельный балансировщик-ингресс-контроллер под каждое приложение-сервис

нет ну дело полезное только а) app-unaware будет слабая поделка вида NLB только на энвоях \ хапрокси б) Service ничего такого позволяет, так что либо тонны аннотаций либо свои CRD в) тут с ингрессом разобраться не могут пока что

Привет! Помогите разобратсья с резолвом, на всех нодах днс просписал, с нод резолвится в кубер ни в какую. coredns под на 3й ноде: jenkins-596fdddf64-dh6wz 1/1 Running node3 с нее резолвится: [rivanov@node3 ~]$ host mbp-prm-runner.dom.local mbp-prm-runner.dom.local has address 10.252.58.140 из пода нет... kubectl exec jenkins-596fdddf64-dh6wz ping mbp-prm-runner.dom.local ping: mbp-prm-runner.dom.local: Name or service not known в логах core dns только такие попытки: 2019-07-03T13:22:14.898Z [INFO] 10.233.93.0:46784 - 1818 "A IN mbp-prm-runner.dom.local.default.svc.cluster.local. tcp 71 false 65535" NXDOMAIN qr,aa,rd 164 0.000384568s 2019-07-03T13:22:14.901Z [INFO] 10.233.93.0:46784 - 24972 "A IN mbp-prm-runner.dom.local.svc.cluster.local. tcp 63 false 65535" NXDOMAIN qr,aa,rd 156 0.00024648s 2019-07-03T13:22:14.905Z [INFO] 10.233.93.0:46784 - 6005 "A IN mbp-prm-runner.dom.local.cluster.local. tcp 59 false 65535" NXDOMAIN qr,aa,rd 152 0.000459704s /etc/resolve.conf: # Generated by NetworkManager search dom.local nameserver 10.252.58.3 nameserver 10.252.58.4 nameserver 8.8.8.8 coredns configmap: data: Corefile: | .:53 { log errors health kubernetes cluster.local in-addr.arpa ip6.arpa { pods insecure upstream /etc/resolv.conf fallthrough in-addr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf cache 30 loop reload loadbalance } Куда еще копать? чет руки уже опускаются.

ndots:5

ndots:5

это мне ?

Ага

Ага

почитаю спс

Фолкс, а есть какой-нибудь фреймворк или набор скриптов для чека что в поде у тебя соседи\другие сервисы живы прежде чем стартовать? типа такого, https://github.com/docker-library/postgres/issues/146 только более доработанного? фреймворк какой там чтоли а?

Фолкс, а есть какой-нибудь фреймворк или набор скриптов для чека что в поде у тебя соседи\другие сервисы живы прежде чем стартовать? типа такого, https://github.com/docker-library/postgres/issues/146 только более доработанного? фреймворк какой там чтоли а?

Ну, тебе никто не мешает расшарить вольюм между контейнерами в поде. А далее создавать в нем файлы флагов

Ну, тебе никто не мешает расшарить вольюм между контейнерами в поде. А далее создавать в нем файлы флагов

жесть какая, а можно без локов через файлы?)

Можно лок в etcd брать

@vrutkovs точно знает ответ на этот вопрос )

Фолкс, а есть какой-нибудь фреймворк или набор скриптов для чека что в поде у тебя соседи\другие сервисы живы прежде чем стартовать? типа такого, https://github.com/docker-library/postgres/issues/146 только более доработанного? фреймворк какой там чтоли а?

обычно не заморачиваются. проверяют готовность соседа от которого зависишь - если ее нету - то умираем. куб потом сам запустит новый контейнер

обычно не заморачиваются. проверяют готовность соседа от которого зависишь - если ее нету - то умираем. куб потом сам запустит новый контейнер

Ну не всегда это можно, хорошо бы чтобы писалось приложение так, но когда это тебе передали как коробка в виде джарника и он например залипает тоска на хелсчек ответит что то но внутри он будет сломанный, и куб из-за того что он не упал, не порестартит

Нормально если только база, но у меня база, кв, amqp/Kafka/nats/rmq, или эндпойнты разные например, один graphql другой grpc

Кто то ведь делал что-то подобное, может есть фреймворк какой на гошке м?

Гайз, а есть уже в компании которые саппортят istio?:)

Можно лок в etcd брать

А как? В тот же что основной(хммм) или рядом деплоить для нужд приложения?

Гайз, а есть уже в компании которые саппортят istio?:)

IBM?)

они вроде в клауде только это делают у себя, не?

речь про in-house кластеры

Фолкс, а есть какой-нибудь фреймворк или набор скриптов для чека что в поде у тебя соседи\другие сервисы живы прежде чем стартовать? типа такого, https://github.com/docker-library/postgres/issues/146 только более доработанного? фреймворк какой там чтоли а?

А не боитесь каскадных отказов?

Я деплою приложение в куб. Я даю туда трафик. Я обновляю приложение и вижу несколько обломанных коннектов во время деплоя. Я понимаю, что это потому, что правила iptables запаздывают. Я пробую вместо iptables использовать приложение-балансировщик, специально созданное для этого. Что тут не так?

Все так.кому это важно пишут preStop скрипт sleep 10

Остальные не парятся

Все так.кому это важно пишут preStop скрипт sleep 10

Эх :( Вот и я таким страдаю, а хочется все по красоте

preStop красиво и работает в отличие от мешей

Я уже после той дискуссии боюсь спрашивать, юзал ли кто macvlan или ipvlan, т.к в тестах вроде огонь, да и macvlan очень понятный, но с ними ж iptables тоже не работает...

preStop красиво и работает в отличие от мешей

Меши тоже работают, если заливать их боблом

Меши тоже работают, если заливать их боблом

О, да, давайте удобрять меши кровью и слезами админов и сжигать денежные мешки во славу богов гугла

не волнуйся, твой мешок сжигать не будем

О, да, давайте удобрять меши кровью и слезами админов и сжигать денежные мешки во славу богов гугла

Я не предлагал так делать, я просто позанудствовал

Всё-таки нельзя сказать, что они не работают

не волнуйся, твой мешок сжигать не будем

Спасибо за заботу о моей психике, дорогой

Я уже после той дискуссии боюсь спрашивать, юзал ли кто macvlan или ipvlan, т.к в тестах вроде огонь, да и macvlan очень понятный, но с ними ж iptables тоже не работает...

У меня на 48'ом сервере при гигабите мелкопакетного трафика macvlan умирал, т.е. отваливалось всё, что на нём висит.

Но так норм, очень топорный и простой

О, да, давайте удобрять меши кровью и слезами админов и сжигать денежные мешки во славу богов гугла

А разве это не про кубеня вцелом?

У меня на 48'ом сервере при гигабите мелкопакетного трафика macvlan умирал, т.е. отваливалось всё, что на нём висит.

О, интересно. А что не умирает?

А разве это не про кубеня вцелом?

Не знаю

О, интересно. А что не умирает?

Ну бридж не умирал

достаточно некубового оффтопа, спасибо

Ну бридж не умирал

Бридж + что? Там ж возможны варианты :)

достаточно некубового оффтопа, спасибо

Про докер это оффтоп уже?

Про докер это оффтоп уже?

Да ну какой докер-то в 2019 :)

Под кубером

А у вас крио?