ну я так понял, что это достаточно удобная штука, чтобы один раз описать что-то, а потом плодить

Для этой цели Ksonnet лучше подойдет

ну как минимум хельм на слуху, а про ksonnet пока не слышал, так что пока ограничусь хельмом, а далее посмотрю.

Можно сразу без хельма делать

Я в итоге отказался от всяческих cni сетей по причине оверхеда, использую bridge а сеть подов имеет L2-связность

если не секрет какой получился профит? Желательно в цифрах.

Без хельма тоже норм

ну если сравнивать с хельмом и без хельма. моим новичковским взглядом кажется, что каша без хельма превращается во вполне адекватные yml с хельмом

Без хельма тоже превращается

ну вот допустим мне надо 5 демонов описать без хельма. как это сделать так, чтобы не дублировать код?

средствами yml?

Средствами других инструментов вместо хельма

а чем хельм плох то?

kustomize, ksonnet, mortar, простой envsubst тысячи их

а чем хельм плох то?

Поищи по чяту по тегу #хельмговно

Поищи по чяту по тегу #хельмговно

погляжу

Ну или как-то так

Согласен, в bare metal меня это тоже смутило, думаю можно попробовать запилить LoadBalancer сервисы без nodePort

На берметале-то, если через metallb, то loadbalancer как clusterip работает, а вот в клауде -- да, очень полезная будет фича. Я где-то слышал, что у гугла так запилено (без nodeport), но сам не смотрел.

Для этой цели Ksonnet лучше подойдет

Удваиваю ksonnet, кстати. Главное -- через отрицание и гнев пройти)

ну вот допустим мне надо 5 демонов описать без хельма. как это сделать так, чтобы не дублировать код?

Да вообще хельмом темплейтить норм, только деплоить им не очень, и в чятике боль связана именно с деплоем через него.

На берметале-то, если через metallb, то loadbalancer как clusterip работает, а вот в клауде -- да, очень полезная будет фича. Я где-то слышал, что у гугла так запилено (без nodeport), но сам не смотрел.

К сожалению нет, он тоже nodePort выделяет под каждый сервис

Только это не ограничение MetalLB, а скорее ограничение куба, как и https://github.com/kubernetes/kubernetes/issues/23880

На AWS не пингуются поды W1220 08:29:07.480895 1 server_others.go:295] Flag proxy-mode="" unknown, assuming iptables proxy I1220 08:29:07.490215 1 server_others.go:148] Using iptables Proxier. W1220 08:29:07.490344 1 proxier.go:319] clusterCIDR not specified, unable to distinguish between internal and external traffic I1220 08:29:07.490442 1 server_others.go:178] Tearing down inactive rules. I1220 08:29:07.850567 1 server.go:464] Version: v1.13.1 I1220 08:29:07.855663 1 conntrack.go:100] Set sysctl 'net/netfilter/nf_conntrack_max' to 131072 I1220 08:29:07.855697 1 conntrack.go:52] Setting nf_conntrack_max to 131072 I1220 08:29:07.856346 1 conntrack.go:100] Set sysctl 'net/netfilter/nf_conntrack_tcp_timeout_established' to 86400 I1220 08:29:07.856402 1 conntrack.go:100] Set sysctl 'net/netfilter/nf_conntrack_tcp_timeout_close_wait' to 3600 I1220 08:29:07.856516 1 config.go:202] Starting service config controller I1220 08:29:07.856528 1 controller_utils.go:1027] Waiting for caches to sync for service config controller I1220 08:29:07.856580 1 config.go:102] Starting endpoints config controller I1220 08:29:07.856590 1 controller_utils.go:1027] Waiting for caches to sync for endpoints config controller I1220 08:29:07.956754 1 controller_utils.go:1034] Caches are synced for service config controller I1220 08:29:07.956754 1 controller_utils.go:1034] Caches are synced for endpoints config controller ошибок нет на proxy. ip назначаются

Куда копать?

ну так у вас куб прокси поломан, в плане добавления правил, руками и не надо ниче делать, и не нужно было изначально

Вроде на скрине ничего не поломано, оно просто не может удалить всю старую цепочку так как там какие то правила остаются , у меня такие же (правила от калико cni там кажется)

Куда копать?

https://telegra.ph/Tut-tak-prinyato-11-04

Вы бы отсортировали что ли, но кажется конкретно quotas. вы не удаляете

ППЦ истио жирный, столько CRD

ребят, соц опрос :). Что вам нравится и не нравится в cilium? А что в других cni? Какой cni вы выбрали и используете? Какие в нем достоинства и недостатки? И если будете строить новый кластер, какой cni выберете и почему?

Вы разработчик cilium или конкурирующей сетки?

Олсо, я всё хотел маршрутизируемые сети подов и сервисов; flannel с aws-бакендом маршруты к сетям в раутинг тейбл публикует, а вот с сервисными сетями я соснул. Но энивей, можно облачные балансеры юзать, но! по дефолту они в качестве бакендов используют нодпорты на нодах кластера, а нодпорт, имхо, перебор в количестве натов. Можно руками конфигурить какие-нибудь эндпоинты и вот это всё, но руками как-то совсем не хочется, и вот я сейчас раздумываю, как же дальше жить.

Только один DNAT на входе же

Доброго времени суток господа. Есть вопрос не знаю куда кинуть (камнями не кидаться) . Дружил-ли кто-нибудь Caddy и oidc (ory-hydra)?

О, расскажите про ory hydra

Построить - можно, мастеров 3 штуки минимум и в минимальном варианте задача решена. А вот нужно ли - непонятно. Фишка куба - запускать много разных приложений, короче говоря "1 приложение - взяли сервер, 5-10 - виртуалки, 1000 - куб".

Это философский вопрос. По мне так фишка куба в готовых ингридиентах и рецептах по их варке. Полезно и для одного приложения

ну если сравнивать с хельмом и без хельма. моим новичковским взглядом кажется, что каша без хельма превращается во вполне адекватные yml с хельмом

Гляньте jsonnet в проекте kube-prometheus и делайте так же, не пожалеете

kustomize, ksonnet, mortar, простой envsubst тысячи их

Кстати хорошие новости, kustomize встраивают в kubectl, будет в 1.14 (https://github.com/kubernetes/kubernetes/pull/70875).

https://telegra.ph/Tut-tak-prinyato-11-04

Виноват уже подпекает кубернетес на AWS. Создал чистую инстанцию на AWS коставил все по манам Kubernetes, собрал контейнер для AWS-cni-k8s включил плагин. Все запустилось IP выделились, на поды назначаются но на подах нет интенета только сеть впеделах инстанции.

Кстати хорошие новости, kustomize встраивают в kubectl, будет в 1.14 (https://github.com/kubernetes/kubernetes/pull/70875).

ДАЛАДНА

Кстати хорошие новости, kustomize встраивают в kubectl, будет в 1.14 (https://github.com/kubernetes/kubernetes/pull/70875).

Жаль только оно не на jsonnet, я его с https://kapitan.dev/ спутал

Но все равно лучше envsubst и от хелма людей отвадит :)

а чем хельм плох то?

Тэг # helmговно (без пробела)

Вы разработчик cilium или конкурирующей сетки?

Конкурирующей

Куда копать?

Вы вчера "забыли" рассказать, что ноды не свежие, на них крутится "два прод докер контейнера" , у нод есть админ и он их активно админит с ферволом UFW . Я с вами не разговариваю :)

Я сам позже понял, когда список пользователей получал

И можно на ты

Конкурирующей

По описаниям киллер фича , которая заставляет посмотреть на него это между кластерная network policy. Не знаю как на практике, но дизайн интуитивно лучше чем у истио, когда надо выделять отдельный контрол плейн на все кластеры (соответственно надо его размазывать по датацентрам чтобы не остаться ни с чем)

Спасибо за направление, перелопатил все сделал маскарадинг сейчас все доступно с другой инстанции, тепеь поверяю coreDNS

Ну и плюс в cillium наливают envoy, если он там не только для L7 полиси, но и для services (т.е. заменяет kube-proxy ) то это отлично, т.к. envoy очень нужен, а истио жирным и страшным кажется

Только один DNAT на входе же

Дык он в сторону clusterip.

Дык он в сторону clusterip.

Нет, сразу в под

Ну и плюс в cillium наливают envoy, если он там не только для L7 полиси, но и для services (т.е. заменяет kube-proxy ) то это отлично, т.к. envoy очень нужен, а истио жирным и страшным кажется

жирный потому что много CRD?

жирный потому что много CRD?

Да :) и много строк кода

По описаниям киллер фича , которая заставляет посмотреть на него это между кластерная network policy. Не знаю как на практике, но дизайн интуитивно лучше чем у истио, когда надо выделять отдельный контрол плейн на все кластеры (соответственно надо его размазывать по датацентрам чтобы не остаться ни с чем)

Ну так с istio нужен full mesh

Сегментации на привычном уровне нет

Нет, сразу в под

Так это ж hostport, а не nodeport.

Ну и плюс в cillium наливают envoy, если он там не только для L7 полиси, но и для services (т.е. заменяет kube-proxy ) то это отлично, т.к. envoy очень нужен, а истио жирным и страшным кажется

Так энвой это по сути сайдкар который функции того же куб прокси выполняет, зачем он вам вместе с силиумом?

Точнее зачем отказываться от куб прокси

Господа, кто-нибудь костылил fastcgi через ingress ? Не хочется отдельный сервис с nginx для этого делать.

Да :) и много строк кода

Это да, это там есть :))))

Ребята здесь как нить обсуждалось, но немогу найти, тыкните куда копать для дев среды не хотят плодить теги а дев работает всегда с тегом latest, как заставить кубер перевтягивать новый образ ? я подозреваю что нужно что то делать с imagePullPolicy

Так это ж hostport, а не nodeport.

NodePort делает DNAT сразу в под а не в clusterip . С externaltrafficpolicy local вот совершенно точно

Господа, кто-нибудь костылил fastcgi через ingress ? Не хочется отдельный сервис с nginx для этого делать.

через сервис с nginx будет проще и универсальнее. Сам рассматривал такой вариант (fastcgi в ingress controller) - пришёл к такому выводу

Так энвой это по сути сайдкар который функции того же куб прокси выполняет, зачем он вам вместе с силиумом?

https://cilium.io/blog/istio/, кратко - вырезать этот самый код из Pilot и превратить его в BPF

Он написан изначально потому что Гуглу отказал нгинкс :)

Always

Ребята здесь как нить обсуждалось, но немогу найти, тыкните куда копать для дев среды не хотят плодить теги а дев работает всегда с тегом latest, как заставить кубер перевтягивать новый образ ? я подозреваю что нужно что то делать с imagePullPolicy

Ребята здесь как нить обсуждалось, но немогу найти, тыкните куда копать для дев среды не хотят плодить теги а дев работает всегда с тегом latest, как заставить кубер перевтягивать новый образ ? я подозреваю что нужно что то делать с imagePullPolicy

Always

но всё равно может выстрелить

отказывайтесь от latest

Ребята здесь как нить обсуждалось, но немогу найти, тыкните куда копать для дев среды не хотят плодить теги а дев работает всегда с тегом latest, как заставить кубер перевтягивать новый образ ? я подозреваю что нужно что то делать с imagePullPolicy

по хэшу

Точнее зачем отказываться от куб прокси

Моя цель перевести все сервисы на publishNotReadyAddresses т.е. из "доверяем Кубу знать кто сейчас жив" перейти на "куб даёт кандидатов, а живость и пригодность узнаем сами по месту использования". iptables для этого не подходит, envoy очень подходит.

Моя цель перевести все сервисы на publishNotReadyAddresses т.е. из "доверяем Кубу знать кто сейчас жив" перейти на "куб даёт кандидатов, а живость и пригодность узнаем сами по месту использования". iptables для этого не подходит, envoy очень подходит.

звучит как consul

Нет, consul это опять доверять кому то где то там проверку живости которая может сильно отличаться от того что видит клиентское приложение здесь и сейчас

Нет, consul это опять доверять кому то где то там проверку живости которая может сильно отличаться от того что видит клиентское приложение здесь и сейчас

консул стоит на каждой ноде

отказывайтесь от latest

Это онли дев, на прод только по тегу версии

если это просто дев, это не повод делать неудобно. а latest - это именно что неудобно, профита никакого, один геморой и костыли

консул стоит на каждой ноде

Если я правильно помню живость сервиса в консулах проверяет консул ноды где запущен сервис, а не консул ноды откуда пользуются сервисом

Т..е консул это такая же имитация знания о пригодности сервиса как и куб

Моя цель перевести все сервисы на publishNotReadyAddresses т.е. из "доверяем Кубу знать кто сейчас жив" перейти на "куб даёт кандидатов, а живость и пригодность узнаем сами по месту использования". iptables для этого не подходит, envoy очень подходит.

про publishNotReadyAddresses понял, а топология сети какая нужна? лучше сегментация на приложение + zero trust networking или как есть по стандарту?

Ого, в облаках? На берметале-то у меня как раз это всё есть, ещё и ipvs с mh)

природа ноды не важна :)

главное чтобы провайдер не резал некоторые протоколы :)

Кстати хорошие новости, kustomize встраивают в kubectl, будет в 1.14 (https://github.com/kubernetes/kubernetes/pull/70875).

там говорится только о "папке", как насчет урлов?

Т..е консул это такая же имитация знания о пригодности сервиса как и куб

sidecar запускать, который чекает доступность ноды 😁 чет кажется где то есть готовое решение вопроса

consul connect может что-то умеет в этом плане

Ну и плюс в cillium наливают envoy, если он там не только для L7 полиси, но и для services (т.е. заменяет kube-proxy ) то это отлично, т.к. envoy очень нужен, а истио жирным и страшным кажется

а как без истио телеметрию собирать?