Даня
helm repo add http://incubator-chartmuseum.internal-services.svc.cluster.local:8080
Даня
добавляю его вот таким способом и пушу вот таким:
helm push .helm/auth --version=1 incubator
Даня
DISABLE_API = false нужно при старте, если разворачиваете музей при помощи чарта
Ivan
Кто то юзает сеть amazon-vpc-routed-eni? Как боретесь с лимитом по ENI?
Ivan
Получается что к примеру на t2.medium можно повесить только 15 подов
Andrey
Получается что к примеру на t2.medium можно повесить только 15 подов
Как это к подам относится?
Andrey
Там роутятся подсети на ноды.
Ivan
Ivan
https://github.com/aws/amazon-vpc-cni-k8s
Ivan
Или это я что то не догнал(
Andrey
https://github.com/aws/amazon-vpc-cni-k8s
Прикольно. Я не знал, что лимиты такие на ENI по IP. Видимо, о другом механизме думал в AWS VPC.
Andrey
Юзай calico/cilium, что сказать.
Ivan
У меня сейчас kubenet в кластерах, был calico но уже даже не помню почему сполз с него
Ivan
вот кстати дока по ENI)
Ivan
https://docs.aws.amazon.com/en_us/AWSEC2/latest/UserGuide/using-eni.html
Andrey
У меня сейчас kubenet в кластерах, был calico но уже даже не помню почему сполз с него
Да, спасибо, я о kubenet как раз думал. Выхода не вижу, ограничения смешные и постыдные для AWS.
Ivan
Вспомнил, на calico была задержка большая на внешние сервисы
Andrey
Вспомнил, на calico была задержка большая на внешние сервисы
Почему? Там что-то хитрее MASQUERADE для SNAT?
Ivan
Уже не помню детали, но дебажили долго
Ivan
А вот на железяках calico работает вообще без вопросов
Ivan
Не долго им жить осталось😃
Anton
может, в новом калико получше? хотя на кластере из коробки калико просаживает 15% пропускной способности между нодами, и ретрансмитов прилично (v3.3.2)
Andrey
Уже не помню детали, но дебажили долго
Эх, дотрейсили бы уж. :)
Cilium попробуйте ещё. Там есть нюансы, но у меня есть подозрение, что за ним будущее. Слишком хорошо и основательно они ко всем задачам подошли.
Ivan
Как то займусь, пока просто того что есть хватает + нужно с железа на AWS переехать пока есть добро. Кстати, обновил кластер (kops) до 1.11.6 вроде все отлично🙂
Ivan
Ivan
Печально конечно что aws-route-eni с таким ограничением по подам, так бы сеть просто пушка была(
Ivan
Вот еще дока по EKS доказывает тоже самое
https://docs.aws.amazon.com/en_us/eks/latest/userguide/pod-networking.html
Ivan
Интересно кто будет юзать EKS с такими лимитами, это же на нодах можно раззориться)
Andrey
Ivan
100% злые проделки хитросделаных маркетологов🙂
Stefan
Ivan
Как же без него)
Ivan
persistent в ceph-rbd ложу
Stefan
Как же без него)
у тебя не было проблем с kuburnetes-kubelet-nods, когда в таргетах прометея 401 unauthorized они?
Stefan
грешу на копс просто пока что
Ivan
это с авторизацией проблема
Ivan
если сделать авторизацию в копсе по умолчанию то 100% все ок будет
Stefan
если сделать авторизацию в копсе по умолчанию то 100% все ок будет
это ты о чем? ссылка есть?
Ivan
Хотя не, скорее всего проблема в spec.kubelet.anonymousAuth
Ivan
если поставить True то 200% проблема пропадет но лучше так не делать
Stefan
если поставить True то 200% проблема пропадет но лучше так не делать
очевидно что не лучше
а как лучше тогда?)
Ivan
у тебя RBAC в кластере?
Stefan
если поставить True то 200% проблема пропадет но лучше так не делать
но для теста хотя бы погляжу
Stefan
у тебя RBAC в кластере?
не указывал ключей касательно авторизации в копсе, если че
если по умолчанию rbac идет, то знач он
Ivan
С включенной авторизацией webhook должно по умолчанию все работать, если RBAC то нужно роль накрутить
Stefan
С включенной авторизацией webhook должно по умолчанию все работать, если RBAC то нужно роль накрутить
вот, я это и находил, что нужно включить вебхук
только где оно в копсе включается? или это таки через него не сделать?
Stefan
и натыкался на ишью, что мол копс по умолчанию не включает этого
Ivan
Ivan
Stefan
по умолчанию там alwaysAllow
та я вот ничего с этим связаное не увидел, совсем минимальная конфигурация отображается
Ivan
Я не знаю что сейчас kops по дефолту создает сетапал очень давно и обновляю
Stefan
Я не знаю что сейчас kops по дефолту создает сетапал очень давно и обновляю
понял, ладно еще погляжу завтра, спасиб
Ivan
если не находишь то просто дописать нужно
Ivan
spec.kubelet.anonymousAuth у меня к примеру тоже нету по умолчанию, но оно включено. Чтобы вырубить нужно руками дописать yaml через kops edit cluster
Stefan
я встречал просто именно ключи для кубелета
в среде kops не находил как должно быть записано
Ivan
я встречал просто именно ключи для кубелета
в среде kops не находил как должно быть записано
главное старайся ничего руками нигде не менять, все только через утилиту kops
Stefan
главное старайся ничего руками нигде не менять, все только через утилиту kops
та мне пока повезло, я всё тестирую в своей учетке амазона, сломать не страшно
но да, только через копс, иначе не собирался)
Stefan
главное старайся ничего руками нигде не менять, все только через утилиту kops
вот касательно этой проблемы
https://github.com/kubernetes/kops/issues/5176
Ivan
вот касательно этой проблемы
https://github.com/kubernetes/kops/issues/5176
Да я уже сталкивался, но у меня сделано так как я говорил лучше не делать) Все закрыто через sg максимально. Кластер старый, если авторизацию крутонуть то можно потерпеть фиаско не досмотрев какую то роль)
Stefan
не пойму, зная о такой неприятной проблеме, они до сих пор не пофиксили, год прошел
Ivan
не пойму, зная о такой неприятной проблеме, они до сих пор не пофиксили, год прошел
Если кластер новый то включай RBAC, деплой роль и не парься. Все будет свистеть и пердеть)
Stefan
Если кластер новый то включай RBAC, деплой роль и не парься. Все будет свистеть и пердеть)
я вообще думал что в кубере только rbac и есть
Stefan
ты о clusterrole, clusterrolebinding же да?
Ivan
я вообще думал что в кубере только rbac и есть
Та не, они там так наворотили что я пару дней вникал когда только ступил на этот путь😂
Stefan
Ivan
https://kubernetes.io/docs/reference/access-authn-authz/controlling-access/ )
Andrey
Unable to authenticate the request due to an error: [invalid bearer token, [invalid bearer token, square/go-jose: error in cryptographic primitive]]
кто-нить сталкивался? апи сервер срет в лог. как выявить подлеца? :)
Andrey
продолжая тему авторизации :)
Vlad
всем привет) время глупых вопросов, куда копать , если инициализация k8s кластера падает на ините мастер ноды
инструмент : https://github.com/kubernetes-sigs/cluster-api-provider-openstack
хотел задеплоить простой кластер 1мастер+1воркер но
в результате создается инстанс мастер ноды, но kubectl get nodes ничего не находит, а journactl -xu kubelet пестрят```:06.453039 6556 kubelet_node_status.go:377] Error updating node status, will retry: error getting node "test-demo-0-node-cluster-api-provider-openstack-demo-30-34": nodes "demo-0-node-test-cluster-api
в логах clusterapi controller все норм вроде
https://pastebin.com/tihAxEmG
Vlad
@terrifilch сорян, не подумал
pavel
a один из master можно сделать локолхост?
Andrey
Unable to authenticate the request due to an error: [invalid bearer token, [invalid bearer token, square/go-jose: error in cryptographic primitive]]
кто-нить сталкивался? апи сервер срет в лог. как выявить подлеца? :)
сам спросил, сам себе ответил: секреты для sa протухли, через —v=3 опцией для апи сервера удалось выявить поды, которые ходили с протухшими секретами. Интересно, почему такое могло произойти?
Vlad
a один из master можно сделать локолхост?
Не совсем понял? Адрес перебить ? Нет, адрес там fip должен быть для доступа извне , внутри вм адрес пингуется
Aleksey
Есть тут кто использует stolon, MariaDB или Galera в кубике?