Grigorii
а, я еще добавлял строчку
rm -rf /etc/cni/net.d/*
в userdata, тк их пребилженный образ уже кажется содержит ENI конфиг там
ну или можно просто пересобрать, но мне было лень
Михаил
я не очень понимаю, как CNI связано с лимитами
Михаил
но я не тыкал eks
✙ DarkKC ✙
Авсовский цни каждому поду считай ип выделяет, а их ограниченно кол-во на году в зависимости от размера
Grigorii
в AWS лимиты на кол-во интерфейсов per instance
а дефолтный CNI от EKS создает по интерфейсу на под
✙ DarkKC ✙
1. Удаляешь aws-node daemonset из kube-system ДО регистрации нод
2. Применяешь <CNI_NAME>.yaml
3. Применяешь aws-auth для регистрации нод
у меня калика работает так без проблем
Тут ямл каликовский, не амазоновский для калико?
Grigorii
каликовский с их сайта
Grigorii
который без etcd
✙ DarkKC ✙
Я не нашел цни без етцд...
✙ DarkKC ✙
Остальное с кубернетес-бекендом - да, а его не нашёл
Grigorii
https://docs.projectcalico.org/v3.7/getting-started/kubernetes/installation/calico
Installing with the Kubernetes API datastore
вот этот
Yuri
https://github.com/aws/amazon-vpc-cni-k8s/tree/master/config/v1.5 этот калико вполне живой
Vadim
я не очень понимаю, как CNI связано с лимитами
у EKS своя CNI ставится, привязанная к VPC - и к лимитам VPC
Yuri
да, и там живёт демон что аттачит дополнительные интерфейсы на ноду по необходимости
✙ DarkKC ✙
https://docs.projectcalico.org/v3.7/getting-started/kubernetes/installation/calico
Installing with the Kubernetes API datastore
вот этот
ага, огромное спасибо, сейчас ещё радок попробую
Andrei
Ребят, а с какого времени/хрена в helm числа теперь типа json.Number? Всякие mul / div поломались
Solyar
для Calico свой диапазон
Solyar
для Flannel свой
Alexander
у EKS своя CNI ставится, привязанная к VPC - и к лимитам VPC
Эта фигня называется ENI - Elastic Network Interface и в ней ограничения числа IP по типам инстансов
✙ DarkKC ✙
Эта фигня называется ENI - Elastic Network Interface и в ней ограничения числа IP по типам инстансов
Именно так. А мне для дев энвов желательно на таз подов поболе напихивать
Alexander
Именно так. А мне для дев энвов желательно на таз подов поболе напихивать
А у тебя на staging EKS? Или на проде выделил ресурсы для dev?
Alexander
Кстати Амазон уже работает над более продвинутой сеткой:
https://github.com/aws/containers-roadmap/issues/398
✙ DarkKC ✙
А у тебя на staging EKS? Или на проде выделил ресурсы для dev?
первое. Прод в другом регионе даже, там таких фокусов не будет, для нагруженной системы эти лимиты абсотютно обоснованы
✙ DarkKC ✙
Кстати Амазон уже работает над более продвинутой сеткой:
https://github.com/aws/containers-roadmap/issues/398
читал, но пока оно-ж ин прогресс?
✙ DarkKC ✙
отож :(
Alexander
Кстати забавно, что типа неповоротливый IBM выпускает новые managed Kubes со скоростью DO и обгоняя остальных.
The lag following a k8s GA release varies from 1-6 months, roughly breaking down as:
IBM and DigitalOcean targeting ~30 days after k8s GA
Google and Azure targeting ~3 months after k8s GA with preview access
AWS and Redhat targeting ~6 months after k8s GA
Vadim
Подскажите пожалуйста может есть какая-то понятная инструкция как обновить сертификаты в k8s, kubespray по дефолту на год их делает скоро истекает срок, надо менять
✙ DarkKC ✙
Кстати забавно, что типа неповоротливый IBM выпускает новые managed Kubes со скоростью DO и обгоняя остальных.
The lag following a k8s GA release varies from 1-6 months, roughly breaking down as:
IBM and DigitalOcean targeting ~30 days after k8s GA
Google and Azure targeting ~3 months after k8s GA with preview access
AWS and Redhat targeting ~6 months after k8s GA
имхо - побочный эхвект большого кол-ва клиентов, приходится тщательнее тестировать. А у айбиэма их меньше
Vadim
вот кстати интересная идея для опроса
Vadim
Sergey
нид хелп. ктонибудь хостил монгу не на persisnent volume, а просто через hostPath на поде?
Sergey
может есть годный пример?
Solyar
Solyar
Тоже самое что и волюм только монтируешь хостпас
Vadim
имхо - побочный эхвект большого кол-ва клиентов, приходится тщательнее тестировать. А у айбиэма их меньше
"тщательнее тестировать" можно и во время беты, просто IBM, google и DO умеют обновлять быстро - а остальные неочень. Проблемы предоставлять клиентам несколько версий вобщем нет
Sergey
сначала на доступ к tmp, но я ее тоже расшарил
Sergey
потом с сокетом
Sergey
ща
Alexander
"тщательнее тестировать" можно и во время беты, просто IBM, google и DO умеют обновлять быстро - а остальные неочень. Проблемы предоставлять клиентам несколько версий вобщем нет
Думаю дело не столько в тестировании, сколько в сертификации решения. Каждую новую версию Кубера как manager сервис надо пересертифицировать как я понимаю. Возможно у Амазона сертификаций больше
Sergey
Failed to set up listener: SocketException
Artem
Привет! Словил какую-то непонятную проблему с k8s. У меня идеи закончились, нид хелп. Может кто сталкивался с таким, или хоть куда копать.
https://www.linux.org.ru/forum/admin/15141307?lastmod=1564573105668
Grisha
Ребзя, в наследство достался кластер, хочу затачить к нему воркер ноду новую, на мастере ввожу kubeadm token create --print-join-command
получаю конекшен стрингу, вввожу ее на новом воркере и получаю
[discovery] Failed to connect to API Server "10.79.128.5:6443": token id "xxx" is invalid for this cluster or it has expired. Use "kubeadm token create" on the master node to creating a new valid token
сталкивался ли кто с этим? версия 1.12.1 сетапана кубе спреем
Grisha
очкую
Grisha
кластер продовый
Grisha
не понял, какую команду? join?
Andrey
Привет! Словил какую-то непонятную проблему с k8s. У меня идеи закончились, нид хелп. Может кто сталкивался с таким, или хоть куда копать.
https://www.linux.org.ru/forum/admin/15141307?lastmod=1564573105668
История 6.
https://habr.com/ru/company/flant/blog/443458/
Grisha
--discovery-token-ca-cert-hash проверил, ввожу правильный
Artem
История 6.
https://habr.com/ru/company/flant/blog/443458/
Спасибо, реально мой случай оказался. И как я эту статью не нашёл.
V
Ребята надеюсь в этот раз поможете
а есть ли способ указать в apply image
kubectl apply -f file.yaml —image helloworld:123
Vadim
у меня есть кейс, при рестарте ноды. она разваливается и недоступнав в кластере notReady, повторялось только на докере 18.09, на 18.06 не замечал, 18.06 еще не распиленный вроде или не докнца распиленный
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
и kubectl describe node
Vadim
да смотрел я , но не разобрался
Vadim
а при смене IP и хостнеймов машин кластера, описание че делать есть нормальное, чтоб собрать кластер развалившийся?
𝚔𝚟𝚊𝚙𝚜
а при смене IP и хостнеймов машин кластера, описание че делать есть нормальное, чтоб собрать кластер развалившийся?
в идеале удалить ноды и заново добавить
Vadim
на мастере тож сменилось)
𝚔𝚟𝚊𝚙𝚜
значит и мастера тоже удалить
𝚔𝚟𝚊𝚙𝚜
а сколько мастеров у тебя?
Vadim
1
𝚔𝚟𝚊𝚙𝚜
kubeadm?
Vadim
да
𝚔𝚟𝚊𝚙𝚜
Тогда тебе ещё понадобится снести сертификаты
rm /etc/kubernetes/pki/apiserver.*и сгенерить их заново
kubeadm init phase certs allс указанием новых айпишников и хостнеймов в --apiserver-cert-extra-sans=
Vadim
и заведется? или че то еще, попробую
Andrey
Ребята надеюсь в этот раз поможете
а есть ли способ указать в apply image
kubectl apply -f file.yaml —image helloworld:123
Конечно!
sed 's#image:.*#image: helloworld:123#' file.yaml | kubectl apply -f -
Alexander
Конечно!
sed 's#image:.*#image: helloworld:123#' file.yaml | kubectl apply -f -
У запаблишенного Deployment можно менять image ключем cli
Grigorii
можно и так:
kubectl set image -f file.yaml --local nginx=foo:1 -o yaml | kubectl apply -f -
𝚔𝚟𝚊𝚙𝚜
и заведется? или че то еще, попробую
Да, план такой:
1) берёшь kubeadm config
kubectl get configmaps -n kube-system kubeadm-config -o jsonpath={.data.ClusterConfiguration}2) обновляешь всё что тебе нужно
3) Заливаешь конфиг обратно в кластер
4) удаляешь и редеплоишь серты (вместо ключей kubeadm'у можно скормить твой кластер конфиг)
5) удаляешь и реджойнишь ноды
в теории должно сработать