R2

Что делать с персист войлумами ? Гугл клауд умеет только ReadWriteOnce для дефолтного сторейджкласса тогда .spec.strategy.rollingUpdate не работает. NFS тоже не всегда подходит...

R2

и автоскейл подов с pv тоже не работает так как ReadWriteOnce

Rainbow

и автоскейл подов с pv тоже не работает так как ReadWriteOnce

работает, если к одной ноде привязать

Andrey

Filestore гугловый, вроде, могёт ReadWriteMany. https://github.com/kubernetes-sigs/gcp-filestore-csi-driver

Eugene

Привет, есть вопрос по поводу cluster autoscaler. У меня есть кластер на амозоне, я поставил в него автоскейлер. Когда подам не хватает места на моих двух нодах кластер автоскейлер создает еще одну ноду в облаке, но дальше с ней никак не взаимодействует, то есть в кластер ее не присоединяет. Вопрос: должен ли автоскейлер сам установить сервиси кубернетеса на новую ноду выдать ей токен и присоединить к кластеру, или какую-то часть этих задач должен предварительно сделать я?

Andrey

Привет, есть вопрос по поводу cluster autoscaler. У меня есть кластер на амозоне, я поставил в него автоскейлер. Когда подам не хватает места на моих двух нодах кластер автоскейлер создает еще одну ноду в облаке, но дальше с ней никак не взаимодействует, то есть в кластер ее не присоединяет. Вопрос: должен ли автоскейлер сам установить сервиси кубернетеса на новую ноду выдать ей токен и присоединить к кластеру, или какую-то часть этих задач должен предварительно сделать я?

cloud-init должен что-то умное делать в IG.

Andrey

kops так настривает по-умному, например. Сам cluster-autoscaler ничего умного не делает.

Max

Ребят, кто на GKE сидит, у вас логи из CronJobs в Stackdriver попадают?

Max

У меня почему-то нет

Eugene

kops так настривает по-умному, например. Сам cluster-autoscaler ничего умного не делает.

то есть единственный вариант использовать копс? иначе автоскейлер бесполезен?

Stefan

а я сильно буду страдать, если я выбрал nginx контроллер, который от nginxinc сообщества? а не кубера

Andrey

то есть единственный вариант использовать копс? иначе автоскейлер бесполезен?

Были наработки с kubespray + terraform. И всякие скрипты с cloud-init. Но надо гуглить и хорошо. У меня нет опыта.

Eugene

Были наработки с kubespray + terraform. И всякие скрипты с cloud-init. Но надо гуглить и хорошо. У меня нет опыта.

спасибо большое за идею, буду гуглить

Igor

Всем привет. Помогите понять как донастроить kubelet, а именно установить ему imageGCHighThresholdPercent не 85, а 40. Делал по инструкции https://kubernetes.io/docs/tasks/administer-cluster/reconfigure-kubelet/#generate-the-configuration-file увидел, что новый configMap появился, затем его же указал через edit node, но когда запросил curl configz, то он мне все равно вернул 85%. Окружение: кластер поднят в EKS с помощью helm, а содержимое в класстере jupiterhub.

Vadim

Привет, есть вопрос по поводу cluster autoscaler. У меня есть кластер на амозоне, я поставил в него автоскейлер. Когда подам не хватает места на моих двух нодах кластер автоскейлер создает еще одну ноду в облаке, но дальше с ней никак не взаимодействует, то есть в кластер ее не присоединяет. Вопрос: должен ли автоскейлер сам установить сервиси кубернетеса на новую ноду выдать ей токен и присоединить к кластеру, или какую-то часть этих задач должен предварительно сделать я?

нет, его дело - разворачивать машины из AMI. Нужно переделывать на TLS bootstrapping + CSR approver

Eugene

нет, его дело - разворачивать машины из AMI. Нужно переделывать на TLS bootstrapping + CSR approver

Может есть проверенные гайды? А то этот вопрос вообще нигде не затрагивается, сколько я не гуглил, нигде не описано как готовить машину к автоскейлингу не средствами копс

Vadim

Может есть проверенные гайды? А то этот вопрос вообще нигде не затрагивается, сколько я не гуглил, нигде не описано как готовить машину к автоскейлингу не средствами копс

ничего не могу ответить кроме "в опеншифт это изкоробки"

Eugene

ничего не могу ответить кроме "в опеншифт это изкоробки"

спасибо

Andrey

спасибо большое за идею, буду гуглить

Вот бутстрап ноды в проекте kube-aws. И у каждого свой подход к тому, как это корректно сделать. https://github.com/kubernetes-incubator/kube-aws/blob/a9183dd53c4c30cf372d716761c539c748b1ec2e/builtin/files/userdata/cloud-config-worker

Andrey

А ведь нужно ещё и учитывать гостевой дистрибутив. ТЯЖКО, в общем. Поэтому обычно процедура эта к большим проектам привязана.

Andrey

Привет, есть вопрос по поводу cluster autoscaler. У меня есть кластер на амозоне, я поставил в него автоскейлер. Когда подам не хватает места на моих двух нодах кластер автоскейлер создает еще одну ноду в облаке, но дальше с ней никак не взаимодействует, то есть в кластер ее не присоединяет. Вопрос: должен ли автоскейлер сам установить сервиси кубернетеса на новую ноду выдать ей токен и присоединить к кластеру, или какую-то часть этих задач должен предварительно сделать я?

смотрите документацию к автоскейлеру, нода должна добавлятся в кластер сама. По крайней мере с EKS это так работает.

Eugene

А ведь нужно ещё и учитывать гостевой дистрибутив. ТЯЖКО, в общем. Поэтому обычно процедура эта к большим проектам привязана.

у меня что-то вроде большого проекта, пока вот исследуем как реализовать автоскейлинг, спасибо за помощь

Eugene

смотрите документацию к автоскейлеру, нода должна добавлятся в кластер сама. По крайней мере с EKS это так работает.

я читал документаци к автоскейлеру, про мой вопрос там нет ни слова, екс я использовать не могу, у меня стак: kubespray, terraform, ansible, ну и то что понадобится для автоскейлинга

Andrey

если не EKS, то тогда kops использовать проще всего будет

Andrey

автоскейлер просто увеличивает размер ASG, а уж добавление автоматизировать можно только через cloud-init / golden image

Andrey

c kubespray надо будет свои костыли придумывать, потому что там руками плейбуки запускаются по дизайну

Sergey

https://blog.containo.us/back-to-traefik-2-0-2f9aa17be305

a1eXei

👍зачот

Никита

Привет, есть вопрос по поводу cluster autoscaler. У меня есть кластер на амозоне, я поставил в него автоскейлер. Когда подам не хватает места на моих двух нодах кластер автоскейлер создает еще одну ноду в облаке, но дальше с ней никак не взаимодействует, то есть в кластер ее не присоединяет. Вопрос: должен ли автоскейлер сам установить сервиси кубернетеса на новую ноду выдать ей токен и присоединить к кластеру, или какую-то часть этих задач должен предварительно сделать я?

В eks добавление в кластер через запуск скрипта из юзердаты реализовано.

Никита

Кмк, другого какого-то решения нет.

Eugene

В eks добавление в кластер через запуск скрипта из юзердаты реализовано.

а этот скрипт достать посмотреть можно оттуда?

Никита

Да вполне.

Никита

Но если у тебя не eks, я бы в копс смотрел.

Eugene

Но если у тебя не eks, я бы в копс смотрел.

да я смотрю исходники копса, ищу где начинается добавление новых нод

Никита

Это лучше по ключевому слову userdata искать, или user_data какое-нибудь.

Eugene

Это лучше по ключевому слову userdata искать, или user_data какое-нибудь.

Спасибо, этим занимается nodeup модуль в копсе

Andrey

И protokube там ещё. :)

Andrey

Такой комбайн, конечно.

Anonymous

а я могу как-то через kubectl пробросить порт сервиса из kubedns на localhost?

Anonymous

у меня просто задеплоенный сервис не коннектиктся к подам редиса почему-то, хотя локально через port-forward по неймспейсу на localhost норм подключается

Никита

у меня просто задеплоенный сервис не коннектиктся к подам редиса почему-то, хотя локально через port-forward по неймспейсу на localhost норм подключается

Если ты хочешь dns подебажить, то есть даже классный мануал.

Никита

https://kubernetes.io/docs/tasks/administer-cluster/dns-debugging-resolution/

Stefan

https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/cli-arguments.md а давно выпилили уже? в поде когда делаю ./nginx-ingress -h нет этих двух ключей:с -enable-prometheus-metrics Enable exposing NGINX or NGINX Plus metrics in the Prometheus format -prometheus-metrics-listen-port

Oleg

https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/cli-arguments.md а давно выпилили уже? в поде когда делаю ./nginx-ingress -h нет этих двух ключей:с -enable-prometheus-metrics Enable exposing NGINX or NGINX Plus metrics in the Prometheus format -prometheus-metrics-listen-port

Nginx Ингресс контроллеры не путаешь? Их же два

Stefan

Nginx Ингресс контроллеры не путаешь? Их же два

ну я использую nginxinc

Никита

а этот скрипт достать посмотреть можно оттуда?

btw, https://github.com/awslabs/amazon-eks-ami/blob/master/files/bootstrap.sh

Stefan

Nginx Ингресс контроллеры не путаешь? Их же два

https://github.com/nginxinc/nginx-prometheus-exporter я был тут и меня отослало сюда, мол если хочу настроить метрики нжинкса в прометее https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md#5-access-the-live-activity-monitoring-dashboard

Никита

btw, https://github.com/awslabs/amazon-eks-ami/blob/master/files/bootstrap.sh

Как вызывается — вот тут есть, почти в самом конце. https://amazon-eks.s3-us-west-2.amazonaws.com/cloudformation/2019-02-11/amazon-eks-nodegroup.yaml

Oleg

https://github.com/nginxinc/nginx-prometheus-exporter я был тут и меня отослало сюда, мол если хочу настроить метрики нжинкса в прометее https://github.com/nginxinc/kubernetes-ingress/blob/master/docs/installation.md#5-access-the-live-activity-monitoring-dashboard

Ну походу этот нет тот контроллер. Nginx от nginx сам не умеет в прометей, только через экспортер. Другой nginx, который в репе кубов, сам умеет в прометей.

Stefan

Ну походу этот нет тот контроллер. Nginx от nginx сам не умеет в прометей, только через экспортер. Другой nginx, который в репе кубов, сам умеет в прометей.

от блэт(((

Stefan

а не подскажешь, почему тогда в экспортере так мало метрик? буквально 6 штук

Stefan

не хотел бы менять целый ингресс, ради метрик прометея ..

Oleg

Потому что сам nginx, голый и бесплатный, столько отдаёт, почти нихера)

Stefan

бля ну нельзя было чтоль хотя бы добавить статус коды(((

Stefan