Oleg
Есть у кого в проде кластера в 50 нод?
Sergej
Я накатывал обновления через карго то все работало.
Sergej
Правда в тестовой среде
Sn00part
я тестировал 1000 нод
Sn00part
карго как раз разворачивал
Sn00part
часов 12 разворачивается, проблемы с etcd и вообще все еле пашет)
Sn00part
но за неделю до вменяемого состояния допилилось
Sn00part
собственно все эти мезосы и прочие на 200 уже таво
Sn00part
мирантис тут есть щас живые? как там сейчас со скейлом дела?
Sn00part
там и под системд и контейнеры и есть даже один сервак arm с покоцанным линупсом
Sergej
Я ставил через kubeadm - обновлялось. Вручную - тоже обновлялось и карго. Но все по группам, то есть каждый кластер сам по себе. На продакшен буду пока ставить через карго. Меня там не все устраивает, но плюсы все перевешивают.
Sergej
через kubeadm постепенно обновился с 1.5.1 до 1.5.3
Sn00part
в карго лучше все что не устраивает или сломано оформлять как issue на гитхуб. тут есть разработчики, есть шанс, что быстро починят или замплементят
Sn00part
а мажорные как обновлять?)
Sn00part
надо под каждый кейс скрипты писать, они ключи делают incompatible
Sn00part
и не всегда работает часть со старыми, часть с новыми
Sn00part
ну и наш любимый etcd обновлять та ещё веселуха
Sn00part
да, когда больше 20 нод надо что то делать с сетью, выделять служебный трафик в другой влан и сетевуху, отдельно от клиентского. также выкручивать таймауты и буферы. Иначе все начинает само себя ддосить
Sn00part
у меня до смешного доходило, при дефолтных настройках 80% трафика служебный, клиентский там в уголке грустно прижался
Sn00part
в целом это нормальная практика, но надо про неё помнить
Sergej
👍
l1njan
Sn00part
я iptables помечал и заворачивал в ip ru
Sergei
Sn00part
там не только etcd, там ещё api и calico
Sn00part
но в основном etcd больше всего конечно
Sn00part
среди всего трафика - но это без нагрузки совсем.
Sn00part
любая фича, дашборд там или днс, все добавляет к служебного трафику. вот из коробки его дофигища летает с дефолтными наст ройками
l1njan
подскажите, пожалуйста, а как в кубере делать ACL?
Sn00part
на что ACL?
Alexander
Кто-нибудь пробывал добавлять master к существующему кластеру по этому руководству https://kubernetes.io/docs/admin/high-availability/ . Если кластер создавался через kubeadm?
Sergej
kubeadm изначально не поддерживает мастер-мастер и нужно перестраивать все вручную.
Alexander
как это сделать? если я правильно понял, нужно перезапустить свой etcd и apiserver через манифесты, сгенерировать новые сертифакты и положить на ноды. Предполагаю вся беда в сертификатах, как их правильно сгенерировать или где почитать об этом?
yolkov
https://github.com/kelseyhightower/docker-kubernetes-tls-guide
Alexander
@yolkov Спасибо
Anonymous
народ с опытом кубернетеса на DO: стоит ли с гугля слезать ради удешевления, или геморои себя не оправдают?
Anonymous
на ДО же экосистемы вокруг нет?
Anonymous
сторейдж, лодбалансер, автоскейлинг, что там ещё гугл клауд даёт хорошего
Logan
балансер есть, но не поддерживается кубом. Автоскейл тоже есть, поддерживается ли кубом - неизвестно. Стораджа нет. Выделения адресов у ДО нет и не планируется
Anonymous
балансер у них чуть ли не совсем недавно появился, да?
Etki
угу, и стоит бешеную двадцатку
Anonymous
Спасибо, почитаю
Andrei
http://avmaksimov.ru/2017/03/06/kubernetes-%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-ingress/
Andrei
Пожалуйста
Victor
О, шикарно
Anonymous
а ингресс можно настроить на tcp/udp load balancing?
yolkov
нгинкс умеет
yolkov
но там сейчас есть бага, по крайней мере в beta1, он список апстримов не генерил
Anonymous
ага, умеет, мы даже немножко используем без кубернетиса
yolkov
в стабильной вресии работало
Logan
Denis
Перенёс в https://t.me/coreos_ru :)
Vasiliy
привет, я только начинаю разобираться со всем этим вот,
не знаю уместно ли тут задавать такие вопросы, но:
1) у меня на gcp крутится 2 кластера: production & staging (так вообще правильно делать?)
2) я испчерпал лимиты по внешним IP-адресам,
https://i.gyazo.com/d7dc959eeab7b29cb164e124a2125114.png
написано что нужно запросить дополнительно заполнив форму и ответ придет в течение пары дней примерно, что я и сделал. т.е. щас у меня сервисы висят с <pending> в колонке EXTERNAL-IP
https://i.gyazo.com/3bba807b7307cdb0d14f618cf765a76b.png
я ведь все правильно сделал? (: там в network чего-то многовато всего
3) мне досталось в наследство вот такое хозяйство со своими скриптами деплоя всего этого, выглядит вот так:
https://i.gyazo.com/1d1003ccff93da4b9db03a6f6443746e.png
это норма? вы так же делаете или как-то можно лучше все организовать?
4) разбираюсь с GCP, kubernetes прям вот основы схватил, научился более-менее пользоваться CLI инструментами их, поигрался с minikube, но пока сложновато все равно въезжать. а куча унаследованных скриптов делает этот процесс еще веселее. мб есть какой-то более-менее оптимальный прямой путь научиться?
вот это нашел https://github.com/kelseyhightower/kubernetes-the-hard-way, краткий курс на udacity, оф доки, что еще? ну и сорян за нубастые вопросы заранее)
Andrei
привет, я только начинаю разобираться со всем этим вот,
не знаю уместно ли тут задавать такие вопросы, но:
1) у меня на gcp крутится 2 кластера: production & staging (так вообще правильно делать?)
2) я испчерпал лимиты по внешним IP-адресам,
https://i.gyazo.com/d7dc959eeab7b29cb164e124a2125114.png
написано что нужно запросить дополнительно заполнив форму и ответ придет в течение пары дней примерно, что я и сделал. т.е. щас у меня сервисы висят с <pending> в колонке EXTERNAL-IP
https://i.gyazo.com/3bba807b7307cdb0d14f618cf765a76b.png
я ведь все правильно сделал? (: там в network чего-то многовато всего
3) мне досталось в наследство вот такое хозяйство со своими скриптами деплоя всего этого, выглядит вот так:
https://i.gyazo.com/1d1003ccff93da4b9db03a6f6443746e.png
это норма? вы так же делаете или как-то можно лучше все организовать?
4) разбираюсь с GCP, kubernetes прям вот основы схватил, научился более-менее пользоваться CLI инструментами их, поигрался с minikube, но пока сложновато все равно въезжать. а куча унаследованных скриптов делает этот процесс еще веселее. мб есть какой-то более-менее оптимальный прямой путь научиться?
вот это нашел https://github.com/kelseyhightower/kubernetes-the-hard-way, краткий курс на udacity, оф доки, что еще? ну и сорян за нубастые вопросы заранее)
Привет! Все хорошо. Ответ на все твои вопросы - да, все нормально и все хорошо. Научиться Kubernetes можно решая практические задачи, ища информацию в блогах и youtube. В интернете люди собирают что-то интересное про Kubernetes на awsome Kubernetes (зайди на awsome.re и там найди ссылку на Kubernetes). Только вчера пришла рассылка с новым курсом про Kubernetes (https://cloudacademy.com/cloud-computing/introduction-to-kubernetes-course/) с CloudAcademy, но сам я ее пока не смотрел.
Anonymous
а вот еще шняга на гугле
создаю сервис type=LoadBalancer, гугль соотвественно автоматом создает балансировщик дефолтный трафик с которого идет сразу на все ноды кластера
однако, почему-то до одной из нод трафон не доходит (роутинг выглядит норм, удалял ноду и пересоздавал новую - на другую тоже не идет)
если вручную к балансировщику добавляю проверку состояния - он сбойный инстанс исключает и все ок
но это ведь не вариант, да и tcp-проверку почему-то не могу добавить
вопрос: в какую сторону имеет смысл дебажить? роутинг там, или кто встречал че-то подобное
Max
Я встречал и это был сбой гугла - но мне помогло удаление и пересоздание ноды
Anonymous
возможно, при пересоздании тот же самый сбой произошел... ок, попробую еще раз, спасибо :)
Max
Это кстати касается не только к8s а вообще - отсутвие связи это не то что бы норма но иногда бывает. У гугла там /32 и хостроутинг вроде бы
Zon
Anonymous
не, это в старых версиях было щас баг поправили
Anonymous
да даже если и с ним то слишком долго :)
Anonymous
NAME READY STATUS RESTARTS AGE
elasticsearch-elasticsea-0 0/1 Init:0/1 0 31m
Vasiliy
Andrei
Timur
Привет. В чем реальное преимущество использования Rancher + Kubernetes по сравнению с чистым Kubernetes? Load balancing и там и там, UI тоже. Разве что настройка Kubernetes значительно проще через Rancher, и добавление/сетап нод. Есть какие-то ещё весомые плюсы?
Logan
Logan
по мне - надумано
Konstantin
Если не смотреть на то, что получается потом. То намного проще.
docker run, в гуе добавляешь ноду и говоришь, что она k8s. Конец.
Logan
Konstantin
С этим согласен и возражений не имею)
Vasiliy
хм, а как-то в google compute engine можно вообще понять почему не получается удалить группу инстансов? там 0 инстансов и вот сходу зависимостей вроде как нет насколько я вижу но
Vasiliy
The deletion of the instance group failed. Error: The instance_group resource 'k8s-ig--8ef0639ec87559b5' is already being used by 'k8s-be-31293--8ef0639ec87559b5'
Vasiliy
а сори) там же все написано в сообщении, бекенд же
Denis
Интересно, а кто как организовал обновление K8s-конфигурация разработчиками?
Denis
1. Конфигурация подов/сервисов/секретов зависит от исходного кода сервисов (реп).
2. Состояние исходного кода между ветками + средами отличается (develop, stage, master, feature-ветки).
3. Допустим есть core-ветки: develop, stage, master, которые привязаны к поддоменам dev, stage и www соответственно.
4. Разработчики должны иметь возможность иметь возможность менять K8s-конфигурацию develop и feature-веток.
5. Деплой конфигурации должен быть автоматизирован через CI. При мердже кода k8s-конфигов develop => stage, stage => master также должны выкатывать соответствующие ветки с конфигурацией.
6. Каждая ветка feature-ветка должна пораждать новый поддомен, например: feature-123.dev.blablabla.com