Ivan
это в docker-bridge должно быть, разве не?
Khramov
В 1.6 external точно не выпили ли. Мы их юзаем. В 1.7 тоже есть
Dmitry
какой самый православный способ поднять кубер на CentOS bare-metal? kubespray?
Dmitry
production
Logan
какой самый православный способ поднять кубер на CentOS bare-metal? kubespray?
этот вопрос тут всплывает с такой частотой, что впору его пинить. Нет такого способа. Карго для любителей ансибла, марсианский кукбук - для любителей шефа, кубе-адм для маленьких тестовых инсталляциях
Dmitry
спасибо
Dmitry
возьму карго. ансибл мне ближе
Dmitry
кстати, мы тут в команде запилили альтернативный low-level UI для кубов. для любителей редактировать yaml руками
Dmitry
Роман
этот вопрос тут всплывает с такой частотой, что впору его пинить. Нет такого способа. Карго для любителей ансибла, марсианский кукбук - для любителей шефа, кубе-адм для маленьких тестовых инсталляциях
А кубеадм разве плохо подходит для больших проектов?
Dmitry
А кубеадм разве плохо подходит для больших проектов?
ну вообще там при запуске kubeadm написано don’t use in production
Роман
Dmitry
конечно. только поравим некоторые баги и дам ссылочку
Logan
А кубеадм разве плохо подходит для больших проектов?
в нем нет файловера. А без файловера запускать продакшн – самоубийство
Dmitry
в нем нет файловера. А без файловера запускать продакшн – самоубийство
тут https://github.com/kubernetes-incubator/kubespray написано, что The firewalls are not managed, you'll need to implement your own rules the way you used to. in order to avoid any issue during deployment you should disable your firewall.
Dmitry
где ж взять прод с файрволом?..
Dmitry
ааа) блин надо отдыхать уже)
A
Ребята, и всё-таки, что нужно сделать с RBAC, чем-то ещё, чтобы просто запустить хотя бы вот такой экзампл? https://github.com/nginxinc/kubernetes-ingress/tree/master/examples/complete-example
A
Чистый kubeadm с weave, ничгео не трогалось. Сервисы стартуют, но ingress не работает: просто никто не слушает на нужных портах и всё.
Sergei
А можно пояснить, что подразумевается под failover'ом ?
устойчивость кластера к падению одного из мастеров.
Роман
Khramov
Так чем kubeadm не устраивает? Мы на нем 3 мастера подняли, и пока 2 живы, все ок. И то 2 нужно чтобы кластер etcd не упал только, а так и одного достаточно
Logan
Так чем kubeadm не устраивает? Мы на нем 3 мастера подняли, и пока 2 живы, все ок. И то 2 нужно чтобы кластер etcd не упал только, а так и одного достаточно
три мастера в файловере? а давно кубеадм так умеет? в версии 1.4 и 1.5 точно не умел
Khramov
Ну сам kubeadm такого не умеет, с помощью него делается 1 мастер и джойнятся куча нод. Но чтобы дополнительно превратить еще 2 ноды в 2 мастера нужно минут 20, не больше.
Перегенерировать сертификаты и немного поправить kubeapi в манифесте и все
Khramov
Все тестилось, все работает
Logan
Sergei
Logan
я вот так и не смог заставить его
Pavel
Нуууу, iptables ами рулю)) не из коробки конечн, но что делать)
✙ Egor ✙
Guys, есть работа в Киеве для девопса и девелопера. Проект новый, стек - go, kubernetes, consul, elasticsearch, kafka, cassandra, prometheus. Кому интересно - пишите в личку.
Роман
G72K
НИЗЯ
https://docs.docker.com/engine/userguide/networking/configure-dns/
если очень хочется, то можно. если kubelet настроен на CNI, то контейнер запускатся вообще с net=none, потом CNI скрипты конфигурируют сеть, а kubelet пишет свой resolv.conf
G72K
Кто-нибудь знает как на kubeadm сделать renew сертификатов?
осторожней, сертификаты часто используются и для --service-account-key-file, а значит когда оно сменится, то все предыдущие serviceaccounts будут пытаться подсунуть токен, который не пройдет проверку. даже если вы обновите ключ для serviceaccounts (достаточно их удалить,они пересоздадутся например), то надо будет перезапустить все запущенные поды, т.к. они все используют go-client, а он не умеет читать обновленный токен с диска, который куб заботливо положил рядом и даже обновил
Салтыдык
я тут еще пару дней назад обновился до 1.7
Салтыдык
теперь вот баги разгребаю
G72K
(если kubeadm так не делает и токены для serviceaccount генерируются не из сертифкатов, то плюс ему в карму)
Салтыдык
(если kubeadm так не делает и токены для serviceaccount генерируются не из сертифкатов, то плюс ему в карму)
ещё как из сертификатов. Там помимо serviceaccout ещё config map'ы есть с сертификатами внутри
G72K
это наследство calico наверное? install-cni.sh?
Салтыдык
не, там "искакопки" прям в cluster-info cm запихнутый корневой
G72K
забэкапили :)))
Салтыдык
лел, сейчас на третью багу наткнулся, нода не может зарегистрироваться (нода называется с большой буквы, а пытается зарегистрироваться с маленькой)
G72K
все имена маленькие должны быть, оно там как-то в DNS попадает (или может попасть)
Салтыдык
https://github.com/kubernetes/kubernetes/blob/c8c4fff8be1c1da08a6dec37f8aee44e2a426456/plugin/pkg/admission/noderestriction/admission.go#L211
Салтыдык
видимо весёлая сегодня ночь будет, завтра типа релиз, а я кластер развалил
Салтыдык
пойду курну с горя
G72K
зачем с отверткой в щиток лезть?)
G72K
работало ж
G72K
лампочки мигали
Khramov
:D
Салтыдык
в следующий раз буду себя бить по рукам
Салтыдык
ибо с каждым минорным релизом конкурсы всё интернеснее и интереснее
G72K
что там вкусного в 1.7? я еще не вчитывался
Салтыдык
local-volume
Салтыдык
у нас самописная была, захотелось готовое
Салтыдык
+ некоторые фиксы
G72K
зачем он нужен?
G72K
hostPath обернутый же, нет?
Dmitry
я помню мне тут говорили, что я неправильный, если хочу эту фичу. в итоге завел ceph, но скорости сети не хватило. тоже свой hostPath provisioner пришлось на коленке написать и плюс модифицировать kube-scheduler.
Dmitry
радует, что теперь это искаропки
G72K
> нужно привязывать поды к нодам
это и раньше было, нет?
> создавать шарды из volumes
не совсем понимаю, что это значит
спрашиваю потому, что я может тоже хочу local volumes, но не знаю об этом
Dmitry
теперь поды самому не надо привязывать, это делает scheduler на основе информации в PV
Dmitry
и теперь можно использовать PVC с local StorageClass ами
Dmitry
https://github.com/kubernetes-incubator/external-storage/tree/master/local-volume
Салтыдык
именно
Dmitry
@yourallah а что у ввас было самописное?
Салтыдык
не я писал, коллега
Салтыдык
но что-то похожее, только чуть проще
Салтыдык
и прям очень наколеночное
Dmitry
у меня тоже) https://github.com/nailgun/k8s-hostpath-provisioner
G72K
https://github.com/kubernetes-incubator/external-storage/tree/master/local-volume
я видимо EBS избалован, может на свое железе оно и полезно
Dmitry
когда нет сети на 10Gbps очень полезно)