Dmytro
это когда больше одной копии такого контейнера или когда? Насколько я знаю, кронджобы куба ведь это тоже не гарантируют и вполне можно получить orphaned контейнер особенно если у вас проблемы с докером, потери пакетов и т.п.
Aleksandr
кронджобы куба локи в etcd делают. пока контейнер с кронджобой не выполнится , то новый крон не запустит. у меня так был крон который 6 часов висел в running и другие не запускались.
Aleksandr
собственно у нас есть прбилуда на go, которая делает лок в etcd при запуске крона и проверяет при следующем запуске есть лок или нет
Aleksandr
но хотели уйти от этого в сторону кронджоб куба )
Vadim
activeDeadlineSeconds же, нет?
Andrey
concurrencyPolicy: Forbid
Andrey
restartPolicy: Never
Dmytro
кронджобы куба локи в etcd делают. пока контейнер с кронджобой не выполнится , то новый крон не запустит. у меня так был крон который 6 часов висел в running и другие не запускались.
круто, спасибо за инфу. А насколько кронджобы сейчас reliable? Я читал статью от страйпа https://stripe.com/blog/operating-kubernetes и после нее как-то стремновато юзать кронджобы
В частности вот это:
Our test cluster could not handle 1,000 cron jobs per minute. We observed that every node would only start at most one pod per second, and the cluster was able to run 200 cron jobs per minute without issue.
Aleksandr
спасибо, сейчас почитаю.
>А насколько кронджобы сейчас reliable?
у меня кронов 39 штук, из них 7-мь */1 . Сами кроны отрабатывают, из функционала concurrencyPolicy: Forbid и activeDeadlineSeconds работает нормально.
Если исключу проблему с потерями, то в принципе кроны юзабельны, хотя не знаю как будет когда еще 10-ть проектов в куб перенесу и кронов станет под 500.
Aleksandr
нод сейчас мало, 5 штук
Aleksey
Всем привет. А не подскажете есть ли возможность жёстко ограничить namespace определенными нодами? Чтобы не заморачиваться с pod attach to node by label?
G72K
Aleksey
Спасиб, покопаю
G72K
cbr0 - 10.40.161.83
в конфиге докера прописано
-b=cbr0
--fixed-cidr=10.40.164.0/24 - подам выдаются ИПы только из этой подсети.
Когда кронджобы запускаются на ноде, то возникает ситуация когда ip бриджа оказывается заюзаным на ~1-2 секунды в контейнере докера, вот пример дампа
https://imgur.com/a/Iltbj
А сеть на чем? Для CNI докер вообще никак конфигурировать не нужно, т.к. вся сеть идет через CNI плагинв, и с точки зрения докера оно все net=none
G72K
Это тянется еще с 1.3 версии. Хотел разобраться как куб работает, чтобы не было магии и черной коробки. Подправил шаблон шедуллера в puppet'е и взлетело.
Спасибо Максим =)
p.s. https://github.com/kubernetes/kubernetes/blob/master/examples/scheduler-policy-config.json в примере про taint'ы ничего нет, в хелпе шедуллера тоже. И на сайте k8s голяк. Узнать про существование PodToleratesNodeTaints только из исходников можно или из документации на сайте openshift'а
Если нет причин, то лучше удалить и жить с дефолтным, чтобы не приходилось отслеживать изменения
Aleksandr
Сеть ни на чем. Я создаю сам бридж, докеру указываю чтобы он его использовал и для каждой ноды задаю подсеть которую докер может юзать на конкретной ноде. Ну и SNAT для того чтобы контейнеры могли в интернет ходить
Aleksandr
нит никакой инкапсуляции
Aleksandr
и оверхеда
Aleksandr
забыл сказать, у меня бареметал
Aleksandr
https://kubernetes.io/docs/concepts/cluster-administration/networking/#l2-networks-and-linux-bridging вот это у меня
G72K
https://kubernetes.io/docs/concepts/cluster-administration/networking/#l2-networks-and-linux-bridging вот это у меня
Непонятно, как куб узнает про ип пода, если назначает его докер. В любом случае, авторы куба слишком долго воевали с сетью докера и пришли к тому чтобы вообще ее никак не использовать и изобрели CNI. У куба есть поддерживаемые CNI конфиги и без оверхеда, например calico с выключенным ipip
Aleksandr
ага, читал тут чате. предположу что kubelet узнает про Ip с докера. kubelet же инициирует запуск pause контейнера с сетью для пода, вероятно у докера же и узнает какой ип там. Но нужно смотреть исходники чтобы убедится.
авторы куба скорее не с сетью докера боролись, а обходили ограничения докера.
Потому как сеть докера это встроенные возможности в ядро линукса, просто отдельный неймспейс для сети + бридж + veth интерфейс который засовывается в бридж.
В том же gke оверлейные сети не используются.
Andrey
в том же calico бридж не используется)
Alexandr
Всем привет. А кто-то может рассказать про cattle vs kubernetes??
Алексей
Cattle поделие
Aleksey
Cattle - от него даже сам Rancher отказался и в Rancher 2.0 только k8s
Alexandr
Честно... мне просто людям аргументы привести
Maksim
Ну ты им скажи, что Rancher сам отказался от Cattle и использует k8s
Maksim
А это о чём то да говорит
Maksim
Хотят потрать пару лямов зелёных и завтра остаться без вендора, которому эти лимоны дали, ну пусть дерзают)
Maksim
ну и тут почитай
Maksim
ye b nen
Maksim
https://rancher.com/announcing-rancher-2-0/
Alexandr
Спасибо ))
G72K
ага, читал тут чате. предположу что kubelet узнает про Ip с докера. kubelet же инициирует запуск pause контейнера с сетью для пода, вероятно у докера же и узнает какой ип там. Но нужно смотреть исходники чтобы убедится.
авторы куба скорее не с сетью докера боролись, а обходили ограничения докера.
Потому как сеть докера это встроенные возможности в ядро линукса, просто отдельный неймспейс для сети + бридж + veth интерфейс который засовывается в бридж.
В том же gke оверлейные сети не используются.
Не знаю как в kubenet режиме, но в CNI pause контейнер стартует как net=none именно чтобы не связываться с докером
Ayrat
Ребята не подкажате публичное облако на территории России где можно K8s задеплоить ? GCP, Azure, AWS не подходят так как нет дата центров в РФ
Ayrat
Может уже обсуждалось где ? Пните пожалуйста в нужном направление или у кого есть опыт
Tim
Ставь на митол зачем тебе в рф облако.
Ayrat
Нужно чтоб датацентр был на территории РФ, такое вот требование
Ramil
Ребята не подкажате публичное облако на территории России где можно K8s задеплоить ? GCP, Azure, AWS не подходят так как нет дата центров в РФ
А в чем подвох? Сотни облачных провайдеров
Andrey
Ребята не подкажате публичное облако на территории России где можно K8s задеплоить ? GCP, Azure, AWS не подходят так как нет дата центров в РФ
на опенстеке заработает, в рф на опенстеке облака у селектел, маил.ру, техносерв, ростелек - но ты им стукни что бы уточнить)
Ayrat
на опенстеке заработает, в рф на опенстеке облака у селектел, маил.ру, техносерв, ростелек - но ты им стукни что бы уточнить)
а у mail.ru есть ссыкла на их cloud ? я что то не нашел ? Спасибо за фидбак!
Andrey
у них вроде пока "по приглашению", типа ты им напиши - они все расскажут
Nikolay
а у mail.ru есть ссыкла на их cloud ? я что то не нашел ? Спасибо за фидбак!
У них пока решение не "обкатано", ребята в процессе, как я понял... Так что перед тем как напрашиваться на приглашение, подумайте хорошо, готовы ли "бороться"))
Ayrat
ок 🙂 вот нашел ссылку: https://mcs.mail.ru/
Maksim
Gleb
Бери Селектел ))
Ayrat
Пол страны в Openstack, а Openstack даже и не знает: https://www.openstack.org/marketplace/public-clouds/ 🙂
Maksim
Пол страны в Openstack, а Openstack даже и не знает: https://www.openstack.org/marketplace/public-clouds/ 🙂
Для того что бы тебя знали, нужно регится в сообщество. Нашим пофиг в большенстве, либо через контребьютера заходит
Alexander
Ребята, кто нибудь юзает связку Gitlab + kubernetes?
Alexander
Может есть простенький пример делоя на кластер?
bebebe
Интересует делой, через helm или без него?
без helm'a, у меня k8s крутится как запускалка для CI/CD контейнеров для сборки и тестирования, как "дешевая" оркестрация запуска докер контейнеров
Alexander
без helm'a, у меня k8s крутится как запускалка для CI/CD контейнеров для сборки и тестирования, как "дешевая" оркестрация запуска докер контейнеров
И чем деплоишь? Или тупо через ssh дёргаешь kubectl?
bebebe
почитайте сначала как правильно подкючить
https://about.gitlab.com/kubernetes/
bebebe
gitlab и k8s интегрируются через k8s api
Alexander
Что-то у меня падает при установке helm или можео без него?
bebebe
кто падает, уточните
CrusaderX
Ayrat
по теме gitlab: https://techcrunch.com/2018/04/05/gitlab-launches-a-native-integration-with-googles-kubernetes-engine/
Alexander
Something went wrong while installing Helm Tiller
Can't start installation process
Ayrat
тут пример с kubectl
bebebe
а. tiller, его можно скипнуть.
Ayrat
я думаю с helm тоже самое via script
Anonymous
Помогите поднять куб. =)
Есть две ноды. На обеих:
Ubuntu 16.04.4
Docker 18.03.0
Куб 1.10.0
Делал всё по этой инструкции:
https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/
Обе ноды NotReady.
Alexander
Просмотри по логам что там творится
Anonymous
425 kubelet.go:2125] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network
425 cni.go:171] Unable to update cni config: No networks found in /etc/cni/net.d
Vadim
It by design does not install a networking solution for you, which means you have to install a third-party CNI-compliant networking solution yourself using kubectl apply.
G72K
It by design does not install a networking solution for you, which means you have to install a third-party CNI-compliant networking solution yourself using kubectl apply.
от сломанного CNI нода NotReady быть не должна
Vadim
от сломанного CNI нода NotReady быть не должна
трюк в том, чтобы заманить его на установку CNI и узнать что, допустим, API сервер молчит :)
Anonymous
Даунгрейднул докер, всё взлетело. =/
да, это я
Тихон
Народ, глупый вопрос - как правильно зашатдаунить ноду. Я делаю kubectl cordon _node_, но эта штука оставляет поды от daemon set и те у которых есть storage. и как их правильно зашатдаунить? Я подумал, можно конечно остановить kubelet и руками все контейнеры через докер остановить с указанием большого таймаута. Но может есть способ лучше?
Dmitrii
kubectl drain?
Maksim
с демон сетом не прокатит-)