у меня вообще все работать начало только после 3.0.7 когда включили https://github.com/coreos/etcd/pull/6310

до этого постоянный тупняк происходил

ну а если серьезно, то fleet более низкоуровневый нежели k8s. есть компания, которая активно использовала fleet для своего кластера (https://giantswarm.io/). но и они впоследствии сделали ставку на k8s.

fleet доведут до релиза 1.0 и coreos больше не будет его поддерживать

вернее coreos его уже давно не поддерживает. поддеркжа по outsource была

и есть

ну а какой в нем смысл? если кубернетес сам себя менеджит, какой смысл его еще обмазывать чемто ?

я вот понимаю еще допустим в опенстеке готовом его попробовать развернуть - проблема

ходят слухи, что в systemd скоро запилят distributed scheduler. и fleet станет совсем не нужен. но те же слухи говорят о том, что в systemd контейнеризацию запилят.

смысл в легковестности и достаточной простоте

я пользуюсь https://github.com/kubespray/kargo

а контейнеризация в systemd уже есть (systemd-nspawn). обертку красивую не делают. потому что у redhat партнесртво с docker

как то у нас это ^^ не заработало

если докер убрать, как делать overlay network - weave использовать ?

docker's overlay network - это обычный bridge + route

vxlan можно завести руками, bridge можно создать руками. а к чему контейнеры цеплять - сам решай.

это немного усложняет процесс ) а pros какие ?

это ответ на вопрос "если докер убрать?"

там еще добавятся systemsd-networkd, systemd-resolvd и прочие

какой смысл убирать один докер, чтобы нагородить много систмд приблуд

не вижу зависимости

да еще и руками остальное делать. иногда еще нужны privileged контейнеры, тоже не получится. рокет вроде тоже не умеет

privileged вот тут может помочь fleet, т.к. он на low-level работает

в целом понятно, спасибо

> ходят слухи, что в systemd скоро запилят distributed scheduler. и fleet станет совсем не нужен. @kay_rus Это очень интересно. У тебя случайно нет ссылки, где можно почитать про планы по subj?

ну это инсайдерские разговоры

all hail systemd

ничего конкретного. просто знаю, что база для всего этого есть, но не имплементится из-за договоренностей.

@kay_rus Жаль. Но вообще что там говорят? Что это будет что-то низкоуровневое по аналогии с CoreOS's Fleet? IMO это было бы очень полезно иметь такой инструмент прямо в сердце init-системы. Это бы очень помогло в поднятии более специализированных кластерных систем типа Kubernetes, Mesos, Hadoop, etc.

говорят ресурсов нет чтобы это заимплементить

это лобби! просто не дают всякие редхаты)

сейчас rh сконцентрирован на project atomic

и у них выбор: systemd+docker+kubernetes || systemd+runc+kubernetes

у kubelet есть опция —non-masquerade-cidr , но мне казалось, что все настройки в iptables записывает kube-proxy

нафига kubelet это знать, вот вопрос

господа, а вы прописываете правила (или может какой сервис их прописывает)? iptables -t nat -A POSTROUTING ! -d ${cluster_cidr} -o eth0 -j MASQUERADE iptables -t nat -A POSTROUTING ! -d ${service_ip_range} -o eth0 -j MASQUERADE

было подозрение, что или weave, или kube-proxy должны их прописать, но что-то никто этого не делает

из контейнеров нет доступа во внешний интернет

калико?

или фланель. или там один виив

во фланели должно работать

в калико надо пересобрать пул с ключом not-outgoing, а прокси запустить с ключом iptables

nat-outgoing

я не знаю как виив работает

weave один

тады ой

доступ во внешний интернет появляется после weave —local expose

Вчера напрыгался с бубном, сегодня установил через kubeadm и сразу же удалил api server :)) Вопрос как можно обновить apiserver? kubeadm его запускает в контейнере. Авторизацию надо включить.

манифесты тут сами обновляются, если их изменить

Ставил по гайду на Cenos7 http://kubernetes.io/docs/getting-started-guides/kubeadm/ По одиночке кубернет работает, вместе - отказывается. Виртуалки воткнуты в бридж первым и единственным интерфейсом. Есть мануал как скрестить два кубернетес не через kubeadm?

Что в etcd ожидается прописать или в конфиге kubernetes чтобы оно таки работало

на мастер делаешь init на нодах join и все работает

Не сработало

Логи каких контейнеров смотреть? Там их куча. apiserver & etcd?

я на ubuntu делал, 2 раза поднимал. второй раз пришлось перегрузить ноды

второй раз у меня были ошибки с aufs и я docker перевел на overlay2

смотрел dmesg и syslog

kubectl get no

etcdctl cluster-health

kubectl get po

на мастере

Попробую на убунте 16.04

kubectl get no на мастере показывал только мастер, на слейве - "could not connect"

etcdctl cluster-health попробую

ERROR: S client not available

Спасибо

пример по taint https://medium.com/@alejandro.ramirez.ch/reserving-a-kubernetes-node-for-specific-nodes-e75dc8297076#.a56zx9kkz

Запилил rolling upgarde для stateless elasticsearch кластера (emptyDir stoareg). https://github.com/kayrus/elk-kubernetes#readiness-probe

Запилил rolling upgarde для stateless elasticsearch кластера (emptyDir stoareg). https://github.com/kayrus/elk-kubernetes#readiness-probe

Можно использовать envsubst в рендере, чище получится

Я на днях нечто похожее пилил, но без роллинга

envsubst не использовал, потому что на модных маках нет

Ставится через brew

я в курсе

В общем, FYI, а так круто очень ?

Я тоже из pyres репы делал

https://github.com/kubernetes-incubator/kompose

Надо будет еще вот эту приблуду прикрутить http://elastalert.readthedocs.io/en/latest/ Тогда разработчики кипятком ссаться прямо на рабочем месте начнут. А то заладили то airbrake им подавай, то pingdom, то relic, то newrelic. Тьфу, бесовщина :)

А это так и вообще в пользовательский интерфейс встраивается https://github.com/elasticfence/kaae

У кого-нибудь были такие ошибки в nginx ingress контроллере: setrlimit(RLIMIT_NOFILE, 131072) failed (1: Operation not permitted) ?

Да

что это и как лечить?

Я не лечил, но 95% это болячка докера

т.к. docker в любом случае запускает процессы из под себя. и эти процессы унаследуют его ulimits

так что чтобы правильно это вылечить, нужно установить например в systemd: LimitNOFILE=infinity LimitNPROC=infinity LimitCORE=infinity

и рестартануть докера

Спасибо. Попробую подлечить больного.

Салют, а есть в этом канале герои, кто поднимал федеративный кластер кубернетиса?

Если есть, поделитесь знаниями - как именно поднимали пожалуйста

Салют, а есть в этом канале герои, кто поднимал федеративный кластер кубернетиса?

Если найдёшь, ткни пальцем :)

Если найдёшь, ткни пальцем :)

если сам подниму скину мануал :)

если сам подниму скину мануал :)

Ок :)

а есть нюансы? хотя с кубернетисом всегда нюансы, а с какой целью вы федеративный поднимаете?

Несколько ДЦ я так понимаю

Ок :)

Хотя с твоим именем и фамилией, этим человеком должен был быть ты.. Было бы огонь ?

то есть конечное приложение деплоится на разные датацентры?

а есть нюансы? хотя с кубернетисом всегда нюансы, а с какой целью вы федеративный поднимаете?

На самом деле есть всего один главный вопрос - можно ли получить данные по подам со всех кластеров одной командой