у нас 1.6.1 и beta

ок, попробую враппер

а ноды у вас ребутятся?

https://github.com/kubernetes-incubator/kube-aws/blob/e6de3dc6e45f8083013f23e24fade18305567cf5/core/controlplane/config/templates/cloud-config-worker#L137-L209

вот наша пускалка, подпилите напильником по вкусу :)

а ноды у вас ребутятся?

нет, оно несовместимо с кубом

просто просто новый контейнер фланнел создается только после ребута

если gc ничего не перемещает в мусор у меня проблем тоже нет

хорошая пускалка спасибо за линк

что-то не так если kubelet вообще заботит rkt контейнеры. все что он должен видеть - контейнеры в докере

ну видимо бинарник видит и то и то

надо попробовать его в rkt и не дать ему монтировать var/lib/rkt

хотя в вашем скрипте он примонтирован

-volume var-lib-rkt,kind=host,source=/var/lib/rkt \

если есть тестовая нода попробуйте убить контейнер с фланнел и подождать/запустить rkt gc

если есть тестовая нода попробуйте убить контейнер с фланнел и подождать/запустить rkt gc

ОК, я на ноде :) убить фланел, rkt gc, затем что?

смотреть лог)

если gc перенесет папку с убитым подом начнется активность кубелета

там просто политика gc не сразу переносить а через сколько то часов

может он просто отработает и не перенесет, по дефолту вроде через 12 часов он переносит в одну папку а еще через 12 удаляет

тишина

rkt list

что говорит?

https://coreos.com/rkt/docs/latest/subcommands/gc.html

UUID APP IMAGE NAME STATE CREATED STARTED NETWORKS 00091d0e hyperkube quay.io/coreos/hyperkube:v1.6.1_coreos.0 running 1 day ago 1 day ago 8182c0c8 flannel quay.io/coreos/flannel:v0.7.0 running 2 minutes ago 2 minutes ago list: 2 error(s) encountered when listing pods: list: ---------------------------------------- list: Unable to read pod 4c1c0eb7-ff8a-4ed7-8b08-0028b44d07c3 manifest: error reading pod manifest list: ---------------------------------------- list: Unable to read pod 657337f6-705f-4b57-9ae8-79e265af2476 manifest: error reading pod manifest list: ---------------------------------------- list: misc: list: rkt's appc version: 0.8.10 list:

похоже он их не может gc :) там был баг в рокете связаный со stage1 про это

хм

у меня норм листает под рутом

rkt gc --grace-period=1m0s

да делал с 0

rkt run --insecure-options=image docker://busybox --exec date; rkt gc --grace-period=0

копит ошибки в rkt list :)

а что в journalctl -n40000|grep rkt

у меня там периодический gc

дело не в gc

точнее в том, что оно не может выполнится

после каждого rkt run растет cat /proc/mounts |wc -l так как: Garbage collecting pod "657337f6-705f-4b57-9ae8-79e265af2476" gc: problem performing stage1 GC on "657337f6-705f-4b57-9ae8-79e265af2476": open /var/lib/rkt/pods/exited-garbage/657337f6-705f-4b57-9ae8-79e265af2476/stage1/manifest: no such file or directory gc: unable to remove pod rootfs "657337f6-705f-4b57-9ae8-79e265af2476": remove /var/lib/rkt/pods/exited-garbage/657337f6-705f-4b57-9ae8-79e265af2476/stage1/rootfs: device or resource busy

забавно, у меня с гц все хорошо

а вот после не очень)

вот нашел: https://github.com/rkt/rkt/issues/3465

вобщем, если перейдете на kubelet-wrapper у вас так же будет :))

даже не знаю теперь)

я задизаблил гц пока

даже не знаю теперь)

убрал https://github.com/kubernetes-incubator/kube-aws/blob/e6de3dc6e45f8083013f23e24fade18305567cf5/core/controlplane/config/templates/cloud-config-worker#L153-L156 gc заработал норм , кюблет не сломался

спасибо) буду пробовать

Ребят, есть успешные/неуспешные запуски https://github.com/coreos/torus для pv куба?

а есть ли смысл? Development on Torus at CoreOS stopped as of Feb 2017.

ну да.. значит все ж gluster

ну да.. значит все ж gluster

крайне не советую gluster. работает очень медленно, чувствителен к состоянию дисков (brick-ов)

Это в курсе... А какие есть альтернативы? ceph?

ceph сильно лучше, тоже не "сел и поехал" конечно

ceph сильно лучше, тоже не "сел и поехал" конечно

а не бывает сел и поехал. Везде подводные камни. Но я остановился на ceph

Riak S2

MooseFS

Lustre

хоспади

хоспади

Я ждал, когда ты дочитаешь эту группу

Я ждал, когда ты дочитаешь эту группу

всё такое вкусное)

Lustre

а он живой еще?

https://github.com/kubernetes/charts/pull/428#event-1048933890 пол года не прошло :)

Парни, что порекомендуете для изучения кубов?

http://coub.com

Парни, что порекомендуете для изучения кубов?

k8s hard way

ERROR: S client not available

Парни, что порекомендуете для изучения кубов?

курс Юдасити от Келси Хайтауэра

он слегка устарел, но покрывает почти все, пусть и по мелочи

dockercon смотрите?

Ссылку давай

вопрос: kube-proxy как конфигурится через configset? например я хочу сделать свое значение на параметр conntrack-min

это sysctl? вроде через annotationбыло что-то

День добрый:) А кто как ребалансирует нагрузку на нодах кластера? Проблема в том, что сейчас на двух нодах из 5-ти большая нагрузка, притом что на остальных нагрузка меньше (вводились позже) Тупо гасить на нагруженных нодах контейнеры, чтобы те переподнялись на вновьсозданных? Или есть какой то еще вариант?

rescheduler addon

кстати, по этому поводу читал интересную статью на хабре: https://habrahabr.ru/company/flant/blog/326062/

А кто-нибудь использует kubernetes на debian?

А кто-нибудь использует kubernetes на debian?

Есть:)

Есть:)

А то что-то не выходит у меня каменный цветок. Думал, может в системе дело. Пробую по интерактивному гайду развернуть что-нибудь типа francois/apache-hostname, но, почему-то не присваевается external-ip. Всё время находится в состоянии pending. Как понять, что я делаю не так?)

А какая версия кубера ? просто 1.6.0+ на дебиан я не осилил , сейчас стоит 1.5.1

А какая версия кубера ? просто 1.6.0+ на дебиан я не осилил , сейчас стоит 1.5.1

Сейчас 1.6.1. Всё вроде работает, хоть и тормозит. Не могу понять почему. Очень долго жду после ввода любой команды kubectl.

а чем 1.6.1 поднимал? А что показывает kubectl top nodes ?

а чем 1.6.1 поднимал? А что показывает kubectl top nodes ?

Поднимал просто apt install) kubectl top nodes показывает: Error from server (NotFound): the server could not find the requested resource (get services http:heapster:)

Ну, то есть, я делаю kubeadm init, затем ставлю flannel, потом делаю join на соседней виртуалке. Везде (все поды) показывает, что всё запущено и работает.

А, через кубеадмин. Видимо в 1.6.1 починили наконец, а то там были косяки с настройкой в 1.6.0 =) kubectl top nodes показывает: Error from server (NotFound): the server could not find the requested resource (get services http:heapster:) Вот это как то странно... а kubectl top ? или что-то подобное есть в —help? (возможно, команду поменяли в 1.6+ версии)

Он написал что не нашёл сервис heapster

он вообще есть ?

он вообще есть ?

Нет. Сервиса нет. Его дополнительно надо ставить?

да-)

хотя я не знаю что именно делает kubeadm

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/cluster-monitoring/influxdb

https://github.com/kubernetes/heapster

хотя я не знаю что именно делает kubeadm

По идее он должен всё подгрузить, что не хватает в системе. Но видимо, в процессе прохождения по скриптам напильником, что-то сломалось)

я не уверен, что "всё". Насколько я могу судить по его документации он разворачивает кластер

heapster это уже addon, разворачивающийся внутри кластера, и получающий метрики с нод.

я сам пишу плей буки для ансибля) и ставлю всё из сырцов)

я был воспитан в дикой стае FreeBSD -)

Вот и мне предстоит этот путь,ибо брать что-то готовое и напильником проходить, слепо тыкаясь - не очень хороший вариант, чтобы понять как оно работает:) П.С. Когда кубадмин ставил на 1.5.1+ версии, там все автоматически подтянулось и все работало "из коробки", за исключением того,что дашборд не подцеплялся