можно antiAffinity задать, но все равно, при добавлении нод кому-то придется подкрутить количество подов в rs

Это уже чуточку из другой оперы) и опять же задаёт правила запуска для Шелдулера)

ds в 1.6 заработал как деплой?

я просто ещё 1.6 не мучал, у меня 1.5 в бою

я просто ещё 1.6 не мучал, у меня 1.5 в бою

обновляйтесь, скоро уже 1.7 будет :)

а скоро это когда?) месяц? два?

вот как это поборят, так сразу :) https://github.com/kubernetes/kubernetes/issues?utf8=%E2%9C%93&q=is%3Aissue%20is%3Aopen%20milestone%3Av1.7

а кто-нибудь пробовал ansible-container deploy в k8s?

@let

@rossmohax Ранние версии уже есть. У меня стоит, ради того что-бы потыкать ручками

я не такой смелый :)

буду ждать 1.7.2 :)

вот эта джоба работает: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token вот эта выдает server returned HTTP status 401 Unauthorized - job_name: 'kubernetes-nodes' scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token kubernetes_sd_configs: - role: node кто сможет объяснить почему у меня руки из задницы? :)

Сдается мне тлс конфиг там не так указывается

Хотя у нас Прометей снаружи

Я пользуюсь Rancher, но сейчас Cattle как оркестратор

а по ранчеру кто подскажет?

Я пользуюсь Rancher, но сейчас Cattle как оркестратор

Cattle всегда стабильно работает? не бывает, что от версии к версии, что-то ломается кардинально?

Нет, но бывают проблемы с rancher server (cattle процесс) . Столкнулся с зависанием тредов на сервере и повышенным потреблением CPU. Пришлось лезть в базу и удалять записи о воркерах.

Ещё очень нестабильно работает обновление через rancher-compose или rancher cli, автоопределение новой версии образа у меня никак не работает.

Ну и rancher-compose устарел, хотя и stable. В итоге пользуемся rancher cli.

а почему kubelet в логи сыпет, что не может статы с lxd дисков на zfs получить? зачем ему zfs да и еще от lxd?) [fs.go:333] Stat fs failed. Error: exit status 1: "/sbin/zfs zfs get -Hp all lxd/images/1e59027d1d58873fc7e23f769232cd4846c6d675ea292bc71037fafc1547649d" => cannot open 'lxd/images/1e59027d1d58873fc7e23f769232cd4846c6d675ea292bc71037fafc1547649d': dataset does not exist

А кто сейчас чем раскатывает на bare? kargo (kubespray) очень медленно развивается, может есть достойные варианты?

А кто сейчас чем раскатывает на bare? kargo (kubespray) очень медленно развивается, может есть достойные варианты?

марсианский кукбук. Но нужен шеф

марсианский кукбук. Но нужен шеф

а можно ссылку?

А есть кто удачно запустил в продакшен k8s-кластер на CoreOS загружающейся по PXE?

Сорян за оффтоп, не красиво чужие вопросы своим перебивать... я просто оставлю это тут вдруг кто ответит: Я обычно с пониманием отношусь к тому что я чего-то недопонимаю, но тут походу фундаментальное недопонимание и оно меня бесит. Короче, есть некое приложение который использует RAFT для достижения консенсуса. При этом, алгоритм там настолько тупо реализован что требуется при запуске указать всех участников и они должны быть доступны, иначе приложение не стартует. Для того чтобы с самого начала были известны имена всех участников, я заюзал petset с headless service (можно deployment с отдельными сервисами но там свои косяки). То есть, сервис используется в данном случае ТОЛЬКО для того чтобы были стабильные dns-имена правильно резольвящиеся в айпишники. Приложение запускается, видит всех своих друзей и с использованием raft образует mesh-сесть (ну, не совсем mesh конечно но в данном контексте сойдет) между всеми участниками подключившись НАПРЯМУЮ друг к другу по айпишникам которые срезольвились через dns по порту 5001. На этом мои знания заканчиваются и начинается магия... 1) Почему без указания абсолютно левого порта в headless serivice который нужен только для резольвинга приложение не запускается (висит на "ожидаем всех участников") - то есть с вероятностью 90% не создаются A-записи в кубернетеском dns? (каюсь, не проверил этот момент потому что утомился) 2) Что я не понимаю в этой схеме? Есть какая-то ключевая позиция которую я упускаю? Вот код того что проверяю если что: https://pastebin.com/aF6Y2USY

Сорян за оффтоп, не красиво чужие вопросы своим перебивать... я просто оставлю это тут вдруг кто ответит: Я обычно с пониманием отношусь к тому что я чего-то недопонимаю, но тут походу фундаментальное недопонимание и оно меня бесит. Короче, есть некое приложение который использует RAFT для достижения консенсуса. При этом, алгоритм там настолько тупо реализован что требуется при запуске указать всех участников и они должны быть доступны, иначе приложение не стартует. Для того чтобы с самого начала были известны имена всех участников, я заюзал petset с headless service (можно deployment с отдельными сервисами но там свои косяки). То есть, сервис используется в данном случае ТОЛЬКО для того чтобы были стабильные dns-имена правильно резольвящиеся в айпишники. Приложение запускается, видит всех своих друзей и с использованием raft образует mesh-сесть (ну, не совсем mesh конечно но в данном контексте сойдет) между всеми участниками подключившись НАПРЯМУЮ друг к другу по айпишникам которые срезольвились через dns по порту 5001. На этом мои знания заканчиваются и начинается магия... 1) Почему без указания абсолютно левого порта в headless serivice который нужен только для резольвинга приложение не запускается (висит на "ожидаем всех участников") - то есть с вероятностью 90% не создаются A-записи в кубернетеском dns? (каюсь, не проверил этот момент потому что утомился) 2) Что я не понимаю в этой схеме? Есть какая-то ключевая позиция которую я упускаю? Вот код того что проверяю если что: https://pastebin.com/aF6Y2USY

А там не srv записи разве? для srv записи нужен порт

а, то есть если я порт не задаю (даже если он не нужен) то запись просто не создается? это все объясняет походу, спасибо :)

я че-то про A всегда думал

А там не srv записи разве? для srv записи нужен порт

я тоже так подумал, но в доках вроде простой nslookup находит

стопэ, а ping xxx.yyy.svc.cluster.local это ведь A

Мне кажется srv первична, не?

а можно ссылку?

https://github.com/evilmartians/chef-kubernetes/

А есть кто удачно запустил в продакшен k8s-кластер на CoreOS загружающейся по PXE?

да

А кто сейчас чем раскатывает на bare? kargo (kubespray) очень медленно развивается, может есть достойные варианты?

свои сальт рецепты

https://github.com/evilmartians/chef-kubernetes/

Благодарю :)

да

Чистый Matchbox для доставки Ignition-конфига на ноду или на Terraform?

Чистый Matchbox для доставки Ignition-конфига на ноду или на Terraform?

через ansible генерим из шаблонов ignition конфиги и профили для каждой ноды в Matchbox

но я не призываю делать также:) Это делалось во времена когда terraform там не было и назывался он по другому

да

Как с сетью решили? CNI + flannel(или другой overlay) или kubenet?

cni нету. flannel host-gw

Кто-нибудь запускает postgres в подах? Как рестартуете/останавливаете ?

Запускаем cockroachdb в подах :)

драйвер postgres

Что-то заинтересовался моментом... Если ставить куб "из коробки", если мастер упадёт, как будет вести себя кластер? Сайты будут открываться?

Что-то заинтересовался моментом... Если ставить куб "из коробки", если мастер упадёт, как будет вести себя кластер? Сайты будут открываться?

Будут. Проблемы начнутся при изменении инфраструктуры

А как обычно поднимают упавший мастер? Там же токены нужны и прочее. Что почитать?

Уточни, на счет упал. Т.е. сервер совсем умер? Или отключился, перезагрузился,включился?

Уточним - он упал или он уничтожен?

Например, питание от сервера отключили. Ааа, хотя, после старта он же должен сам подняться? Или, например, памяти не хватило и упал по сегфолту - маловероятно, но а вдруг!

Уточни, на счет упал. Т.е. сервер совсем умер? Или отключился, перезагрузился,включился?

Ну, или если я пакет обновлю и сервис перезапущу.

Например, питание от сервера отключили. Ааа, хотя, после старта он же должен сам подняться? Или, например, памяти не хватило и упал по сегфолту - маловероятно, но а вдруг!

В таком случае Мастер переподнимется, токены ж сохранятся прежние, и воркеры должны подцепиться сами.

Что-то заинтересовался моментом... Если ставить куб "из коробки", если мастер упадёт, как будет вести себя кластер? Сайты будут открываться?

Обычно мастер не один, в продакшин у многих 3 мастера

Обычно мастер не один, в продакшин у многих 3 мастера

То есть, если совсем уничтожить один мастер, то можно его будет потом подключить, как ноду и назначить мастером?

То есть, если совсем уничтожить один мастер, то можно его будет потом подключить, как ноду и назначить мастером?

Да, если совсем уничтожить, то можно подключить новый мастер, данные конфигурации в etcd хранятся

То есть, если совсем уничтожить один мастер, то можно его будет потом подключить, как ноду и назначить мастером?

нет. Но можно восстановить etcd, конфиги, токены и ключи со старого и поднять на новом

нет. Но можно восстановить etcd, конфиги, токены и ключи со старого и поднять на новом

В смысле, если мастеров изначально больше одного было. Один уничтожить.

тогда никаких проблем не будет вообще. создаем нового мастера, цепляем к существующему, удаляем старого из конфигов

ERROR: S client not available

а кто нить бэкапит etcd и пробовал его ресторить?=)

http://s6.pikabu.ru/post_img/2017/06/05/0/og_og_14966114892546496.jpg

http://s6.pikabu.ru/post_img/2017/06/05/0/og_og_14966114892546496.jpg

Только искал эту кратинку :)

а кто нить бэкапит etcd и пробовал его ресторить?=)

я бэкапил и ресторил

там ничего сложного на самом деле

там ничего сложного на самом деле

там вроде 2 метода: 1. через snapshot 2. через backup. Различие в версиях хранимых данных(v2/v3). У нас в etcd и те и те, вот и интересно стало, кто делал и как=)

я через снапшоты

их можно вызывать вручную перед бэкапом или просто копировать папку со снапшотами, она автоматически пополняется

У кого-нибудь было так что при редеплое пода не обновился эндпоинт и как итог, сервис роутит на неактуальный айпишник?

у кого к deployment привязаны rbd волумы?

HA мастер никто не отменял

Привет. Поискал по истории, не нашел похожих вопросов. Есть офисный DNS сервер, работает на BIND, обслуживает внутренний домен dom.loc. Хочется делегировать поддомен test.dom.loc в kubernetes, чтобы поды были доступны по имени podnames.test.dom.loc. Запустил kubernetes на 4-х виртуалках, сеть flannel 10.244.0.0/16 kubeadm init —apiserver-advertise-address=192.168.21.1 —service-dns-domain=test.dom.loc —pod-network-cidr=10.244.0.0/16 Создал в BIND glue record, IP взял из kube-system kube-dns-3248477975-5119w 3/3 Running 28 2d 10.244.1.9 tcpdump вижу что glue record работает, и направляет запросы к kube-dns. создаю pod apiVersion: v1 kind: Pod metadata: name: busybox namespace: default spec: containers: - image: busybox command: - sleep - "3600" imagePullPolicy: IfNotPresent name: busybox restartPolicy: Always pod запускается default busybox 1/1 Running 22 21h 10.244.1.8 Ожидаю, что он будет резолвится по имени busybox.test.dom.loc, но этого не происходит. 1) Как зафиксировать IP kube-dns, так как после рестарта pod kube-dns у него меняется IP? 2) На каком этапе kubernetes создает A-record в DNS (pod,service,...)? 3) Как получить AXFR из kube-dns? Натолкните плз, куда смотреть.

1) Создать сервис

2) Для каждой сущности

3) Незнаю)

а я правильно понимаю, что если —service-dns-domain=test.dom.loc, то pod должен резолвится, как busybox.test.dom.loc ?

хостнеймы контейнеров небудут ресолвиться, а вот адреса сервисов лоабдалансеров будут

сам вот недавно это исследовал

еще советуют сеть в бридж переключить, но я хз как это с фланнелем совместимо

https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/ Если вкратце, то создав сервис, а запись будет service-name.default.svc.test.dom.loc Под получит а запись с ip адресом вначале. Чтобы сделать то что хочется нужно поиграться с аннотацией pod.beta.kubernetes.io/hostname Судя по документации делает примерно то что нужно

поды то же резолвятся

имя под.pod.namespace.domain

имя под.pod.namespace.domain

м? разве?

ну такое есть в коде )

When enabled, pods are assigned a DNS A record in the form of pod-ip-address.my-namespace.pod.cluster.local

а ты про имя)

Тут каяюсь) только использовать и это смысла нет, под слишком смертны, и их ip/имя очень изменчевы

если там еще один сервис дискавери то норм, но всеравно изврат