@asigatchov, есть вопросы - пиши в личку.

Всем привет

Я все с той же проблемой воюю

Никак не могу победить сертификаты для etcd

Делал уже по оф гайду

https://kubernetes.io/docs/setup/independent/high-availability/

Никак не принимает

Уже все перепробовал

Конфиг

Тут это уже обсуждалось несколько раз, причём сегодня с утра очередная итерация была, кажется :)

Нужно коннектиться с клиентским сертификатом т.к. выставлена опция —client-cert-auth

Тоесть выписать клиентский серф и etcdctl показать сертификат клиента. ???

Etcdctl member-list -- clientcert /path

Типо такого ?

Ещё вопрос получается тогда сертификату сервера в SaN надо указать Ip всех клиентов ???

Etcdctl member-list -- clientcert /path

—cert-file и —key-file

https://coreos.com/etcd/docs/latest/op-guide/security.html - тут все хорошо расписано

Ок спасибо щас гляну

И попробую

Спасибо

Работает

Получается клиентский серф надо подсовывать воркерам и прописать туда все Ip etcd мемберов в SAN правильно я понял ???

Получается клиентский серф надо подсовывать воркерам и прописать туда все Ip etcd мемберов в SAN правильно я понял ???

Каким воркерам?) В etcd ходит только API-server

Планирую мастера и воркеры держать на тех же хостах

Etcd отдельно , мастер и воркеры вместе

Эм, это не важно. Ходит только апи-сервер, ему нужно будет подсунуть клиентский сертификат. Прописывать ip в клиентский сертификат не надо.

Никто не подскажет как проверить отрабатывает ли балансер для мастеров ???

Никто не подскажет как проверить отрабатывает ли балансер для мастеров ???

Потушить поочерёдно мастеры, не?

Без прерывания

Модно как то ?

Обращением к балансеру к примеру

Через curl

Если мастера ставят какую-то свою куку/заголовок, то можно просто подергать их в цикле и убедиться что разные приходят

Если мастера ставят какую-то свою куку/заголовок, то можно просто подергать их в цикле и убедиться что разные приходят

а если балансер хешит по сорсу ?

тогда будет печалька)

Ну че еще можно предложить. Логи на мастерах посмотреть. tcpdump'ы снять, прости господи)

Ну че еще можно предложить. Логи на мастерах посмотреть. tcpdump'ы снять, прости господи)

сложнА

Без прерывания

так а в чем прерывание, там же leader election пара секунд, весь стейт в etcd

nslookup consul.sso.svc.cluster.local 10.96.0.10

там же должен быть неймспейс в fqdn

https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/#srv-records

по поводу volume для маленького количества данных - попробуйте прикрутить StorageOS https://kubernetes.io/docs/concepts/storage/volumes/#storageos https://docs.storageos.com/docs/install/schedulers/kubernetes я так понимаю это аналог NFS но все сделано через агент в контейнере

Какие есть подкубные камни у local-storage?

В контексте «кластера» из одного хоста

Так навскидку могу вспомнить только проблемы с пермишеннами если контейнер бежит не от рута но это решается

там же должен быть неймспейс в fqdn

Спасибо кэп. Особенно на хосте....и ты скорее о search зоне говоришь.

по поводу volume для маленького количества данных - попробуйте прикрутить StorageOS https://kubernetes.io/docs/concepts/storage/volumes/#storageos https://docs.storageos.com/docs/install/schedulers/kubernetes я так понимаю это аналог NFS но все сделано через агент в контейнере

Нет это не аналог nfs это вполне себе SDS. Скорее Аналог ceph GlusterFS и еже с ними.

Какие есть подкубные камни у local-storage?

Недавно для 1.9 обновили local volume provisioner до 2.0 и feature gate появились связанные. В kubespray в мастере доступно.

Посоны, чо гластер 4ый в проде катает уже кто-нибудь?

Кто-то вообще гластер в проде юзает?

Кто-то вообще гластер юзает?

Кто-то вообще гластер юзает?

кроме шапки?

Посоны, чо гластер 4ый в проде катает уже кто-нибудь?

А профит у гластера есть по скорости - например БД засунуть или это от лукавого всё?

у нас посоны до сих пор в проде на nfs, ceph даже на стэйдж не хотят. мол сложно поддерживать

а так я бы устроил холивор ceph vs gluster ;)

Распределенные fs не для того, чтобы в них пихать бд

Распределенные fs не для того, чтобы в них пихать бд

+

а так я бы устроил холивор ceph vs gluster ;)

Vs hdfs забыл)

А профит у гластера есть по скорости - например БД засунуть или это от лукавого всё?

посмотри в сторону cockroach если тебе распределенную надо

Vs hdfs забыл)

он уже есть, уже несколько лет полет нормальный ;) но для других целей

Лучше тогда сразу в сторону apache ignite посмотреть)

Лучше тогда сразу в сторону apache ignite посмотреть)

я надеюсь ты не серьезно...

Надеюсь)

Лучше тогда сразу в сторону apache ignite посмотреть)

Игнайт и sds это чуток о дургом.

Игнайт и sds это чуток о дургом.

Эт я про распределённые базы предложил взять игната)

что-то flannel артачится. коннекты к, например, dnsmasq проходят через раз, а соответственно, и разрешение имен. в логах такая фигня github.com/coreos/flannel/subnet/kube/kube.go:284: Failed to list *v1.Node: Get https://10.233.0.1:443/api/v1/nodes?resourceVersion=0: dial tcp 10.233.0.1:443: getsockopt: connection refused куда копать?

что-то flannel артачится. коннекты к, например, dnsmasq проходят через раз, а соответственно, и разрешение имен. в логах такая фигня github.com/coreos/flannel/subnet/kube/kube.go:284: Failed to list *v1.Node: Get https://10.233.0.1:443/api/v1/nodes?resourceVersion=0: dial tcp 10.233.0.1:443: getsockopt: connection refused куда копать?

В качестве бекенда используется vxlan? Есть ли ошибки на flannel интерфейсе? Попробуйте hostgw

да, в качестве бэкенда vxlan

вижу, что есть дропнутые пакеты

на второй ноде аж почти 3000

хотелось бы докопаться до причины, если честно

смотреть в правила iptables?

http://machinezone.github.io/research/networking-solutions-for-kubernetes/ есть версии, что на линуксе vxlan работает не очень хорошо под большими нагрузками

спасибо, не думаю, что у меня большие нагрузки, но попробую

однако https://github.com/coreos/flannel/issues/895

всем прмвет! А кто-то прикручивал к k8s cephfs с dynamic provision или какой-то другой read-write-many storage c dynamic provision?

glusterfs не предлагать, хотя с ним все завелось с пол пинка

а чё так?

почему тебе гластер не нравится?

мне нрасится, а некоторым нет, сказали искать другое решение

а аргументы?-)

я так понял какая-то страрая боль, но внятных аргументов до меня не дошло, но вопрос не в этом

кто-то юзал cephfs/nfs?