MRY
MRY
Уже все перепробовал
MRY
MRY
Конфиг
Pavel
Тут это уже обсуждалось несколько раз, причём сегодня с утра очередная итерация была, кажется :)
Pavel
Нужно коннектиться с клиентским сертификатом т.к. выставлена опция —client-cert-auth
MRY
Тоесть выписать клиентский серф и etcdctl показать сертификат клиента. ???
MRY
Etcdctl member-list -- clientcert /path
MRY
Типо такого ?
MRY
Ещё вопрос получается тогда сертификату сервера в SaN надо указать Ip всех клиентов ???
Pavel
https://coreos.com/etcd/docs/latest/op-guide/security.html - тут все хорошо расписано
MRY
Ок спасибо щас гляну
MRY
И попробую
MRY
MRY
Спасибо
MRY
Работает
MRY
Получается клиентский серф надо подсовывать воркерам и прописать туда все Ip etcd мемберов в SAN правильно я понял ???
Pavel
Получается клиентский серф надо подсовывать воркерам и прописать туда все Ip etcd мемберов в SAN правильно я понял ???
Каким воркерам?) В etcd ходит только API-server
MRY
Планирую мастера и воркеры держать на тех же хостах
MRY
Etcd отдельно , мастер и воркеры вместе
Pavel
Эм, это не важно. Ходит только апи-сервер, ему нужно будет подсунуть клиентский сертификат. Прописывать ip в клиентский сертификат не надо.
MRY
Никто не подскажет как проверить отрабатывает ли балансер для мастеров ???
Vladyslav
Никто не подскажет как проверить отрабатывает ли балансер для мастеров ???
Потушить поочерёдно мастеры, не?
MRY
Без прерывания
MRY
Модно как то ?
MRY
Обращением к балансеру к примеру
MRY
Через curl
Andrey
Если мастера ставят какую-то свою куку/заголовок, то можно просто подергать их в цикле и убедиться что разные приходят
Andrey
Если мастера ставят какую-то свою куку/заголовок, то можно просто подергать их в цикле и убедиться что разные приходят
а если балансер хешит по сорсу ?
Andrey
тогда будет печалька)
Andrey
Ну че еще можно предложить. Логи на мастерах посмотреть.
tcpdump'ы снять, прости господи)
Vladyslav
Dmytro
https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/#srv-records
Dmytro
по поводу volume для маленького количества данных - попробуйте прикрутить StorageOS
https://kubernetes.io/docs/concepts/storage/volumes/#storageos
https://docs.storageos.com/docs/install/schedulers/kubernetes
я так понимаю это аналог NFS но все сделано через агент в контейнере
Nikita
Какие есть подкубные камни у local-storage?
Nikita
В контексте «кластера» из одного хоста
Dmytro
Так навскидку могу вспомнить только проблемы с пермишеннами если контейнер бежит не от рута но это решается
Maksim
там же должен быть неймспейс в fqdn
Спасибо кэп. Особенно на хосте....и ты скорее о search зоне говоришь.
Maksim
по поводу volume для маленького количества данных - попробуйте прикрутить StorageOS
https://kubernetes.io/docs/concepts/storage/volumes/#storageos
https://docs.storageos.com/docs/install/schedulers/kubernetes
я так понимаю это аналог NFS но все сделано через агент в контейнере
Нет это не аналог nfs это вполне себе SDS. Скорее Аналог ceph GlusterFS и еже с ними.
Anton
Какие есть подкубные камни у local-storage?
Недавно для 1.9 обновили local volume provisioner до 2.0 и feature gate появились связанные. В kubespray в мастере доступно.
Stanislav
Посоны, чо гластер 4ый в проде катает уже кто-нибудь?
Vlad
Кто-то вообще гластер в проде юзает?
Anonymous
Кто-то вообще гластер юзает?
Aleksey
Посоны, чо гластер 4ый в проде катает уже кто-нибудь?
А профит у гластера есть по скорости - например БД засунуть или это от лукавого всё?
Stanislav
у нас посоны до сих пор в проде на nfs, ceph даже на стэйдж не хотят.
мол сложно поддерживать
Stanislav
а так я бы устроил холивор ceph vs gluster ;)
Anonymous
Распределенные fs не для того, чтобы в них пихать бд
Stanislav
А профит у гластера есть по скорости - например БД засунуть или это от лукавого всё?
посмотри в сторону cockroach если тебе распределенную надо
Anonymous
Лучше тогда сразу в сторону apache ignite посмотреть)
Anonymous
Надеюсь)
Andrey
что-то flannel артачится. коннекты к, например, dnsmasq проходят через раз, а соответственно, и разрешение имен. в логах такая фигня
github.com/coreos/flannel/subnet/kube/kube.go:284: Failed to list *v1.Node: Get https://10.233.0.1:443/api/v1/nodes?resourceVersion=0: dial tcp 10.233.0.1:443: getsockopt: connection refused
куда копать?
Alexander
что-то flannel артачится. коннекты к, например, dnsmasq проходят через раз, а соответственно, и разрешение имен. в логах такая фигня
github.com/coreos/flannel/subnet/kube/kube.go:284: Failed to list *v1.Node: Get https://10.233.0.1:443/api/v1/nodes?resourceVersion=0: dial tcp 10.233.0.1:443: getsockopt: connection refused
куда копать?
В качестве бекенда используется vxlan? Есть ли ошибки на flannel интерфейсе? Попробуйте hostgw
Andrey
да, в качестве бэкенда vxlan
Andrey
вижу, что есть дропнутые пакеты
Andrey
на второй ноде аж почти 3000
Andrey
хотелось бы докопаться до причины, если честно
Andrey
смотреть в правила iptables?
Alexander
http://machinezone.github.io/research/networking-solutions-for-kubernetes/ есть версии, что на линуксе vxlan работает не очень хорошо под большими нагрузками
Andrey
спасибо, не думаю, что у меня большие нагрузки, но попробую
Andrey
однако https://github.com/coreos/flannel/issues/895
Max
всем прмвет! А кто-то прикручивал к k8s cephfs с dynamic provision или какой-то другой read-write-many storage c dynamic provision?
Max
glusterfs не предлагать, хотя с ним все завелось с пол пинка
Maksim
а чё так?
Maksim
почему тебе гластер не нравится?
Max
мне нрасится, а некоторым нет, сказали искать другое решение
Maksim
а аргументы?-)
Max
я так понял какая-то страрая боль, но внятных аргументов до меня не дошло, но вопрос не в этом
Max
кто-то юзал cephfs/nfs?
Maksim
я юзал nfs
Maksim
nfs не отказоустойчива и автоматического провизинга в ней нет