моя гипотеза в том, что калико же не кубер-специфичный продукт. они умеют интегрироваться с разными системами и в частности с кубером. Но возможности калико шире, чем возможности кубера. так, они умеют например динамически менять cidr кластера. Задаешь второй диапазон, он способен перетащить анонсы на него. Но вот кубер так не умеет поэтому эта возможность просто не работает

судя по всему с выделением сетей так же. Калико это умеет, и там как раз захардкожено /26 о чем люди просят сделать конфигуряемо. Но в случае с кубером эта codepath просто не используется

моя гипотеза в том, что калико же не кубер-специфичный продукт. они умеют интегрироваться с разными системами и в частности с кубером. Но возможности калико шире, чем возможности кубера. так, они умеют например динамически менять cidr кластера. Задаешь второй диапазон, он способен перетащить анонсы на него. Но вот кубер так не умеет поэтому эта возможность просто не работает

Ну romana, например, не использует кубернетисовый spec.podCIDR вообще, она назначает диапазоны динамически из своего etcd, подозреваю что калико мог-бы так же, но в руководстве kubeadm сказанно, что kubeadm init необходимо запускать с параметром --pod-network-cidr=192.168.0.0/16 что и включает по умолчанию выделение cidr's на ноду средствами kubernetes

Ну romana, например, не использует кубернетисовый spec.podCIDR вообще, она назначает диапазоны динамически из своего etcd, подозреваю что калико мог-бы так же, но в руководстве kubeadm сказанно, что kubeadm init необходимо запускать с параметром --pod-network-cidr=192.168.0.0/16 что и включает по умолчанию выделение cidr's на ноду средствами kubernetes

Калико так и делало до версии 3. потом появилась nested версия установки

ну мы просто со стороны калико искали почему анонсится /24 когда мы ожидали /26

Скорее всего вы обновили node-cidr-mask-size для кластера, а spec.podCIDR для старых нод остался прежний, потому /24 и выделялось как и раньше для них

Всем привет!

А подскажите, у меня вот есть daemonset, мне нужно попасть на под, который запущен на той ноде, в которую стучусь, как это лучше сделать? Изначально я написал балансировку по IP в Ingress'e (Traefik), но как-то мерджить все это дело стало очень трудно и решили что нужно как-то решать средствами кубика

Калико так и делало до версии 3. потом появилась nested версия установки

то есть он теперь в своем etcd рэнджи хранит?

на оборот. Раньше хранил в своём, теперь может в kuve-api

там опять же разные режимы. Он умеет и CRD юзать, и etcd.

Возможностей куча, документация не поспевает за развитием сильно.

Вернее да же не так. Он всегда хранит всё в своём etcd. Но появилась опция ипользовать это в сущности кубера вместо личного etcd, что бы управлять и из кубера.

Если не ошибаюсь, при чистой установке 3 версии etcd вообще не используется. Пишет в датастор кубера напрямую

хочешь бареметал зафигачить?)

угу почистить надо там proxmox стоял

и не бэкпортили в апстрим наработки? :(

А там и так все взлетело, просто проявить фантазию и вытащить из докера

раскладывание по вируталкам на том же хосте помогало

интересная инфа

Если не ошибаюсь, при чистой установке 3 версии etcd вообще не используется. Пишет в датастор кубера напрямую

Ошибаешься. При чистой установке требуется etcd. Есть возможность, отказаться от контроллера создав контроллер в кубере + отказаться от etcd и писать в apiserver

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico не вижу чтобы etcd как-то использовался во варианте установки Installing with the Kubernetes API datastore—50 nodes or less

Кто нибудь юзал 2 различных StorageClass на базе rbd?

Как они вместе уживаются

?

ну то есть я ставил калико вообще никак не указывая ему где endpoints etcd имеющиеся, и внутри кластера его личных подов с etcd тоже не вижу

Кто нибудь юзал 2 различных StorageClass на базе rbd?

разные провизионы делаешь-)

разные провизионы делаешь-)

Ааа, понял!

Спс

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico не вижу чтобы etcd как-то использовался во варианте установки Installing with the Kubernetes API datastore—50 nodes or less

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico#installing-with-the-etcd-datastore

там опять же разные режимы. Он умеет и CRD юзать, и etcd.

так я это и написал. И то, что при выборе CRD, etcd не используется.

гайз поднял на трех виртуалках куб с помощью ранчера по этому гайду https://rancher.com/docs/rancher/v2.x/en/installation/ha-server-install/ посчитал что пункт с лоад балансером мне не нужен(прописал - в хостс каждой машины внутреннюю сеть виртуалбокса) Консоль ранчера все ок - проблема в том что я не могу из контейнера одной ноды допинговать до контейнера другой ноды ifconfig eth0 Link encap:Ethernet HWaddr d6:b4:13:95:7d:35 inet addr:10.42.0.4 Bcast:0.0.0.0 Mask:255.255.255.255 inet6 addr: fe80::d4b4:13ff:fe95:7d35/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:400 errors:0 dropped:0 overruns:0 frame:0 TX packets:454 errors:0 dropped:1 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:51051 (49.8 KiB) TX bytes:35620 (34.7 KiB) ping PING 10.42.1.22 (10.42.1.22): 56 data bytes 92 bytes from 10.0.2.15: Time to live exceeded nslookup для сервиса Server: 10.43.0.10 Address: 10.43.0.10#53 Name: katacoda2.default.svc.cluster.local Address: 10.42.0.18 Name: katacoda2.default.svc.cluster.local Address: 10.42.0.19 Name: katacoda2.default.svc.cluster.local Address: 10.42.1.22

если я вижу такой nslookup это значит что я создал сервис корректно да?

Никто не сталкивался с такой магией, был изначальный деплоймент, он так криво удалился что остался один под, так вот в кубике нет ни того деплоймента, ни того репликсетаа, но под при удалении пересоздается заного)

Ребут не помог) это тестовый кластер, могу себе позволить ребут всего)

Жесть, только удаление NS помогло, и то не с первого раза)

Миникуб?

Товарисчи вы local registry тож в куб пихаете?

Не, развернут на баре через Kubeadm

Не, развернут на баре через Kubeadm

Магия какая то, деплойменты через all-namespaces смотрел?

Магия какая то, деплойменты через all-namespaces смотрел?

Нет их) говорюж магия)

Товарисчи вы local registry тож в куб пихаете?

Не, стораджами же париться надо, а это холивор, мама, не горюй))

Не, стораджами же париться надо, а это холивор, мама, не горюй))

Походу я совсе не в теме, нихера не понял

Походу я совсе не в теме, нихера не понял

Ну реджистри - это хранить образы на диске

Чтобы это мутить нужно подключать персисиентный сторадж

Подключать сторадж - 100500 вариантов и все не очень, по крайней мере холиворны все

Демон сет, и каталог на ceph?

Демон сет, и каталог на ceph?

Не, мы маленькие, пока не доросли

Ну то есть цепф ок, но чтобы прям серьезно - дорого

Ну цеф минималка 3 ноды

у нас тут есть сеф-профи в админах с недавних пор :)

Ну то есть цепф ок, но чтобы прям серьезно - дорого

Ну да понимаю, ну для служебных целей, можно отдать раздел, а не диск) правда хз как по производительности

у нас тут есть сеф-профи в админах с недавних пор :)

Синтезоид?

он

Ну да понимаю, ну для служебных целей, можно отдать раздел, а не диск) правда хз как по производительности

Да мне проще несколько экземпляров с синхронизацией на уровне фс, а не блоков

Ну так тупо дешевле и заказчика по сла не наебыаешь

Да мне проще несколько экземпляров с синхронизацией на уровне фс, а не блоков

Ну это если обновления не частые, у тебя синк медленней выходит

у нас тут есть сеф-профи в админах с недавних пор :)

Ну это если обновления не частые, у тебя синк медленней выходит

Основная одна, остальные резерв. Ну и не 100500 пушей в час

я и без админства тут был)

И городить что-то ради городить смысла нет - лишние сущности

И городить что-то ради городить смысла нет - лишние сущности

Вопрос в удобстве работы с вилосипелом)

я и без админства тут был)

был. но не в админах

Вопрос в удобстве работы с вилосипелом)

Просто забыли уже как год. Но это наш кейс, далеко не универсальный

Привет всем. За помощью с миникубом в этот чатик?

Привет всем. За помощью с миникубом в этот чатик?

так ты пиши, а там видно будет

Делаю minikube start --vm-driver kvm2, а оно "виснет" на Starting cluster components.... В логах https://paste.fedoraproject.org/paste/lTB26PVjh9mxRX5oHCluQA Что я делаю не так? minikube version: v0.27.0 $ kubectl version #из gcloud Client Version: version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.7", GitCommit:"dd5e1a2978fd0b97d9b78e1564398aeea7e7fe92", GitTreeState:"clean", BuildDate:"2018-04-19T00:05:56Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"} Server Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.0", GitCommit:"fc32d2f3698e36b93322a3465f63a14e9f0eaead", GitTreeState:"clean", BuildDate:"2018-03-26T16:44:10Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}

OS Fedora 27 x86_64

пробовал драйвер virtualbox и kvm, также пробовал минукуб версии 0.25, везде одинаково

Никто не сталкивался с такой магией, был изначальный деплоймент, он так криво удалился что остался один под, так вот в кубике нет ни того деплоймента, ни того репликсетаа, но под при удалении пересоздается заного)

kubectl describe pod <your_pod> | grep 'Controlled By'

kubectl describe pod <your_pod> | grep 'Controlled By'

Запишу на будущее, но я его уже удалил вместе с NS

скорее всего у тебя какой-нибудь ReplicationController остался от сервиса

много issue на гитхабе облазил, но из советов там только: сделайте minikube delete && minikube create, также ходил по minikube ssh и там nestat'ом посмотрел на порты и что-то 8443 порт слушает

вот ещё от minikube start прилетело https://paste.fedoraproject.org/paste/OMa0uiOv1tAUbzSKuITtEA $ minikube status minikube: Running cluster: Running kubectl: Correctly Configured: pointing to minikube-vm at 192.168.39.6 $ minikube dashboard Could not find finalized endpoint being pointed to by kubernetes-dashboard: Error validating service: Error getting service kubernetes-dashboard: Get https://192.168.39.6:8443/api/v1/namespaces/kube-system/services/kubernetes-dashboard: http2: server sent GOAWAY and closed the connection; LastStreamID=1, ErrCode=NO_ERROR, debug="" и новый лог https://paste.fedoraproject.org/paste/Zr~I5pRLaW6HHOe5J3NjbQ

/report

/report

я так понимаю этот миникуб то ещё глюкалово

мне нравится слово "лагалище" :)

я так понимаю этот миникуб то ещё глюкалово

Прально понимаешь, это как пробник шампуня - вроде и есть, но не помоешься))

я так понимаю этот миникуб то ещё глюкалово

Удали директорию .minikube в хомяке

Удали директорию .minikube в хомяке

уже делал, ничего не поменялось

Мне помогает

Удалить директорию Удалить миникуб Установить миникуб

Удалить директорию Удалить миникуб Установить миникуб

я даже старую версию пробовал