я тут пытаюсь установить local-volume провижинер, все круто, все поставил, замаунтил папку туда куда видет провижинер /mnt/fast-disks и клейм даже нашел его, но вот когда пытаюсь примаунтить к контейнеру, то контейер выдает: MountVolume.SetUp failed for volume "local-pv-7d11dd67" : mount failed: exit status 32 Mounting command: mount Mounting arguments: -o bind /mnt/fast-disks/default-redis-clm-0 /var/lib/kubelet/pods/b35f1e69-d2ed-11e8-af2a-eaf4aca6953d/volumes/kubernetes.io~local-volume/local-pv-7d11dd67 Output: mount: special device /mnt/fast-disks/default-redis-clm-0 does not exist

Я добавил feature gates mount propagation и blockDevice=true

пытался как и просто папку замаунтить туда, и через fallocate имидж

все, всем спасибо, все нашел и починил, пробросить надо было /mnt папку

все, всем спасибо, все нашел и починил, пробросить надо было /mnt папку

в статье выше написано кстати

ну все, хейт добрался до kubespray

kubernetes hate machine (СНГ community edition)

https://habr.com/post/426959/

https://habr.com/post/426959/

?

А что kubespray в качестве LoadBalancer использует?

А что kubespray в качестве LoadBalancer использует?

можно так ingress_nginx_enabled: true # активируем ingress controller

nginx

А что kubespray в качестве LoadBalancer использует?

Эээ в зависимости от того куда вы его деплоите

Рили? А воркер-ноды на какой адрес стучатся?

Эээ в зависимости от того куда вы его деплоите

Ну допустим на baremetal

Ну допустим на baremetal

Тогда vrrp и прочие keepalived утехи.

Тогда vrrp и прочие keepalived утехи.

Просто интересно, я не увидел в статье ничего про cluster ip. Откуда он его берет? -из воздуха?)

из calico причём тут кластерайпи?

lol

Просто интересно, я не увидел в статье ничего про cluster ip. Откуда он его берет? -из воздуха?)

Ну у меня на baremetal metallb крутится

из calico причём тут кластерайпи?

так, не путайте меня, я про control plane говорю

# grep server /etc/kubernetes/kubelet.conf server: https://XX.XX.XX.XX:6443- вот что там?

Не хейтите baremetal деплоя ксонектом в свой managed k8s

Ну у меня на baremetal metallb крутится

+1

# grep server /etc/kubernetes/kubelet.conf server: https://XX.XX.XX.XX:6443- вот что там?

однако

# grep server /etc/kubernetes/kubelet.conf server: https://XX.XX.XX.XX:6443- вот что там?

Ansible default ipv4 или если задали ip, а может access_ip var

Ansible default ipv4 или если задали ip, а может access_ip var

чей именно ansible_default_ipv4, если там три мастера?

Первый в списке мастер

Так спрашиваете, словно ни разу не пользовались кубеспрей

Первый в списке мастер

важное замечание, спасибо :)

Так спрашиваете, словно ни разу не пользовались кубеспрей

я тоже никогда не пользовал

в статье выше написано кстати

где же ты раньше был ? я успел пропахать все сторадж драйвера за два месяца ?

Так спрашиваете, словно ни разу не пользовались кубеспрей

так уж повелось, я люблю ansible, но с kubespray чет не зашло.

не люблю оказываться в ситуации, когда вся эта магия случайно ломается, а ты не значешь что делать

не люблю оказываться в ситуации, когда вся эта магия случайно ломается, а ты не значешь что делать

Солидарен

разобравшись с сутью вопроса - уже можно, но непонятно зачем, есть же kubeadm

Я наигрался на стенде, плюс интересовало кое что, добавлял в values, что то правил. В общем понятно стало что происходит по ходу дела

хотя раньше не было...

На стенде ломал, случайно, разобратся помогло

Kubeadm уже умеет tls?

istio умеет

Istio деплоит куб?

нет

а что ты имел ввиду?

Tls auth

tls auth куда?

между подами?

что?

Для control plane, kubelet

istio умеет

во время деплоя ноды он конфиг скачивает из api-сервера, так что полагаю что да

И kubeadm не ставит etcd, да?

ставит

Для control plane, kubelet

для control plane он генерит серты, которые нужно скопировать на все мастера

копировать надо через scp

И kubeadm не ставит etcd, да?

даже без куба умеет etcd развернуть :) https://kubernetes.io/docs/setup/independent/setup-ha-etcd-with-kubeadm/

Уныло как то

lol

согласен, надеюсь допилят скоро

насколько мне известно, kube-spray юзает kubeadm

Можно и так

вон, раньше ha - не умел, теперь умеет

насколько мне известно, kube-spray юзает kubeadm

кстати да

вон, раньше ha - не умел, теперь умеет

Это серьезное улучшение, я от него отказался по большей части из-за этого

А cni все ещё самому нужно деплоить?

а че его деплоить то?

"самому деплоить" это "накатить один манифест"?

так а tls bootstrapping он умеет?

так а tls bootstrapping он умеет?

умеет

где же ты раньше был ? я успел пропахать все сторадж драйвера за два месяца ?

полезный опыт, стоит изложить на медиуме

генеришь токен, затем ноду добавляешь таким образом: kubeadm join 10.28.36.157:6443 --token vrrush.nwiko64mcjwxn7e8 --discovery-token-ca-cert-hash sha256:d9418e5f6d14cde2c2895df72337ca0db646701429aa2e3ae95833c170b6d749

полезный опыт, стоит изложить на медиуме

кстати да, это печально, но ничего кроме local-volume не подходит, последнее что я сегодня попробовал был GCE, и нигде в доках не найти, только в панели управления, что чем меньше ты делаешь диск, тем меньше скорость записи и IOPS, т.е. если в доках написано 200-400мб/с, то на деле оказалось что если делаешь диск ссд на 20гб то скорость 9мб/с

и например тот же StorageOS, который себя позиционирует как enterprise grade, а на деле скорость записи 80мб/с при одном потоке, и 5-10мб при 8 потоках

единственное что я не попробовал это rook, но его даже в stable хелм чартах нету, и если openebs полный отстой, при том что у него столько разрабов и комьюнити, то явно роок ио будет еще хуже

кстати да, это печально, но ничего кроме local-volume не подходит, последнее что я сегодня попробовал был GCE, и нигде в доках не найти, только в панели управления, что чем меньше ты делаешь диск, тем меньше скорость записи и IOPS, т.е. если в доках написано 200-400мб/с, то на деле оказалось что если делаешь диск ссд на 20гб то скорость 9мб/с

господи ну хватит гнать. ну подробнейшим образом в документации описано https://cloud.google.com/compute/docs/disks/performance#type_comparison

единственное что я не попробовал это rook, но его даже в stable хелм чартах нету, и если openebs полный отстой, при том что у него столько разрабов и комьюнити, то явно роок ио будет еще хуже

linstor не пробовал :)

господи ну хватит гнать. ну подробнейшим образом в документации описано https://cloud.google.com/compute/docs/disks/performance#type_comparison

я вижу там 240 - 400*

т.е. я если у меня 25 микросервисор, мне что 50 тарабайтов сделать надо ?

единственное что я не попробовал это rook, но его даже в stable хелм чартах нету, и если openebs полный отстой, при том что у него столько разрабов и комьюнити, то явно роок ио будет еще хуже

rook это ceph, если чо

rook это ceph, если чо

ну NFS оказался самым быстрым из всех, вот он единственный кто уперсья в сетку виртуальную, т.е. 125мб/с

т.е. я если у меня 25 микросервисор, мне что 50 тарабайтов сделать надо ?

ты который из 6 видов дисков пробовал-то?

и ещё интересно каким образом ты измерял

ты который из 6 видов дисков пробовал-то?

я пробовал standard и ssd, тот который google persistent disk

> уперсья в сетку виртуальную, т.е. 125мб/с забудь про сетевые фс :)

короче пиши статью, иначе тебе никто не верит

> уперсья в сетку виртуальную, т.е. 125мб/с забудь про сетевые фс :)

уже сделал локально, только проблема то что похоже драйвер игнорирует название дисков/папок и берет первый попавшийся и маунтит его, но это еще проверяю

ты который из 6 видов дисков пробовал-то?

time sh -c "dd if=/dev/zero of=$th bs=100k count=10k && sync" либо так, либо 8 таких потоков

я вижу там 240 - 400*

что является пределом хоста где границы зависят от цпу на инстансе, а пер гигабайтные значения йопсов приведены в табличке на строчку ниже

уже сделал локально, только проблема то что похоже драйвер игнорирует название дисков/папок и берет первый попавшийся и маунтит его, но это еще проверяю

так он тебе любой свободный PV и баундит к твоему PVC

так он тебе любой свободный PV и баундит к твоему PVC

это никак не изменить ? просто я хочю сделать сразу 50 дисков, и чтобы PVC брал по названию диска, иначе придеться по порядку сначала делать один диск и поднимать 1 под

в амазоне например та же фигня, что если диск маленький, то он медленный

давайте перед тем как че то мерить почитаем все https://m.habr.com/post/154235/

это никак не изменить ? просто я хочю сделать сразу 50 дисков, и чтобы PVC брал по названию диска, иначе придеться по порядку сначала делать один диск и поднимать 1 под

Ну это как бы и не нужно менять добавь volumeBindingMode: WaitForFirstConsumerв свой storageclass, затем куб сам все разрулит

давайте перед тем как че то мерить почитаем все https://m.habr.com/post/154235/

я запускал монгодб на всем этом, у меня простой запрос count выполнялся 3-4 секунды, при 15млй записях в базе, на простом диске 20ms

короче, никто меня не переубедит что сетевые диски это быстро