в смысле? которые лимиты?

на количество перезапуска в случае fail

Я гуглил по шедулеру, нахрдил немного не то

а, это да

А лимит 100 подов на ноду планируют увеличивать?

Кто в курсе

а его же вроде расхардкодили

не?

В наличии есть ксеоновые ноды по 256гб памяти

At v1.10, Kubernetes supports clusters with up to 5000 nodes. More specifically, we support configurations that meet all of the following criteria: No more than 5000 nodes No more than 150000 total pods No more than 300000 total containers No more than 100 pods per node

зионовые

У мну 1.9.5 даже

At v1.10, Kubernetes supports clusters with up to 5000 nodes. More specifically, we support configurations that meet all of the following criteria: No more than 5000 nodes No more than 150000 total pods No more than 300000 total containers No more than 100 pods per node

100 подов это же рекомендация

В наличии есть ксеоновые ноды по 256гб памяти

хочешь бареметал зафигачить?)

мы на виртуалки поломали

мы на виртуалки поломали

а мы нет)

брат жив?

ага

а какая сеть и какие подсети на ноду?

два варианта с бриджами и калико

ты с Мск?

уже нет

я тракторнул полгода назад

я помню как докер начинал уходить в себя на 100 подах на одном демоне

раскладывание по вируталкам на том же хосте помогало

я помню как докер начинал уходить в себя на 100 подах на одном демоне

ну сейчас получше уже

думаем поднять лимиты

@SinTeZoiD у тебя сколько подов на ноде выходит?

щас у нас /26 на ноду с калико (побороли вчера в этом же чяте), но нода = виртуалка на железном хосте

щас у нас /26 на ноду с калико (побороли вчера в этом же чяте), но нода = виртуалка на железном хосте

я так и не понял, зачем ты делаешь /26 на ноду

ну точнее калико потом (судя по доке) выделит потом новый /26 когда старый кончится

не-не, я так не делаю, это калико делает

щас у нас /26 на ноду с калико (побороли вчера в этом же чяте), но нода = виртуалка на железном хосте

мне интересно, как

и "на ноду" - неправильно я написал

мне интересно, как

kubeadm зачем-то задавал /24

kubeadm зачем-то задавал /24

о как. а у него это где-то настраивается?

угу

@SinTeZoiD у тебя сколько подов на ноде выходит?

я вот прямо сейчас посмотрел 100 не превышаем

и на ходу можно подправить

неудобно, но сработало

я вот прямо сейчас посмотрел 100 не превышаем

а сколько щас максимум?

не-не, я так не делаю, это калико делает

я просто не знаю как делает ваниальный калико ) мы его распотрошили немного)

и не бэкпортили в апстрим наработки? :(

kube-controller-manager --allocate-node-cidrs=true --cluster-cidr=10.20.24.0/22 --node-cidr-mask-size=26 реально размерность сети на ноду выбирает не сам калико fyi конфиг кубадма в этом месте немного сломан и задается вот так controllerManagerExtraArgs: allocate-node-cidrs: "true" cluster-cidr: "10.20.24.0/22" node-cidr-mask-size: "26"

Коллеги, немного нубский вопрос, но стесняться некого. Headless сервис для чего вообще юзается? Можете кратко пояснить?

ваще да, это всё Рома заборол, не "мы" :)

Рома - молодец

Коллеги, немного нубский вопрос, но стесняться некого. Headless сервис для чего вообще юзается? Можете кратко пояснить?

для StatefulSet например

Это получается сервис без балансинга или как?

Это получается сервис без балансинга или как?

ага

просто выдает список A записей для эндпоинтов

Все равно чуть не вьезжаю. Получается тупо чтобы поды внутри statefulset общались между собой по одному имени?

?

наоборот

ну то есть не обязательно внутри

ну точнее калико потом (судя по доке) выделит потом новый /26 когда старый кончится

Ух ты, а давно так калико умеет? Romana тоже так делает, только там блоки /29 по дефолту

ну то есть не обязательно внутри

Вот к примеру есть statefelset с двумя репликами. Нафиг им headless сервис?

Ух ты, а давно так калико умеет? Romana тоже так делает, только там блоки /29 по дефолту

я честно говоря не знаю, с этим @rgersh вчера ковырялся и скидывал цитату на какой-то их тикет

Вот к примеру есть statefelset с двумя репликами. Нафиг им headless сервис?

да не обязателен он, ты можешь ручками ходить в каждый из них

о как. а у него это где-то настраивается?

$ grep cidr /etc/kubernetes/manifests/kube-controller-manager.yaml - --allocate-node-cidrs=true - --cluster-cidr=10.244.0.0/16 - --node-cidr-mask-size=24

да не обязателен он, ты можешь ручками ходить в каждый из них

Ушел в ресерч. Спасибо

подозреваю тут, но калико может свой конфиг юзает, не уверен

я так понял что калико не имеет отношения к выдаче блока на ноду, это делает именно сам kube-controller-manager. А калико только анонсит эту сеть

вот я тоже всегда думал что так

ну мы просто со стороны калико искали почему анонсится /24 когда мы ожидали /26

ну мы просто со стороны калико искали почему анонсится /24 когда мы ожидали /26

а в spec.podCIDR ноды, чего?

моя гипотеза в том, что калико же не кубер-специфичный продукт. они умеют интегрироваться с разными системами и в частности с кубером. Но возможности калико шире, чем возможности кубера. так, они умеют например динамически менять cidr кластера. Задаешь второй диапазон, он способен перетащить анонсы на него. Но вот кубер так не умеет поэтому эта возможность просто не работает

судя по всему с выделением сетей так же. Калико это умеет, и там как раз захардкожено /26 о чем люди просят сделать конфигуряемо. Но в случае с кубером эта codepath просто не используется

моя гипотеза в том, что калико же не кубер-специфичный продукт. они умеют интегрироваться с разными системами и в частности с кубером. Но возможности калико шире, чем возможности кубера. так, они умеют например динамически менять cidr кластера. Задаешь второй диапазон, он способен перетащить анонсы на него. Но вот кубер так не умеет поэтому эта возможность просто не работает

Ну romana, например, не использует кубернетисовый spec.podCIDR вообще, она назначает диапазоны динамически из своего etcd, подозреваю что калико мог-бы так же, но в руководстве kubeadm сказанно, что kubeadm init необходимо запускать с параметром --pod-network-cidr=192.168.0.0/16 что и включает по умолчанию выделение cidr's на ноду средствами kubernetes

Ну romana, например, не использует кубернетисовый spec.podCIDR вообще, она назначает диапазоны динамически из своего etcd, подозреваю что калико мог-бы так же, но в руководстве kubeadm сказанно, что kubeadm init необходимо запускать с параметром --pod-network-cidr=192.168.0.0/16 что и включает по умолчанию выделение cidr's на ноду средствами kubernetes

Калико так и делало до версии 3. потом появилась nested версия установки

ну мы просто со стороны калико искали почему анонсится /24 когда мы ожидали /26

Скорее всего вы обновили node-cidr-mask-size для кластера, а spec.podCIDR для старых нод остался прежний, потому /24 и выделялось как и раньше для них

Всем привет!

А подскажите, у меня вот есть daemonset, мне нужно попасть на под, который запущен на той ноде, в которую стучусь, как это лучше сделать? Изначально я написал балансировку по IP в Ingress'e (Traefik), но как-то мерджить все это дело стало очень трудно и решили что нужно как-то решать средствами кубика

Калико так и делало до версии 3. потом появилась nested версия установки

то есть он теперь в своем etcd рэнджи хранит?

на оборот. Раньше хранил в своём, теперь может в kuve-api

там опять же разные режимы. Он умеет и CRD юзать, и etcd.

Возможностей куча, документация не поспевает за развитием сильно.

Вернее да же не так. Он всегда хранит всё в своём etcd. Но появилась опция ипользовать это в сущности кубера вместо личного etcd, что бы управлять и из кубера.

Если не ошибаюсь, при чистой установке 3 версии etcd вообще не используется. Пишет в датастор кубера напрямую

хочешь бареметал зафигачить?)

угу почистить надо там proxmox стоял

и не бэкпортили в апстрим наработки? :(

А там и так все взлетело, просто проявить фантазию и вытащить из докера

раскладывание по вируталкам на том же хосте помогало

интересная инфа

Если не ошибаюсь, при чистой установке 3 версии etcd вообще не используется. Пишет в датастор кубера напрямую

Ошибаешься. При чистой установке требуется etcd. Есть возможность, отказаться от контроллера создав контроллер в кубере + отказаться от etcd и писать в apiserver

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico не вижу чтобы etcd как-то использовался во варианте установки Installing with the Kubernetes API datastore—50 nodes or less

Кто нибудь юзал 2 различных StorageClass на базе rbd?

Как они вместе уживаются

?

ну то есть я ставил калико вообще никак не указывая ему где endpoints etcd имеющиеся, и внутри кластера его личных подов с etcd тоже не вижу

Кто нибудь юзал 2 различных StorageClass на базе rbd?

разные провизионы делаешь-)

разные провизионы делаешь-)

Ааа, понял!

Спс

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico не вижу чтобы etcd как-то использовался во варианте установки Installing with the Kubernetes API datastore—50 nodes or less

https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/calico#installing-with-the-etcd-datastore

там опять же разные режимы. Он умеет и CRD юзать, и etcd.

так я это и написал. И то, что при выборе CRD, etcd не используется.

гайз поднял на трех виртуалках куб с помощью ранчера по этому гайду https://rancher.com/docs/rancher/v2.x/en/installation/ha-server-install/ посчитал что пункт с лоад балансером мне не нужен(прописал - в хостс каждой машины внутреннюю сеть виртуалбокса) Консоль ранчера все ок - проблема в том что я не могу из контейнера одной ноды допинговать до контейнера другой ноды ifconfig eth0 Link encap:Ethernet HWaddr d6:b4:13:95:7d:35 inet addr:10.42.0.4 Bcast:0.0.0.0 Mask:255.255.255.255 inet6 addr: fe80::d4b4:13ff:fe95:7d35/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:400 errors:0 dropped:0 overruns:0 frame:0 TX packets:454 errors:0 dropped:1 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:51051 (49.8 KiB) TX bytes:35620 (34.7 KiB) ping PING 10.42.1.22 (10.42.1.22): 56 data bytes 92 bytes from 10.0.2.15: Time to live exceeded nslookup для сервиса Server: 10.43.0.10 Address: 10.43.0.10#53 Name: katacoda2.default.svc.cluster.local Address: 10.42.0.18 Name: katacoda2.default.svc.cluster.local Address: 10.42.0.19 Name: katacoda2.default.svc.cluster.local Address: 10.42.1.22

если я вижу такой nslookup это значит что я создал сервис корректно да?

Никто не сталкивался с такой магией, был изначальный деплоймент, он так криво удалился что остался один под, так вот в кубике нет ни того деплоймента, ни того репликсетаа, но под при удалении пересоздается заного)

Ребут не помог) это тестовый кластер, могу себе позволить ребут всего)

Жесть, только удаление NS помогло, и то не с первого раза)

Миникуб?