мне все равно не нравится идея, что сервисы получаю адреса из реальной сети

в случае ipv6 например - вообще мастхев, но пока с этим трудности, емнип.

@spuzirev а кинь ссылочку где ты нашел, что так можно делать

ipv6 пока не так сильно работает...

@spuzirev а кинь ссылочку где ты нашел, что так можно делать

ээээ, это не ссылочка, это мозги.

@spuzirev а кинь ссылочку где ты нашел, что так можно делать

скорее всего сам придумал)

:))

ipv6 пока не так сильно работает...

эт как посмотреть.

@spuzirev а кинь ссылочку где ты нашел, что так можно делать

Мне кажется что если это услышат разрабы кубера, они с инфартом попадают)

эт как посмотреть.

Это где посмотреть)

Это где посмотреть)

скорее да :)

и какую сеть ты на сервисы отводишь?

и какую сеть ты на сервисы отводишь?

что?

это был воторой вопрос, пока выбираю между weave и host-gw

с другой стороны у тебя адресса 10.0.0.0 в реалиях кубера существуют только на нодах с кубер-прокси

что?

сколько полезных битов сети на сервисах?

сколько полезных битов сети на сервисах?

ты о чем спрашиваешь? какого размера подсеть отвести на "сервисы"?

да

ответ - такого какого нужно.

и это публичные адресса?

это публичные в пределах инфраструктуры адреса.

в случае большой v4-паблик сети - это были бы публичные белые адреса.

Я бы тебя задушил на месте сетевогоАрхитектора)

Я бы тебя задушил на месте сетевогоАрхитектора)

а зря.

v4 сосет здесь. его надо обкладывать костылями: 1) наты 2) динамическая маршрутизация (или перерасход адресов) 3) так и до Route-Reflector'ов во внутренней инфраструктуре дойдем v6 позволяет выделить столько адресов на физическую ноду, сколько хватит не просто навечно, а до скончания веков.

Это ты сейчас v6 рекламируешь?)

это я сейчас страдаю и жалуюсь, что k8s c v6 пока дружит условно

Если я к своим сетевикам пойду с v6, то бежать отних я буду быстро))

и уворачиваться от разных снарядов)))

Плохо

и уворачиваться от разных снарядов)))

увы тебе.

нормальные сетевики примут тебя с распростертыми и скажут "давно бы"

а потом скажут "давай нахуй выпилим v4"

Тут столько нужно выпилить, что моим внукам хватит работы по перестройки сети

я на чуточку в крупнешей российском компании работаю)

я на чуточку в крупнешей российском компании работаю)

Да? В какой?

тут одного оборудования нужно закуптьи на 1/3 ВВП страны

Зелёной такой

а потом скажут "давай нахуй выпилим v4"

А на выходе 6to4 запилить, ага

в каждом городе по дцать штук

А, где карту получали, туда и идите

Ага

я на чуточку в крупнешей российском компании работаю)

действительно, ведь никто другой не умеет ничего строить.

а сбрф это лидер индустрии

ничего личного, но это не очень аргумент.

Я ен про стороить) я про перестраивать

А сколько своих дц у сбера?

если вы до сих пор на v4 и у вас нет адской боли - значит вы не такие уж и крупные

а сбрф это лидер индустрии

чёт нет

строить с нуля проще, чем переделывать эту чуртову фигню

А сколько своих дц у сбера?

А тебе зачем?

чёт нет

Сарказм? Не не слышали)

Ну так интересно, про крупнейшее ИТ в России послушать)

Ну так интересно, про крупнейшее ИТ в России послушать)

А где я сказал, что крупнейший ИТ?

Ну ок ок)

Я ещё слышал про эпический конфиг нджинкс на фронте сбер онлайна)

Но сети тут не мало) а заморочек ещё больше

Ну так интересно, про крупнейшее ИТ в России послушать)

https://events.yandex.ru/lib/talks/380/ https://events.yandex.ru/lib/talks/2391/

На 300 с лишним локейшнов, с копипастой

Я ещё слышал про эпический конфиг нджинкс на фронте сбер онлайна)

Слова богам я в другом месте пилю -)

На 300 с лишним локейшнов, с копипастой

ничего страшного

https://events.yandex.ru/lib/talks/380/ https://events.yandex.ru/lib/talks/2391/

Это я слушал уже)

copypaste - ваш друг

ничего страшного

Нене, соль не в количестве

Это я слушал уже)

https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-the-next-generation-facebook-data-center-network/

оно правда не про ipv6, но без ipv6 такие сети становится тяжеловато делать. собственно, фейсбук уехал.

ERROR: S client not available

Запустить нужные сервисы на новой ноде и переписать конфиги у кублетов)

Вот, сгенерил я сертификаты на одной из нод (назовём её node-test), используя ca.crt. Подкинул манифесты с мастера на эту ноду. В итоге, смотрю get pods с мастера - реплики etcd-node-test, kube-apiserver-node-test, kube-controller-node-test и kube-scheduler-node-test. Смотрю get на node-test - ничего нет, только svc/kubernetes. Подтолкните в нужном направлении.

nodeSelector?

nodeSelector?

У них нет nodeSelector

а дай деплой одно из

а дай деплой одно из

Они, я так понял, из манифестов создаются. Сейчас.

ты же из kubeadm разворачивал усё?

ты же из kubeadm разворачивал усё?

Да.

apiVersion: v1 kind: Pod metadata: annotations: scheduler.alpha.kubernetes.io/critical-pod: "" creationTimestamp: null labels: component: etcd tier: control-plane name: etcd namespace: kube-system spec: containers: - command: - etcd - —listen-client-urls=http://127.0.0.1:2379 - —advertise-client-urls=http://127.0.0.1:2379 - —data-dir=/var/lib/etcd image: gcr.io/google_containers/etcd-amd64:3.0.17 livenessProbe: failureThreshold: 8 httpGet: host: 127.0.0.1 path: /health port: 2379 scheme: HTTP initialDelaySeconds: 15 timeoutSeconds: 15 name: etcd resources: {} volumeMounts: - mountPath: /etc/ssl/certs name: certs - mountPath: /var/lib/etcd name: etcd - mountPath: /etc/kubernetes name: k8s readOnly: true hostNetwork: true securityContext: seLinuxOptions: type: spc_t volumes: - hostPath: path: /etc/ssl/certs name: certs - hostPath: path: /var/lib/etcd name: etcd - hostPath: path: /etc/kubernetes name: k8s status: {}

failureThreshold: 8 Ого)

поробуй как раз nodeSelector добавить...

но меня не покидает чувству курицы и Яйца

etcd это осное хранилище, без которого кубер не воркает

но оно живёт в самом кубере)

- hostPath: path: /var/lib/etcd - Эти данные перенёс?

Ого. Точно. Сейчас попробую...

скорее всего утебя всё упадёт..

и не сработает. там же схема что они все пишут и читают из etcd

внезапно его кстати можно вывесить на интерфейсы и это начнет работать

@spuzirev, сорри, не так тебя понял, то есть ты имел ввиду вручную вывесить на интерфейс? - или kubernetes это умеет сам делать?

@spuzirev, сорри, не так тебя понял, то есть ты имел ввиду вручную вывесить на интерфейс? - или kubernetes это умеет сам делать?

вручную конечно. и не просто вывесить, но еще и обеспечить роутинг этого трафика к месту, где вывесил.

@spuzirev, сорри, не так тебя понял, то есть ты имел ввиду вручную вывесить на интерфейс? - или kubernetes это умеет сам делать?

Да именно это он и имел ввиду

это нетривиальный кейс, не слушай меня

у меня как раз такой, все хосты в одном L2-сегменте

у меня как раз такой, все хосты в одном L2-сегменте

тогда при разворачивания можешь написать это l2 сегмент как сеть сервисов

и нужным тебе сервисам назначать ClusterIP=IP на интерфейсе

правда вопрос как работает таблица маршрутизации...когда IP вести и в DNAT таблице и в Route таблицы

что там в ip route ) и адресации пакета в ядре оси)

но это проблема внутреннего трафика не внешнего, внешнему всё ок

думаю все будет прекрасно работать, сейчас реализовал это с помощью pipework, но хочу по нормальному переделать

то есть когда контейнер стартует, на хосте создается veth интерфейс, который одним концом в бридж - другим в контейнер

и ip на него вешается

не не

контейнер стратует в своей overlay сети