NM
alias cp='rm -fr' 😉
krakazyabra
Lucky SB
krakazyabra
но как-то же он должен резолвить адреса, куда запросы слать.
есть урл, у урла есть А-запись ведущая на nginx-ingress. и как дальше?
Lucky SB
В ингресс ты указываешь сервис. Для сервиса создаётся ендпойнтс, в котором перечисляются ИП адреса подов , которые подходят под селекты сервиса и в состоянии реди
Lucky SB
krakazyabra
krakazyabra
а не про ingress
krakazyabra
контроллер, выступающий в роли прокси
Lucky SB
Ну. Ты в конфигурации контроллера смотрел?
Lucky SB
Какие нибудь днс имена там видел?
krakazyabra
ну не может же так быть, что куб не дает использовать несколкько днс-зон внутри кластера.
Lucky SB
Ещё раз. Ингресс контроллер не использует днс чтобы определить на какие поды слать траыик
krakazyabra
тогда по какому принципу он вибирает, на какие поды слать трафик?
George
Lucky SB
George
Т.е. кубер сам детектит. Но, наверное, ингресс можно через тот же сниппет самому настроить, чтобы он смотрел куда надо
George
И в принципе ребята так и делали. Но какая выгода тогда относительно nginx в виде отдельного деплоймента с нужным кастомным конфигом ?
krakazyabra
Lucky SB
Напрямую
Lucky SB
Без api сервера
krakazyabra
вот два dig'а:
dig app.domain.org
;; ANSWER SECTION:
app.domain.org. 5 IN A 10.28.36.102
;; Query time: 1 msec
;; SERVER: 10.96.0.10#53(10.96.0.10)а вот тот дже dig, но уже от CoreDNS приложения
dig @coredns.namespace.svc.cluster.local app.domain.org
;; ANSWER SECTION:
app.domain.org. 30 IN A 10.112.5.111
app.domain.org. 30 IN A 10.112.5.134
Lucky SB
И что это за адреса ?
krakazyabra
принципиальная схема приложения такая
krakazyabra
George
Вы хранилку на минио собираете ? Спалились 😂
krakazyabra
первый dig разрезолвил контроллер и всё.
krakazyabra
krakazyabra
не просто хранилку, а федерацию. для нее и нужен свой coredns и etcd.
благодаря им запрос пойдет именно на ту ноду (на ноду n-подов, объедененные одним сервисом с лоад-балансером), на которой бакет.
Lucky SB
А кубернетес нффика вам для хранилки??????
krakazyabra
Lucky SB
Фу ля
Lucky SB
Стейтфул в куб...
krakazyabra
ну и менеджить просто. подсунул ноду в кластер, повесил лейбл, смонтировал локально диси, провижионер их подцепил, запустил стейтфулсет, поды раскатались по нодам.
krakazyabra
благодаря etcd нода добавилась к федерации. всё, профит и бинго.
krakazyabra
ᚹᛊᚹ
George
Lucky SB
Отделение Bereke Bank
krakazyabra
krakazyabra
есть нода. на ней есть диски. диски монтируются в определенный каталог.
провиженер видит эти устройства и передает в куб pv
есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство.
все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос)
в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен
в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd
задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
George
есть нода. на ней есть диски. диски монтируются в определенный каталог.
провиженер видит эти устройства и передает в куб pv
есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство.
все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос)
в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен
в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd
задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
А чего не ceph + s3? Или swift?
George
Почему именно минио?
George
Почему я спрашиваю - это насущный вопрос для меня, чтобы аргументировать техническое решение ( не коробку типа cloudian hyperstore @comotoza )
krakazyabra
тестил ceph, результаты были хуже, плюс цеф сложнее. минио - один бинарник)
George
И отказоустойчивостью.
Vladimir
krakazyabra
сложности я сам себе создаю. чтобы потом было всё легко. лень мною движет. и плохая память)
George
Ладно. Это к кубернетесу имеет отношение постольку-поскольку
Vladimir
George
Vladimir
Естественно)
krakazyabra
..P?
krakazyabra
😂😂😂
Vladimir
Про функциональные возможности-ты члишком прокачан)
Vladimir
Овер квалифаед но кому-то хватит)
Vladimir
Но продукты развиваются
Lucky SB
есть нода. на ней есть диски. диски монтируются в определенный каталог.
провиженер видит эти устройства и передает в куб pv
есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство.
все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос)
в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен
в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd
задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
а зачем тебе сервис типа лоадбалансер ? куб у тебя в облаке что ли ?
Lucky SB
krakazyabra
This field is optional for distributed deployments. If you don't set this field in a federated setup, we use the IP addresses of hosts passed to the MinIO server startup and use them for DNS entries.
Lucky SB
Lucky SB
krakazyabra
George
krakazyabra