NM
alias cp='rm -fr' 😉
Lucky SB
это без проблем, новый класс уже сделал, ингресс приложения использует этот новый класс
Я таки могу ошибаться, но почему то я уверен, что ингресс контроллер в днс не смотрит. А смотрит он в объект endpoints
krakazyabra
но как-то же он должен резолвить адреса, куда запросы слать. есть урл, у урла есть А-запись ведущая на nginx-ingress. и как дальше?
Lucky SB
В ингресс ты указываешь сервис. Для сервиса создаётся ендпойнтс, в котором перечисляются ИП адреса подов , которые подходят под селекты сервиса и в состоянии реди
krakazyabra
а не про ingress
krakazyabra
контроллер, выступающий в роли прокси
Lucky SB
Ну. Ты в конфигурации контроллера смотрел?
Lucky SB
Какие нибудь днс имена там видел?
krakazyabra
ну не может же так быть, что куб не дает использовать несколкько днс-зон внутри кластера.
Lucky SB
Ещё раз. Ингресс контроллер не использует днс чтобы определить на какие поды слать траыик
krakazyabra
тогда по какому принципу он вибирает, на какие поды слать трафик?
George
Т.е. кубер сам детектит. Но, наверное, ингресс можно через тот же сниппет самому настроить, чтобы он смотрел куда надо
George
И в принципе ребята так и делали. Но какая выгода тогда относительно nginx в виде отдельного деплоймента с нужным кастомным конфигом ?
Lucky SB
у приложения свой etcd и coredns, отвечающие за дискавери и маршруты
А точно ты с квапсом работаешь? Может у него спросишь тогда?? А то лично я не понимаю как могут быть связаны etcd и coredns
Lucky SB
Напрямую
Lucky SB
Без api сервера
krakazyabra
вот два dig'а: dig app.domain.org ;; ANSWER SECTION: app.domain.org. 5 IN A 10.28.36.102 ;; Query time: 1 msec ;; SERVER: 10.96.0.10#53(10.96.0.10)а вот тот дже dig, но уже от CoreDNS приложения dig @coredns.namespace.svc.cluster.local app.domain.org ;; ANSWER SECTION: app.domain.org. 30 IN A 10.112.5.111 app.domain.org. 30 IN A 10.112.5.134
Lucky SB
И что это за адреса ?
krakazyabra
принципиальная схема приложения такая
krakazyabra
George
Напрямую
Напрямую, очевидно
krakazyabra
И что это за адреса ?
это уже адреса нужных сервисов, за которыми нужные поды
George
Вы хранилку на минио собираете ? Спалились 😂
krakazyabra
первый dig разрезолвил контроллер и всё.
krakazyabra
не просто хранилку, а федерацию. для нее и нужен свой coredns и etcd. благодаря им запрос пойдет именно на ту ноду (на ноду n-подов, объедененные одним сервисом с лоад-балансером), на которой бакет.
Lucky SB
А кубернетес нффика вам для хранилки??????
Lucky SB
Фу ля
Lucky SB
Стейтфул в куб...
krakazyabra
ну и менеджить просто. подсунул ноду в кластер, повесил лейбл, смонтировал локально диси, провижионер их подцепил, запустил стейтфулсет, поды раскатались по нодам.
krakazyabra
благодаря etcd нода добавилась к федерации. всё, профит и бинго.
Отделение Bereke Bank
Стейтфул в куб...
Щас подгорит же у кого нибудь)
krakazyabra
ᚹᛊᚹ
Вот именно
George
Стейтфул в куб...
Они все такие. Квапс в первую очередь
George
😂
Lucky SB
не просто хранилку, а федерацию. для нее и нужен свой coredns и etcd. благодаря им запрос пойдет именно на ту ноду (на ноду n-подов, объедененные одним сервисом с лоад-балансером), на которой бакет.
Сдается мне, что ты не понимаешь как оно устроено.... Или объяснить не можешь. Давай с начала. У тебя есть несколько стейтфулсетов из минио ?
Отделение Bereke Bank
Сохранил спасибо
krakazyabra
есть нода. на ней есть диски. диски монтируются в определенный каталог. провиженер видит эти устройства и передает в куб pv есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство. все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос) в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
George
есть нода. на ней есть диски. диски монтируются в определенный каталог. провиженер видит эти устройства и передает в куб pv есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство. все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос) в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
А чего не ceph + s3? Или swift?
George
Почему именно минио?
George
Почему я спрашиваю - это насущный вопрос для меня, чтобы аргументировать техническое решение ( не коробку типа cloudian hyperstore @comotoza )
krakazyabra
Почему именно минио?
скорость и простота
krakazyabra
тестил ceph, результаты были хуже, плюс цеф сложнее. минио - один бинарник)
George
скорость и простота
Ага, вижу. У тебя прям несёт простотой и скоростью
George
И отказоустойчивостью.
George
тестил ceph, результаты были хуже, плюс цеф сложнее. минио - один бинарник)
Цеф сложнее. Но есть надежда, что он будет работать лучше на больших объемах.
krakazyabra
сложности я сам себе создаю. чтобы потом было всё легко. лень мною движет. и плохая память)
George
Ладно. Это к кубернетесу имеет отношение постольку-поскольку
krakazyabra
И отказоустойчивостью.
а тут erasurecode решает.
Vladimir
Ладно. Это к кубернетесу имеет отношение постольку-поскольку
Ты же знаешь вендора где и кубер и обьектное есть)
Vladimir
Естественно)
krakazyabra
..P?
krakazyabra
😂😂😂
Vladimir
Про функциональные возможности-ты члишком прокачан)
Vladimir
Овер квалифаед но кому-то хватит)
Vladimir
Но продукты развиваются
Lucky SB
есть нода. на ней есть диски. диски монтируются в определенный каталог. провиженер видит эти устройства и передает в куб pv есть стейтфулсет, который раскатывает поды по ноде (решили запускать по стейтфулсету для каждой ноды, чтобы удобнее и нагляднее было). в итоге получается один под - одно дисковое устройство. все поды в рамках одной ноды имеют один loadBalancer сервис (все равно, файлик в бакете раскатан по всем дискам ноды, так что неважно с какого пода пойдет get запрос) в поде запускается контейнер minio, в качестве аргументов ему передается адрес etcd (etcd как раз обеспечивает федерацию) и домен в coredns есть зона, обслуживающая этот домен. в качестве ендпоинта для этой зоны используется адрес etcd задумка в том, чтобы пользователь, обращаясь к своему бакету, всегда попадал именно на ту ноду, на которой этот бакет находится (бакет не может быть размазан по нодам, он всегда в пределах одной ноды)
а зачем тебе сервис типа лоадбалансер ? куб у тебя в облаке что ли ?
krakazyabra
а зачем тебе сервис типа лоадбалансер ? куб у тебя в облаке что ли ?
чтобы все запросы на ноду не упирались в один под. пусть будут равномерно распределены
Lucky SB
чтобы все запросы на ноду не упирались в один под. пусть будут равномерно распределены
А чего ты указываешь в переменной MINIO_PUBLIC_IPS ? при запуске своего стейтфулсета
krakazyabra
А чего ты указываешь в переменной MINIO_PUBLIC_IPS ? при запуске своего стейтфулсета
ничего. потому что резолвится в нужный loadbalancer. это индусы в слаке подсказали (разрабы)
krakazyabra
This field is optional for distributed deployments. If you don't set this field in a federated setup, we use the IP addresses of hosts passed to the MinIO server startup and use them for DNS entries.
Lucky SB
ничего. потому что резолвится в нужный loadbalancer. это индусы в слаке подсказали (разрабы)
запстебинь манифест стейтфулсета и сервиса твоего типа 'loadbaalancer'
Gleb
Почему я спрашиваю - это насущный вопрос для меня, чтобы аргументировать техническое решение ( не коробку типа cloudian hyperstore @comotoza )
почему ты не хочешь просто работающую коробку, а приключений в виде минио? ченджлоги почитай с апдейтами через патч ломающими возможность обновляться и вот это все. Хранить горячие бэкапы, докер образы, еще какой-нить кешь со статикой нормально, что то более серьёзное - гг
Gleb
Я - не хочу минио
цеф рядом просто эталон стабильности и надёжности.