Lucky SB
https://pastebin.com/p8QqW7rq
type: LoadBalancer у тебя кластер в aws ? gke ? или каком другом облаке ?
George
wedos.cz
George
Ты чего? Не видел доклады квапса?
Lucky SB
Ты чего? Не видел доклады квапса?
видел. но вдруг это друго подразделение
krakazyabra
то же самое. в 5 метрах друг от друга
George
krakazyabra
кластеры куба одни и те же. мне не дают собственный кластер, я его сразу же сломаю 😂😂
krakazyabra
wedos.cz
лучше .com, чтобы не пугать народ чештиной
Gleb
ты меня ни с кем не путаешь ?
Gleb
я вообще про куб молчу
Gleb
минио без куба не очень
Lucky SB
ты меня ни с кем не путаешь ?
сорри. чертов телеграм. пока писал. сбился репли
Lucky SB
не тебе конечно же
Gleb
спасибо :D
Lucky SB
https://pastebin.com/p8QqW7rq
крче. для начала вам надо сходить к квапсу и попросить его рассказать вам про типы сервисов в кубе, и что такое стейтфулсеты. зачем нужен сервис типа loadbalancer, а зачем сервис типа ClusterIP, и что такое headless сервис. потому что в этой части у вас дыра в знаниях, заполненная домыслами. далее: sts: replicas: 4 args: - server - http://m1c6-{0...3}.minio.minio.svc.cluster.local/data делать еразуре кодинг minio на одной ноде - ну такое себе отказустойчивость далее. я вообще не уверен, что имя подов в стейтфулсете у тебя будут ресолвится без headless сервиса. возможно в последних кубах сделали такой дефолт, но мне кажется - что headless сервис нужен. и наконец. решение твоих проблем... смотри какая там цепочка: ты хочешь отправлять клиента в неких балансировщик, который бы ходил в coredns от минио и узнавал в каком стейтфулсете у тебя бакет ? ингресс-контроллер так не умеет. тебе действительно нужен некий скрипт-оператор ;) кторый будет постоянно ходить в coredns, брать оттуда полную зону, и на основании нее строить конфиг для балансировщика (nginx)
Pavel
Я надеюсь топистартер помнит что minio новые ноды в кластер не умеет, да и походу не умеет новые диски в кластер. Только федерация.
Pavel
а, ok я чето види пролистал
krakazyabra
крче. для начала вам надо сходить к квапсу и попросить его рассказать вам про типы сервисов в кубе, и что такое стейтфулсеты. зачем нужен сервис типа loadbalancer, а зачем сервис типа ClusterIP, и что такое headless сервис. потому что в этой части у вас дыра в знаниях, заполненная домыслами. далее: sts: replicas: 4 args: - server - http://m1c6-{0...3}.minio.minio.svc.cluster.local/data делать еразуре кодинг minio на одной ноде - ну такое себе отказустойчивость далее. я вообще не уверен, что имя подов в стейтфулсете у тебя будут ресолвится без headless сервиса. возможно в последних кубах сделали такой дефолт, но мне кажется - что headless сервис нужен. и наконец. решение твоих проблем... смотри какая там цепочка: ты хочешь отправлять клиента в неких балансировщик, который бы ходил в coredns от минио и узнавал в каком стейтфулсете у тебя бакет ? ингресс-контроллер так не умеет. тебе действительно нужен некий скрипт-оператор ;) кторый будет постоянно ходить в coredns, брать оттуда полную зону, и на основании нее строить конфиг для балансировщика (nginx)
> делать еразуре кодинг minio на одной ноде - ну такое себе отказустойчивость это staging. в проде и нод больше, и дисков соответственно > так он есть. просто не просил выкладывать) в темплейте стейтфулсета лэйбл app=minio, у хедлеса селектор по этому лейблу > ты хочешь отправлять клиента в неких балансировщик, который бы ходил в coredns от минио и узнавал в каком стейтфулсете у тебя бакет ? я там выше dig'и присылал. локальный coredns знает обо всех лоадбалансерах, может резолвить а-запись в нужный адрес, etcd знает обо все бакетах (ему минио сам сообщает). coredns смотрит в etcd на предмет соответствия адресов и бакетов. исходя из этого отддает под запрошенный урл нужный адрес. выше картинка про федерацию, на ней наглядно изображен процесс. > ингресс-контроллер так не умеет. тебе действительно нужен некий скрипт-оператор ;) кторый будет постоянно ходить в coredns, брать оттуда полную зону, и на основании нее строить конфиг для балансировщика (nginx) думаю вообще делегировать домен на coredns
Vladimir
ребят есть какой то бест практис что лучше юзать для ha - хапрокси на воркер нодах или keepalived?
Lucky SB
> делать еразуре кодинг minio на одной ноде - ну такое себе отказустойчивость это staging. в проде и нод больше, и дисков соответственно > так он есть. просто не просил выкладывать) в темплейте стейтфулсета лэйбл app=minio, у хедлеса селектор по этому лейблу > ты хочешь отправлять клиента в неких балансировщик, который бы ходил в coredns от минио и узнавал в каком стейтфулсете у тебя бакет ? я там выше dig'и присылал. локальный coredns знает обо всех лоадбалансерах, может резолвить а-запись в нужный адрес, etcd знает обо все бакетах (ему минио сам сообщает). coredns смотрит в etcd на предмет соответствия адресов и бакетов. исходя из этого отддает под запрошенный урл нужный адрес. выше картинка про федерацию, на ней наглядно изображен процесс. > ингресс-контроллер так не умеет. тебе действительно нужен некий скрипт-оператор ;) кторый будет постоянно ходить в coredns, брать оттуда полную зону, и на основании нее строить конфиг для балансировщика (nginx) думаю вообще делегировать домен на coredns
> локальный coredns знает обо всех лоадбалансерах, ну лин. неправильно так говорить. у тебя есть днс-зона кластера (корднс куба) и днс-зона федерации минио (корднс минио) - какой из них ты называешь локальными ???? корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета. если твои клиенты минио имеют доступ к этим ip адресам (роутинг настроен,фиривол открыт) то тебе балансировщик то ненужен. пусть клиенты ресолвят да ходят в поды > думаю вообще делегировать домен на coredns ну вот опять. фиг поймешь о каком домене ты пишешь и про какой именно coredns ;D
krakazyabra
> локальный coredns знает обо всех лоадбалансерах, ну лин. неправильно так говорить. у тебя есть днс-зона кластера (корднс куба) и днс-зона федерации минио (корднс минио) - какой из них ты называешь локальными ???? корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета. если твои клиенты минио имеют доступ к этим ip адресам (роутинг настроен,фиривол открыт) то тебе балансировщик то ненужен. пусть клиенты ресолвят да ходят в поды > думаю вообще делегировать домен на coredns ну вот опять. фиг поймешь о каком домене ты пишешь и про какой именно coredns ;D
> я имел в виду корднс минио. локальный, потому что в одном неймспейсе > корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета отлает IP лоадбалансера. думаю. > ну вот опять у меня мысли в кучу. домен - урл s3.domain.org сейчас он резолвится в nginx-ingress-minio (контроллер, работает в неймспейсе с минио, ингресс минио смотрит в этот контроллер) надо переспать с мыслями, может смогу верно их изложить
Lucky SB
> я имел в виду корднс минио. локальный, потому что в одном неймспейсе > корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета отлает IP лоадбалансера. думаю. > ну вот опять у меня мысли в кучу. домен - урл s3.domain.org сейчас он резолвится в nginx-ingress-minio (контроллер, работает в неймспейсе с минио, ингресс минио смотрит в этот контроллер) надо переспать с мыслями, может смогу верно их изложить
>> корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета отлает IP лоадбалансера. думаю. что значит - думаю ? в таких вещах надо делать запрос и смотреть результат. а не выдумывать всякое.... я уже писал - сходи к квапсу на ликбез. корднс минио вообще никоим образом не знает о существовании твоего сервиса лоадбалансера (который к тому же еще и не рабочий у тебя, скорее всего, потому что баре-метал и наверняка нет cloud controllera, который бы создал инстанс LB, выделил бы этому инстансу ip адрес и сообщил бы этот адрес кубу, чтобы он его смог показать в описании сервиса loadbalancer) >у меня мысли в кучу. домен - урл s3.domain.org сейчас он резолвится в nginx-ingress-minio (контроллер, работает в неймспейсе с минио, ингресс минио смотрит в этот контроллер) что тебе руками прописали в зоне s3.domain.org - в этот адрес оно и резолвится. nginx ingress controller DNS зонами никак не управляет.
krakazyabra
>> корднс минио в ответ на запрос bucket23.domain.org отдаст список ip адресов подов соответсвуещго стейтфулсета отлает IP лоадбалансера. думаю. что значит - думаю ? в таких вещах надо делать запрос и смотреть результат. а не выдумывать всякое.... я уже писал - сходи к квапсу на ликбез. корднс минио вообще никоим образом не знает о существовании твоего сервиса лоадбалансера (который к тому же еще и не рабочий у тебя, скорее всего, потому что баре-метал и наверняка нет cloud controllera, который бы создал инстанс LB, выделил бы этому инстансу ip адрес и сообщил бы этот адрес кубу, чтобы он его смог показать в описании сервиса loadbalancer) >у меня мысли в кучу. домен - урл s3.domain.org сейчас он резолвится в nginx-ingress-minio (контроллер, работает в неймспейсе с минио, ингресс минио смотрит в этот контроллер) что тебе руками прописали в зоне s3.domain.org - в этот адрес оно и резолвится. nginx ingress controller DNS зонами никак не управляет.
> баре-метал и наверняка нет cloud controllera kubectl port-forward svc/loadbalancer 8000:9000 - все отлично. и балансер есть, и работает как задумано > что тебе руками прописали в зоне s3.domain.org делегировать этот домен на корднс. сейчас там а-запись ингресс-контроллера
krakazyabra
покажи kubectl get svc loadbalancer вернее kubectl get svc minio-svc-lb-m1c6
[egor@powerbook ~]$ kubectl get svc -n minio minio-svc-lb-m1c6 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE minio-svc-lb-m1c6 LoadBalancer 10.104.244.97 <pending> 9000:31048/TCP 2d1h
Lucky SB
[egor@powerbook ~]$ kubectl get svc -n minio minio-svc-lb-m1c6 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE minio-svc-lb-m1c6 LoadBalancer 10.104.244.97 <pending> 9000:31048/TCP 2d1h
<pending> видишь ? не работает твой сервис типа LoadBalancer. другой вопрос, что кубернетес тебе вместе с ним сделал еще и сервисы типа ClusterIP и NodePort, через который твой kubectl portforward и работает.... подтяни матчасть. на догадках далеко не уедешь
Sn00part
смени на nodeport и заработает )
George
Это разные вещи, для разных целей Выбор конкретной реализации зависит от того как выглядит остальная инфра
Sn00part
https://hub.docker.com/r/pschiffe/pcs/ вот посмотри вот это, дурная и простая до боли неубиваемая херня для HA
Sn00part
там pacemaker, corosync
Sn00part
и для студентов вебУИ
Sn00part
редхат зовет на вебинар Serverless Kafka on Kubernetes knative+kafka 12.00 PM ET Nov 21
Sn00part
кого-то еще зовет? может кто запишет (стырит потом записи)?
𝚔𝚟𝚊𝚙𝚜
ребят есть какой то бест практис что лучше юзать для ha - хапрокси на воркер нодах или keepalived?
Нету, оба варианта рабочие, но если выберете второй то крайне советую добавить к keepalived ещё и haproxy, чтобы проверять доступность api-серверов
𝚔𝚟𝚊𝚙𝚜
Добрый день. Не подскажете почему cronjob плодит поды и можно ли этого избежать?
Попробуйте выставить лимиты: successfulJobsHistoryLimit: X failedJobsHistoryLimit: Y И поды будут автоматически удаляться
𝚔𝚟𝚊𝚙𝚜
Странно тем что в доках селектор описан как необязательное поле
Для extensions - не обязательное, для apps - обязательное
𝚔𝚟𝚊𝚙𝚜
оф. документация хорошая, насчёт на русском - не уверен, что материалов много
Кстати в русской слаке всё ещё ищут добровольцев готовых перевести и поддерживать официальную документацию
Vladimir
Нету, оба варианта рабочие, но если выберете второй то крайне советую добавить к keepalived ещё и haproxy, чтобы проверять доступность api-серверов
так это взаимоисключающие вещи.. либо шарить ип между мастер нодами и писать его воркерам, либо ставить на воркеры хапрокси, в него загонять бекендами мастер ноды и воркерам писать локалхост для апи сервера.
Vladimir
или шарить ип и в хапрокси еще и его вписывать помимо мастер нод? в принципе да, вариант
George
вариантов больше.
George
1. тупо keepalived или аналог. Подключаем воркеры к мастерам по этому VIP. Плюс - отказоустойчивость. Минус - нет балансировки по мастерам. Чтоб была балансировка см. дальше. 2. keepalived + ipvs 3. haproxy или nginx на воркерах со списком всех мастеров в апстриме. Имеем и отказоустойчивость, и балансировку. Минус - при пересборке мастеров надо на всех воркерах обновить прокси. Ну, и клиент ВНЕ кластера по kubectl тоже может попасть на дохлый мастер 4. haproxy или nginx на мастерах. Сам по себе он вирт айпи не генерирует, но попадая на один из мастеров, он может зароутить запрос на остальные мастера. Но вариант keepalived + haproxy - почему нет
George
@kvaps есть что добавить?
George
ты там с pacemaker/corosync мастера не собирал?
𝚔𝚟𝚊𝚙𝚜
@kvaps есть что добавить?
Да, картинку для наглядности https://medium.com/@kvaps/for-make-this-scheme-more-safe-you-can-add-haproxy-layer-between-keepalived-and-kube-apiservers-62c344283076?source=---------2------------------
George
в теории - если есть ВНЕШНИЙ по отношению к кластеру LB (облако, корпоративный nginx или еще какая-то дичь) - то keepalived (и аналоги) не нужен(ны)
Дмитрий Харитонов
Ну что, на 16.3 уже можно обновляться?)
Petr
istio rbac можно повешать на сервис а не на неймспейс ?
Solyar
Можно создать отдельное правило в неймспейсе для сервиса
Petr
можно чуть подробнее
Solyar
Это в теории, на практике не пробовал
ᴅⁱᵐⁱᴅʳ0ˡ
всем привет
ᴅⁱᵐⁱᴅʳ0ˡ
подскажите при обновлении кубера сколько простоя будет по времени?
Sergey
подскажите при обновлении кубера сколько простоя будет по времени?
Не проще налить свежий кластер и смигрировать нагрузку?
George
если ты мастера обновляешь по одному - может и без простоя быть, если нет несовместимых изменений
George
Не проще налить свежий кластер и смигрировать нагрузку?
не для всех типов нагрузки это возможно бесшовно
Sergey
так и планирую)
Ну так делайте, если вы правильно подойдёте к процессу, у вас простой будет минимальный
ᴅⁱᵐⁱᴅʳ0ˡ
благодарю
Sergey
Если вообще будет
George
Удиви меня)
базу как будешь перетаскивать?
George
а если приложение не умеет в более одного инстанса, ну, так написали
Sergey
Никак, они у меня в 99% не в кубере