kay
дичь какая то
любая абстракция - дичь. по сути это не хуже, чем nginx-ingress controller. template и terraform позволяют кустомизировать loadbalacer как душе угодно.
Dmitry
Раскурился в кишках
Lucky SB
любая абстракция - дичь. по сути это не хуже, чем nginx-ingress controller. template и terraform позволяют кустомизировать loadbalacer как душе угодно.
как его запустить то ? Я конечно в опенстековских lbass слабо разбираюсь, но он разве умеет по заголовку Host: в HTTP балансить трафик ?
Dmitry
Dmitrii
В опенстеке ж Octavia Ingress Controller есть для этого?
kay
В опенстеке ж Octavia Ingress Controller есть для этого?
с него как раз идея и пошла. он не поддерживает https, tcp, и legacy neutron lbaas (увы для меня это было критично).
Lucky SB
terminated https и http listener умеют L7 policies. https://www.terraform.io/docs/providers/openstack/r/lb_l7rule_v2.html
окай. набор ресурсов в традициях хашикорпа. запутано и нелогично - но в принципе, мне как конечному юзеру твоего продукта не очень важно. Ты лучше поясни пожалуйста. вот я правильно понял, что ты привел пример запуска своего контроллера ? https://github.com/kayrus/ingress-terraform/blob/master/examples/deployment.yaml Зачем тебе там hostPath: в /etc/kubernetes ? Зачем тебе там такие крутые толерейшен ? и да! я в первый раз вижу стейтфулсет из одной реплики без pvc темплейта - в чем смысл подобной штуки ? какие проблемы решаются ?
kay
Если посмотрите Todo, то там ещё много работы. https://en.m.wikipedia.org/wiki/Pareto_principle
kay
Ещё нужно правильный концепт логгинга сделать, а то у меня тупо в stdout/stderr выплёвывает. И если добавить больше worker'ов, то каша получится
Armen
привет ребят ... Кто работает на гугл-клауд? Такая интересная задача стоит. Нужна статистика расхода трафика per domain с nginx ingress controller-а. как такую инфу можно получить?
Lucky SB
Если посмотрите Todo, то там ещё много работы. https://en.m.wikipedia.org/wiki/Pareto_principle
Аха. посмотрел в код - хостпас в /etc/kubernetes выглядит как куски древнего легаси из времен 1.6 куба ) а стейт файл терраформа ты где хранишь ? как-то обрбабатываешь ситуацию, если терраформ упадет на пол пути из за опернсетковских тормозов и ресурс все таки создастся, но терраформ уже не запишет инфу об этом в свои стейт-файлы ?
Lucky SB
Сначала хранил в configmap, а когда запилил поддержку TLS, то переместил в secrets. Если terraform споткнется, то обновленный state file все равно запишется в secret.
хых. у меня самая большая боль в автоматизации терраформа и опенстека - это то, что после того как споткнется - повторно не запускается. Говорит что объекты в стейте не те, что в опенстеке и тому подобное
Armen
Виктор
там есть трафик
Andrey
стакдрайвер я так понимаю такую инфу не снимает?
в стакдрайвер можно логи nginx тоже запихивать и из них делать метрики
Armen
Там есть стата в стакдрйвере по балансеру
С L7 load balancera точно есть спокойно с нее статус снимаю, а вот с L4... я вообще не могу его найти :(
G72K
Коллеги, я тут написал kubernetes ingress controller на основе terraform. Пока поддерживается только OpenStack, т.к. доступа к другим клаудам у меня нет. возможно кому-нибудь пригодится https://github.com/kayrus/ingress-terraform
Код не смотрел, опенстеком не пользуюсь, но попрошу обратить внимание на косяки, которые в других контроллерах вылезали: - если несколько Ingress конфликтуют, то "побеждать" должен один и то же, а не так что при разных запусках случайный встревает - обрабатывать ситуации, чтобы пока идёт терраформ на обновления A, последующие обновления B и C не запускали вторую копию терраформа - пока идёт обновление A, прилетели новые версии ингреса B и C , то хорошо б что б следующий терраформ применял сразу C - по спеке path в ингресе это regexp, если LB не умеет в регекспы, а в ингресе и правда указан регексп , то надо ничего не делать, а не пытаться сделать хоть что то. - корректное обновление статуса/аннотаций ингреса . Хорошо бы там всякие ID LB отображать . А так же человекочитаемые ошибки, что бы тот кто создал ингрес мог в него посмотреть и понять что сделал не так без доступа к логам вашего ингрес контроллера
George
Код не смотрел, опенстеком не пользуюсь, но попрошу обратить внимание на косяки, которые в других контроллерах вылезали: - если несколько Ingress конфликтуют, то "побеждать" должен один и то же, а не так что при разных запусках случайный встревает - обрабатывать ситуации, чтобы пока идёт терраформ на обновления A, последующие обновления B и C не запускали вторую копию терраформа - пока идёт обновление A, прилетели новые версии ингреса B и C , то хорошо б что б следующий терраформ применял сразу C - по спеке path в ингресе это regexp, если LB не умеет в регекспы, а в ингресе и правда указан регексп , то надо ничего не делать, а не пытаться сделать хоть что то. - корректное обновление статуса/аннотаций ингреса . Хорошо бы там всякие ID LB отображать . А так же человекочитаемые ошибки, что бы тот кто создал ингрес мог в него посмотреть и понять что сделал не так без доступа к логам вашего ингрес контроллера
+++++-
George
Видно богатый опыт хождения по граблям
George
Ещё конфиг ингресса должен как-то валидироваться, а то с nginx легко попасть в ситуацию: ты в аннотациях написал говно. Оно типа примееилось, nginx конфиг не всосал. И летит на старом. А потом если нода в даун, то он пытается стартануть на новом конфиге и усе. Приплыли
kay
Код не смотрел, опенстеком не пользуюсь, но попрошу обратить внимание на косяки, которые в других контроллерах вылезали: - если несколько Ingress конфликтуют, то "побеждать" должен один и то же, а не так что при разных запусках случайный встревает - обрабатывать ситуации, чтобы пока идёт терраформ на обновления A, последующие обновления B и C не запускали вторую копию терраформа - пока идёт обновление A, прилетели новые версии ингреса B и C , то хорошо б что б следующий терраформ применял сразу C - по спеке path в ингресе это regexp, если LB не умеет в регекспы, а в ингресе и правда указан регексп , то надо ничего не делать, а не пытаться сделать хоть что то. - корректное обновление статуса/аннотаций ингреса . Хорошо бы там всякие ID LB отображать . А так же человекочитаемые ошибки, что бы тот кто создал ингрес мог в него посмотреть и понять что сделал не так без доступа к логам вашего ингрес контроллера
1) учту. Но пока нет смысла запускать два ингресса, т.к. даже если ингресс упадет, то лоадбалансер будет работать. 2,3) это я планировал сделать при включении многопоточности, в коде Todo как раз есть насчёт одного workera на каждый loadbalancers 4) про спеку regexp был не в курсе. Мой openstack не поддерживает regexp, потому у меня просто правило starts with. Учту и это. 5) со статусом там плохо все. K8s spec поддерживает только IP или hostname
kay
Ну, ок, будем надеяться, что все хорошо
Ну и опять же, если косяк вылетит, то с лоадбалансером ничего не будет.
kay
1) когда я пишу ингрес, это я объект kind: Ingress имею ввиду
Пока один worker, каждый ingress обрабатывается последовательно.
G72K
Вот ест ту вас два Ingress, каждый host: ABC.com , какой из них получит ABC.com на лоад балансере?
kay
Код не смотрел, опенстеком не пользуюсь, но попрошу обратить внимание на косяки, которые в других контроллерах вылезали: - если несколько Ingress конфликтуют, то "побеждать" должен один и то же, а не так что при разных запусках случайный встревает - обрабатывать ситуации, чтобы пока идёт терраформ на обновления A, последующие обновления B и C не запускали вторую копию терраформа - пока идёт обновление A, прилетели новые версии ингреса B и C , то хорошо б что б следующий терраформ применял сразу C - по спеке path в ингресе это regexp, если LB не умеет в регекспы, а в ингресе и правда указан регексп , то надо ничего не делать, а не пытаться сделать хоть что то. - корректное обновление статуса/аннотаций ингреса . Хорошо бы там всякие ID LB отображать . А так же человекочитаемые ошибки, что бы тот кто создал ингрес мог в него посмотреть и понять что сделал не так без доступа к логам вашего ингрес контроллера
А ты уверен, что path это ingress? Может там тупо path, а regexp используют потому что могут, а для того же nginx что path, что regexp, все одно?
G72K
На каждый ingress создаётся свой loadbalancers. Тут нет проблемы
Я не знаком с openstack. Если два ингрес объекта указывают один и тот же host и path , но разные backend service. Что произойдет на стороне лоад балансера? Создастся два и потом это уже к DNS вопросы на какой балансер отправить запросы для этого хоста?
G72K
Тогда у вас не будет работать фича когда два ингреса могут зарезервировать разные /path но на общем host
kay
Тогда у вас не будет работать фича когда два ингреса могут зарезервировать разные /path но на общем host
В случае с openstack, один ingress - один loadbalancer. Это возможно наверное в nginx, когда он сам спрятан за loadbalancerом, и сервится все с одного конфига
kay
В случае с openstack, один ingress - один loadbalancer. Это возможно наверное в nginx, когда он сам спрятан за loadbalancerом, и сервится все с одного конфига
Но это гораздо лучше, чем cloud controller manager, где каждый lb service соответствует отдельному loadbalancer'у
Виктор
Виктор
Подскажите, почему у gcloud балансер 30 баксов в месяц стоит?
Andrey
видимо у них там хапрокси с поддержкой))
Solyar
с кубером вообще пофиг можно деплоиться каждый день)
> Включил волшебную джобу в Jenkins > Расп*дорасило весь кластер
Dmitry
😂
Lucky SB
Все правильно сделал
Dmitry
Для этого пятница и нужна
Dmitry
Потом пару пива взял и до ночи чинишь legal
🇷🇺 Vladimir
никогда не видел столько рекламы наркобарыг
🇷🇺 Vladimir
а я всего пол дня тут
George
а я всего пол дня тут
Кубернетес доставляет (с)
NM
А еще у тех у кого тяга к дашборду там совсем уныло на 1.16 стало.. )))
Ну главное чтобы завести все это, на 1.16 надо поработать чтобы под центосью взлетело
VolanDeVovan
Есть gitlab и желание использовать helm для деплоя Как лучше реализовать все это? Выносить ли в отдельные репы чарты и что с ними делать? ( каким образом приложению получать доступ к нему)
Stanislav
Есть gitlab и желание использовать helm для деплоя Как лучше реализовать все это? Выносить ли в отдельные репы чарты и что с ними делать? ( каким образом приложению получать доступ к нему)
Если что-то не очень кастомное, можно попробовать использовать гитлабский auto-devops, его можно будет использовать в качестве template, в репе хранить только values.yaml
Ereshkigal
удобно в gitlab-ci.yml через helm —set подставлять нужные значения переменных вместо values
Stanislav
удобно в gitlab-ci.yml через helm —set подставлять нужные значения переменных вместо values
https://gitlab.com/gitlab-org/gitlab-foss/blob/master/lib/gitlab/ci/templates/Auto-DevOps.gitlab-ci.yml
VolanDeVovan
Я просто думал о какой-то системе где эти чарты в репу чартов деплоятся а я через ci юзаю их
VolanDeVovan
Есть ли смысл в таком?
Ereshkigal
А если есть чарт и несколько приложений которые его используют
ну тогда можно в CI подтягивать репу с чартом
Stanislav
https://gitlab.com/gitlab-org/gitlab-foss/blob/master/lib/gitlab/ci/templates/Jobs/Deploy.gitlab-ci.yml
VolanDeVovan
Не особо понял что ты скинул Это то как автодевопс работает или ты предлагаешь юзать эту штуку как шаблон?
VolanDeVovan
Спасибо Буду разбираться
Alexander
Есть ли смысл в таком?
Да, смысл есть. Чарты в репе приложения удобны для CD одного этого приложения. Но развертывать новый Кубер для стенда или восстановления - удобнее когда чарты в репе для Helm Charts. Обычно в ИТ не бывает однозначно лучших решений, всегда треугольники с выбором 2 из 3
VolanDeVovan
А что обычно используется в качестве репы?
VolanDeVovan
https://github.com/helm/chartmuseum/blob/master/README.md
VolanDeVovan
Нашел вроде неплохую штуку Все, спасибо
Alexander
Нашел вроде неплохую штуку Все, спасибо
Да, достаточно популярная вроде. Просто она может больше на облака хороша для S3 и подобного
Alexander
Можно поглядеть еще как базе GitLab делать репу для чартов
Alexander
Ну или вдруг юзаете JFrog Artifactory - там тоже есть решение
Mr.Strange
Господа, а можно ли kubespray натравить на уже существующий etcd кластер при деплое кластера kubernetes?