rambling
апи из беты вышло в 16...
rambling
деплоймент
Victor
Гке унылое легаси. Какой смысл на них ориентироваться ??? У меня эмпирическое правило, как .3 выходит значит можно в прод
Ну хз. У меня есть некое подозрение что в гугле лучше всего умеют готовить кубер )
Lucky SB
Ну хз. У меня есть некое подозрение что в гугле лучше всего умеют готовить кубер )
Ну у меня есть уверенное убеждение, что в гугле есть разные подразделения. И то, которое за гке отвечает для массового сегмента - у них задача бабло с клиента получить, а не куб готовить на отлично.
Lucky SB
Таки и какую версию в проде юзаете?
1.8.4, 1.12.?, 1.15.3, 1.16.3 Кластеров много... часть древнючие уже, но работает не трогай
Lucky SB
Можешь конкретнее? Что за проблемы? Помимо заносить бабла
У меня нет. Я гке не пользуюсь ))) мне хватило идеи того, что на каждый ингресс поднимается свой лоадбалансер со своим внешним адресом
Lucky SB
А с до ващще хренота. Тут недавно коллега приходтл с вопросами. Я полез в доки до, и как то скудно там с доками... а под ингрессы предлагают свой ингресс контроллер на нгинкс поднимать.
Lucky SB
А про то, что до на кажлый ингресс поднимает лб за 2 бакса в час я в доках не гашел ничего
Victor
это ж типа пакетный менеджер, который решает зависимости
Serhii
Достаточно одного лб
Serhii
На сколько угодно ингрессов
Lucky SB
Достаточно одного лб
как Это сделать ?
Serhii
Просто нужно юзать ingress class: nginx-ingress в аннотациях, тот что по дефолту юзает какой-то свой GKEшный ингресс
Serhii
Тогда создастся 1 TCP Load Balancer
Serhii
И создавай ингрессов и роутов сколько угодно
George
Pre-hook, post-hook это порядок
Lucky SB
Просто нужно юзать ingress class: nginx-ingress в аннотациях, тот что по дефолту юзает какой-то свой GKEшный ингресс
прекрасный образчик бесполезного совета. Ты в своем совете упустил существенную деталь, без которой все это работать не будет.
Serhii
Какую?
Lucky SB
Какую?
сам подумай
Serhii
Ясно
Serhii
Конструктивно вышло
Victor
Зависимости != Порядок
Возможно мы о чемто разном говорим, но правильный порядок создания кубовых сущностей для микросервиса helm поддерживает.
Lucky SB
Возможно мы о чемто разном говорим, но правильный порядок создания кубовых сущностей для микросервиса helm поддерживает.
с какой версии ? Как это задать ? Я же помню, что была жопа, с CRD, когда сначал руками деплоим описание CRD, а потом деплоим чарт в котором создаем манифесты по этим описаниям
Lucky SB
Конструктивно вышло
ну окай. что происходит когда ты создаешь ингресс с "ingress class: nginx-ingress в аннотациях" ? и каким образом факт создания такого ингресса связан с автосоздание в GoogleCloud ОДНОГО TCP балансировщика ???
Vladislav
Всем привет. Появилась задача - узнать внутри кластера - Client IP. Сделано все примитивно - Kubernetes поднят считай в bare metal(hetzner cloud, load balancer нет), Ingress в hostPort 80\443 к ним ведет DNS round-robin. Правильно ли я понимаю, что чтобы узнать реальный IP клиента, мне нужно внешне(не внутри виртуальной сети kubernetes) сооружать свой load balancer с proxy protocol?
Victor
с какой версии ? Как это задать ? Я же помню, что была жопа, с CRD, когда сначал руками деплоим описание CRD, а потом деплоим чарт в котором создаем манифесты по этим описаниям
у меня на проде 2.14 , но я с кубом познакомился недавно - не знаю как раньше было. с CRD проблем не видел пока у сторонних чартов. Можно на каком-нибудь prometheus-operator глянуть как там разруливаются последовательности применения разных CRD
Serhii
ну окай. что происходит когда ты создаешь ингресс с "ingress class: nginx-ingress в аннотациях" ? и каким образом факт создания такого ингресса связан с автосоздание в GoogleCloud ОДНОГО TCP балансировщика ???
1. Инсталлируем helm chart stable/nginx-ingress, он поднимает TCP Load Balancer 2. Когда контроллер установлен - можно создавать сколько угодно ingress'ов, на них трафик будет роутить nginx-ingress контроллер. При создании/апдейте nginx controller можно указывать внешнюю IP с которой будет подниматся LB.
Lucky SB
1. Инсталлируем helm chart stable/nginx-ingress, он поднимает TCP Load Balancer 2. Когда контроллер установлен - можно создавать сколько угодно ingress'ов, на них трафик будет роутить nginx-ingress контроллер. При создании/апдейте nginx controller можно указывать внешнюю IP с которой будет подниматся LB.
ну вот. все ты знаешь... отлично. а почему в твоем первом сообщении не было ни слова про то, что надо сначала поднять свой стобственный ingress controller ? да еще и на базе nginx от kubernetes, А не какой нибудет envoy или traefik ... Поэтому я и назвал тот твой совет бесполезным.
Serhii
Ну сори)
Serhii
Мысль была в том, чтобы рассказать о том, что сама возможность есть
Serhii
С traefik и envoy не пробовал, но вполне возможно что и там так можно
Lucky SB
возможность есть... но зачем мне городить костыли в гугло-облаке ? они же аффторы куба, ониж должны уметь его готовоить лучше фсех .... а в итоге лепишь свой балансировщик, прилепляешь серт-менеджер сбоку для сертификатов, для автоматизации работы с DNS еще что-то костылишь.... а от облака получаешь или фигню задорого, или надо кучу доки перерыть и нажать нужные галочки при создании кластера, а потом миллион аннотаций указывать в сервисах, чтобы TCP балансировщик гугля трафик в поды слал напрямую, с минимальными задержками, а не пропускал бы через десяток натов внутри гугля, в дополнение к натам в самом кубере
Lucky SB
С traefik и envoy не пробовал, но вполне возможно что и там так можно
это был намек на название ингресс класса. ) у траефика и енвоя он другой по дефолту
George
Возможно мы о чемто разном говорим, но правильный порядок создания кубовых сущностей для микросервиса helm поддерживает.
У тебя порядок применения манифестов!= Порядок фактического появления ресурсов в кубе в нужном состоянии
Victor
У тебя порядок применения манифестов!= Порядок фактического появления ресурсов в кубе в нужном состоянии
ну ок, просто у меня ресурсы в кубе появляются в нужном порядке и в нужном состоянии )
Victor
Насколько сложные у тебя хельм чарты ) ?
да несложные обычно: .. ClusterRole.yaml ClusterRoleBinding.yaml ServiceAccount.yaml _helpers.tpl deployment.yaml ingress.yaml service.yaml
Solyar
Вам точно кубер нужен?
Solyar
Если он зависит от правил почему не вынести эти правила в депенденси которые хельм поддерживает?
😾
Что делать, если сервис есть, под есть, внешниеипи есть, а конекшен рефузед?
Solyar
Сервис таргет порт != порту в контейнере
😾
Чёт мне кажется кластер не оч настроен
Solyar
Ну да
Внутри контейнера curl на localhost:PORT отдает инфу?
😾
Да не, в другом кластере норм так работает
😾
Внутри контейнера curl на localhost:PORT отдает инфу?
Внутри контейнера нет курла😔
😾
И пинга
😾
И юма
Solyar
но точно слушает нужный порт?
😾
Да
Serhii
И юма
И readiness probe?
😾
И readiness probe?
Да все норм, под работает, там нечему не работать, хеловорлд типичный
Victor
Вам точно кубер нужен?
как ты представляешь появление в кубе работающего пода, у которого нет нужного pvc, например? а что если я скажу тебе, что helm найдет манифест про pvc, применит его, а потом только будет применять манифест для деплоймента?
😾
А у него точно вебморда есть?)
Ну не веб, зукипер, порт открыть должен же
😾
Да и с вебом другим такое же
😾
И с рмк
😾
Мб че куберовское навернулось
😾
Куда курить в таких ситуациях кароч 😔
😾
Доступа по ссш к нодам ещё нет 🥵
Solyar
Я деплою хельмом стейтлесс и стейтфул и просто мониторю правильный запуск
Solyar
Ну и опять таки, если под появится раньше PVC или скажем ConfigMap который нужен он рестартнет и всё. Не вижу в этом ничего страшного
Victor
вот кстати чтобы под сделал rolling update при изменении конфигмапа - там надо чуток поколдовать с аннотацией деплоймента (чтобы туда засовывался хэш от конфигмапа)
Victor
ну у нас просто наверное больше сотни самописных хельм-чартов и как-то ни у кого не было проблем вообще