Согласен что не из коробки, но... https://github.com/kubernetes-sigs/cluster-api

кривоват. Ну, и есть альтернативы. Выше по топику можно найти. kubeadm, например. Но в общем - все на любителя

Metal3 такой сырой что у меня до сих пор руки мокрые

ну тем более. зачем лишние обертки

я видел вообще сольтовые стейты для разворачивания куба. Так что можно сказать повидал все

в общем, все жесть и не покрывает все кейсы. И на фоне этого инсталлер опеншифта выглядит прям няшкой

Metal3 такой сырой что у меня до сих пор руки мокрые

в общем, все жесть и не покрывает все кейсы. И на фоне этого инсталлер опеншифта выглядит прям няшкой

Ну это же Энтерпрайз решение же и за деньги вроде как

Есть бесплатный okd. Минус - миграции между версиями делаете сами.

Прошу прощения за нубский вопрос, возможно здесь не принято их задавать. В таком случае сразу его удалю. Кто-нибудь использует кубернетес на железе? Такой случай: арендованное железо, хостинг Hetzner, доступа к свитчам и роутерам соотвесвтенно нет, и возможности такой не дают. Кластер поднять то поднял, некоторые мелкие приложения из compose файлов трансформировал в абстракции кубернетес и задеплоил. А вот как на них трафик пустить, это не очень понятно. Знаю про metalb, но там либо вариант с BGP на роутерах к которым доступа нет, либо L2 сеть которой строго говоря тоже нет (есть VLAN) между хостами, и как я понял metallb должен иметь какой-то пул адресов, которые назначает на определенные ноды. В принципе закупить можно адресов, но для их переключения требуется обращаться в API hetzner, и я не могу понять, могу ли я кастомизировать metallb чтобы он так делал. Подумываю nginx на отдельном хосте поднять, и тулзу к нему написать, которая смотрит в API kubernetes и узнает для какого приложения на какие ноды направлять трафик, но мне кажется должно быть что-то по проще. Я думал с ingerss nginx могу сделать что-то подобное. Например обозначить какую-то группу нод - (ноды для ingerss), которые будут смотреть наружу портами 80, 443 и направлять трафик на нужные поды, но так и не понял, можно ли это сделать вообще. Направьте пожалуйста в правильную ли я сторону вообще копаю.

Прошу прощения за нубский вопрос, возможно здесь не принято их задавать. В таком случае сразу его удалю. Кто-нибудь использует кубернетес на железе? Такой случай: арендованное железо, хостинг Hetzner, доступа к свитчам и роутерам соотвесвтенно нет, и возможности такой не дают. Кластер поднять то поднял, некоторые мелкие приложения из compose файлов трансформировал в абстракции кубернетес и задеплоил. А вот как на них трафик пустить, это не очень понятно. Знаю про metalb, но там либо вариант с BGP на роутерах к которым доступа нет, либо L2 сеть которой строго говоря тоже нет (есть VLAN) между хостами, и как я понял metallb должен иметь какой-то пул адресов, которые назначает на определенные ноды. В принципе закупить можно адресов, но для их переключения требуется обращаться в API hetzner, и я не могу понять, могу ли я кастомизировать metallb чтобы он так делал. Подумываю nginx на отдельном хосте поднять, и тулзу к нему написать, которая смотрит в API kubernetes и узнает для какого приложения на какие ноды направлять трафик, но мне кажется должно быть что-то по проще. Я думал с ingerss nginx могу сделать что-то подобное. Например обозначить какую-то группу нод - (ноды для ingerss), которые будут смотреть наружу портами 80, 443 и направлять трафик на нужные поды, но так и не понял, можно ли это сделать вообще. Направьте пожалуйста в правильную ли я сторону вообще копаю.

Прошу прощения за нубский вопрос, возможно здесь не принято их задавать. В таком случае сразу его удалю. Кто-нибудь использует кубернетес на железе? Такой случай: арендованное железо, хостинг Hetzner, доступа к свитчам и роутерам соотвесвтенно нет, и возможности такой не дают. Кластер поднять то поднял, некоторые мелкие приложения из compose файлов трансформировал в абстракции кубернетес и задеплоил. А вот как на них трафик пустить, это не очень понятно. Знаю про metalb, но там либо вариант с BGP на роутерах к которым доступа нет, либо L2 сеть которой строго говоря тоже нет (есть VLAN) между хостами, и как я понял metallb должен иметь какой-то пул адресов, которые назначает на определенные ноды. В принципе закупить можно адресов, но для их переключения требуется обращаться в API hetzner, и я не могу понять, могу ли я кастомизировать metallb чтобы он так делал. Подумываю nginx на отдельном хосте поднять, и тулзу к нему написать, которая смотрит в API kubernetes и узнает для какого приложения на какие ноды направлять трафик, но мне кажется должно быть что-то по проще. Я думал с ingerss nginx могу сделать что-то подобное. Например обозначить какую-то группу нод - (ноды для ingerss), которые будут смотреть наружу портами 80, 443 и направлять трафик на нужные поды, но так и не понял, можно ли это сделать вообще. Направьте пожалуйста в правильную ли я сторону вообще копаю.

Прошу прощения за нубский вопрос, возможно здесь не принято их задавать. В таком случае сразу его удалю. Кто-нибудь использует кубернетес на железе? Такой случай: арендованное железо, хостинг Hetzner, доступа к свитчам и роутерам соотвесвтенно нет, и возможности такой не дают. Кластер поднять то поднял, некоторые мелкие приложения из compose файлов трансформировал в абстракции кубернетес и задеплоил. А вот как на них трафик пустить, это не очень понятно. Знаю про metalb, но там либо вариант с BGP на роутерах к которым доступа нет, либо L2 сеть которой строго говоря тоже нет (есть VLAN) между хостами, и как я понял metallb должен иметь какой-то пул адресов, которые назначает на определенные ноды. В принципе закупить можно адресов, но для их переключения требуется обращаться в API hetzner, и я не могу понять, могу ли я кастомизировать metallb чтобы он так делал. Подумываю nginx на отдельном хосте поднять, и тулзу к нему написать, которая смотрит в API kubernetes и узнает для какого приложения на какие ноды направлять трафик, но мне кажется должно быть что-то по проще. Я думал с ingerss nginx могу сделать что-то подобное. Например обозначить какую-то группу нод - (ноды для ingerss), которые будут смотреть наружу портами 80, 443 и направлять трафик на нужные поды, но так и не понял, можно ли это сделать вообще. Направьте пожалуйста в правильную ли я сторону вообще копаю.

там же есть vSwitch, в который можно маршрутизировать публичную /29

там же есть vSwitch, в который можно маршрутизировать публичную /29

Последний вариант выглядит реалистичным в вашей ситуации. Используйте NodePort (ingress nginx)

Используют, хотя и изолировано (квм). Меняем в деплое kind ингресса на nodeport и полетели. Спереди nginx обычный (вместо metallb, привыкли, нам удобно).

Да вроде можно. Но мне механика все равно не очень понятна. Как metallb сможет на каку-то ноду назначить один из этих адресов, да и переключать эти адреса можно же подсетями а не по отдельности , возможно мне не хватает каких-то сетевых знаний или понимания как работает metallb.

А подробнее можно. Спереди nginx, который не под контролем kubernetes? А как он узнает куда трафик направлять?

Да, спереди nginx, у которого просто в апстримы забиты все ноды, где крутятся поды ингресса. Если одна отвалится, ответит другая. Без хелсчеков, правда, но тут можно глянуть на haproxy, если сильно надо.

Так вы же гоняете весь трафик по всем нодам. Такой вариант у меня не прокатит.

Трафик пойдет на другую ноду только при событии согласно конфигурации proxy_next_upstream 🤔

Ну так у вас же ingress на каждой ноде. На каждую ноду уходит трафик, а от туда ingress знает на какой его под направить, который может находиться вообще на другой ноде, правильно?

https://www.ascent24.io/kubernetes/the-battle-of-kubernetes/

Понятно. То есть у вас поды ингресса крутяться на определенных нодах, и на этих нодах больше ничего нет. Я просто чего боюсь. Есть приложения которые могут забить весь трафик, между балансером и бэком. И если этот трафик будет ходить по большему количеству узлов, тем хуже. Может я зря боюсь конечно. Пугает ситуация, когда один нагруженный по трафику под с бэком прилетит на ноду, с другим нагруженным подом по трафику. А в случае с nginx который стоит перед ингресами, могут возникнуть как проблемы с сетью между nginx и ингресом так и между ингресами и нодами. И весь кластер рухнет.

Понятно. То есть у вас поды ингресса крутяться на определенных нодах, и на этих нодах больше ничего нет. Я просто чего боюсь. Есть приложения которые могут забить весь трафик, между балансером и бэком. И если этот трафик будет ходить по большему количеству узлов, тем хуже. Может я зря боюсь конечно. Пугает ситуация, когда один нагруженный по трафику под с бэком прилетит на ноду, с другим нагруженным подом по трафику. А в случае с nginx который стоит перед ингресами, могут возникнуть как проблемы с сетью между nginx и ингресом так и между ингресами и нодами. И весь кластер рухнет.

Pacemaker озадачить менять файловер ип хетцнера

Выделить пару узлов под ингресс кнтрлеры. Запцскать их с хостнетворк тру

Или за клоудфларе прячьтесь

А вот по поводу host network - пишут нерекомендуется так как не безопасно. Что имеется в виду? Что страшного в том, что ingress будет получать трафик через внешнюю сеть? Ведь в этом по сути его задача и состоит. Или это имеется в виду вообще в целом про любые поды, которые не нужно светить наружу, тогда странно что они это пишут про ingress controller.

Трафик динамический, не статика. Статика у нас итак вся через CDN.

Сф умеет без кеширования проксировать. Использовать его как отказоустойчивый балансировщик

Прошу прощения за нубский вопрос, возможно здесь не принято их задавать. В таком случае сразу его удалю. Кто-нибудь использует кубернетес на железе? Такой случай: арендованное железо, хостинг Hetzner, доступа к свитчам и роутерам соотвесвтенно нет, и возможности такой не дают. Кластер поднять то поднял, некоторые мелкие приложения из compose файлов трансформировал в абстракции кубернетес и задеплоил. А вот как на них трафик пустить, это не очень понятно. Знаю про metalb, но там либо вариант с BGP на роутерах к которым доступа нет, либо L2 сеть которой строго говоря тоже нет (есть VLAN) между хостами, и как я понял metallb должен иметь какой-то пул адресов, которые назначает на определенные ноды. В принципе закупить можно адресов, но для их переключения требуется обращаться в API hetzner, и я не могу понять, могу ли я кастомизировать metallb чтобы он так делал. Подумываю nginx на отдельном хосте поднять, и тулзу к нему написать, которая смотрит в API kubernetes и узнает для какого приложения на какие ноды направлять трафик, но мне кажется должно быть что-то по проще. Я думал с ingerss nginx могу сделать что-то подобное. Например обозначить какую-то группу нод - (ноды для ingerss), которые будут смотреть наружу портами 80, 443 и направлять трафик на нужные поды, но так и не понял, можно ли это сделать вообще. Направьте пожалуйста в правильную ли я сторону вообще копаю.

А ещё клаудфлейр отличная тема для днс хостинга

народ а после создания ноды, если виртуалке больше ресурсов дать, кубер же не увидит, надо пересоздавать ноду?