Egor
может инстансы жирноватые? -= )
там тестовая инфраструктура была с несколькими кластерами (дев, стейдж, прод) с парой сотен подов :-)
Семён
вообще хардвей можно адаптировать хоть под хетцнер с 6-ти дораровыми машинками.
Egor
и они чот взяли и скушали к хренам ресурсы
Egor
ибо егорка не математик, егорка считать то не умеет :-(
Egor
вообще хардвей можно адаптировать хоть под хетцнер с 6-ти дораровыми машинками.
недавно натыкался на статью чувака, он вымутил в хетцнере 3 сервака, натянул проксмокс с сефом, поверх него кубер и получил кластер для небольшого проекта меньше чем за 100 баксов
Egor
без стоимости часа сотрудника, который это делал
Семён
эммм
Семён
я так же делал
Семён
только цеф на отдельных машинках
Семён
и там все в сумме меньше 50 дораров получается
Семён
только проксмокс нафиг не нужен
Семён
я ранчером там все натягивал )))
Семён
и там даже кластер автоскейлинг работает
George
Только не надо так делать
George
Не надо ранчер поверх хетцнера - он же по публичным адресам работает
Семён
ну так это же лаба. надо все попробоватьб
George
Не умеет он в приватные сети, скотина такая
Семён
а ща у них вроде уже пояилось что-то вроде VPC
Семён
можно предварительно тачки облагородить wireguard'om
George
Семён
агась
Семён
Но вообще, после the hard way, я понял что хочу работать только с менеджед кубером )))
Михаил
Как настроить кубер так чтобы анонимные (без авторизации в кубере) обращения к подам через ингресс не кидали 403? Судя по всему надо роли system:anonymous права прописать. Но какие?)
Dmytro
Хмм а что они должны делать в таком случае?
Михаил
Предоставлять доступ к ендпоинтам сервиса в моем представлении)
Михаил
Если херню делаю то скажите как правильно наружу прокинуть ендпоинты сервиса)
Andrey
Если херню делаю то скажите как правильно наружу прокинуть ендпоинты сервиса)
Ну там ингресс-контроллер, лоад-балансеры... Где куб вообще и что конкретно надо?
Михаил
Ну там ингресс-контроллер, лоад-балансеры... Где куб вообще и что конкретно надо?
Куб внутри рабочей сети, надо внутри рабочей сети иметь доступ к поду по http
Andrey
Большой кластер?
Lucky SB
Я ещё не дошел, но интересно, как там вопрос с локальным прокси (nginx) до аписерверов решен. Он запускается как static pod, но кублет не стартует статик поды, пока не пройдет бутстрап, а что б прошел бутстрап надо до аписервера достучаться :)
там грязный хак. при бутстрапе там адрес первого мастера. после того как нода зарегается, кубспрей правит конфиг кублета меняя адрес API сервера на 127.0.0.1 - локальный прокси
Russia9
Добрый вечер. Пока новичок в k8s. Есть кластер(kubeadm) на двух VM от Scaleway и одной baremetal не в Scaleway(Между ними поднят OpenVPN). Никак не могу понять, как открыть Service по порту 443 во внешний мир(или хотя-бы в vpn сеть). Единственный рабочий вариант из мной проверенных - NodePort. Спасибо.
Russia9
ExternalIPs пустые
Russia9
У нод
Russia9
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME s01 Ready master 9d v1.16.1 10.8.0.6 <none> Debian GNU/Linux 10 (buster) 4.19.0-5-amd64 docker://19.3.2 s02 Ready <none> 9d v1.16.1 10.8.0.10 <none> Debian GNU/Linux 10 (buster) 4.19.0-5-amd64 docker://19.3.2
𝚔𝚟𝚊𝚙𝚜
ExternalIPs пустые
Не у нод, а у service, туда вручную прописать нужно
Lucky SB
> кублет не стартует статик поды, пока не пройдет бутстрап, Не обязательно, мастера же как-то работают. Скорее всего оно работает по тойже логике как и деплой external etcd с помощью kubeadm https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/
ох. там все сложно, запутано и забаговано. и покрыто слоями легаси. кубадм в кублете первого мастера прописывает сертификат в конфиг и бутстрап не делает. второй и третий мастера уже по TLS bootstrap подключает. в версии 1.17 они хотят переделать запуск первого мастера, я там особо не вчитывался, но как я понял, они хотят сначала статик поды запускать, а уже потом кублет бутстрапить - что логично. а пока с первым узлом советуют менять в kubelet.conf захардкоженый серт на файл https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/
Lucky SB
А 127.0.0.1 в certificate SANs api-сервера добавлен?
конечно. он всегда добавляется
Russia9
Не у нод, а у service, туда вручную прописать нужно
А разве когда у service пишешь externalIp он не ищет ноду у которой такой же external Ip?
Lucky SB
Создай сервис и в externalIPs укажи адреса нод(ы)
ты злой и плохой. у него ж щас кластер сломается
𝚔𝚟𝚊𝚙𝚜
Andrey
А разве когда у service пишешь externalIp он не ищет ноду у которой такой же external Ip?
Прочитай официальную доку от корки до корки, а то так далеко не уедешь. Заодно и ответ на свой вопрос найдешь
Andrey
Вариаций конфигураций кубеней 100500 и у тебя не самая типичная
Михаил
Баре-метал? Ну тогда замути ингресс-контроллер
Да свой железный серв. ингрес контроллер типа https://www.nginx.com/products/nginx/kubernetes-ingress-controller подойдет для моих нужд?
Andrey
У него же два кластера в разных ДЦ походу
Lucky SB
Серьезно?
ну VPN между scaleway и его железкой - лишнее
Михаил
Да
Простт в таком случае выйдет что клиенты внешние будут через два nginx ходить, это нормально?
Andrey
И, вполне вероятно, через пачку балансировщиков
Это уже вряд ли, у него конфигурация не та
𝚔𝚟𝚊𝚙𝚜
? какие серты ?
Я про то что именно происходит на этой фазе https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init-phase/#cmd-phase-upload-certs
Lucky SB
Я про то что именно происходит на этой фазе https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init-phase/#cmd-phase-upload-certs
ну кубадм берет содержимое /etc/kubernetes/pki, шифрует и кладет в конфиг-мап. через два часа этот конфиг мап будет убит. этот конфиг мап используют кубадмы, которые запускают второй и третий мастера. для того, чтобы не копировать ca.key а получить его из базы.
Andrey
ну VPN между scaleway и его железкой - лишнее
А, или он ноду через впн воткнул? Жестко
Lucky SB
@kvaps к бутстрапу кублета это не относится
Andrey
Это дев среда)
О как. Ну тогда контроллер с hostNetwork: true и збс
Lucky SB
ExternalIPs пустые
В externalIPs надо указывать только ДОПОЛНИТЕЛЬНЫЙ адрес на узле. основной не стоит.
Russia9
Спасибо
Russia9
Еще бы знать, как указывать)
Lucky SB
Еще бы знать, как указывать)
доку куба открой. там есть примеры. но тебе оно не надо.
𝚔𝚟𝚊𝚙𝚜
@kvaps к бутстрапу кублета это не относится
Понял. Ну мне про деплой мастеров было больше интересно и как именно теперь осуществляется присоединение к кластеру, раньше вот весь /etc/kubernetes/pki приходилось копировать. то есть без kubeadm init phase upload-certs, присоединить мастера не получится?
Lucky SB
правильный путь - поставить nginx ingress controller