Привет всем.
Подскажите как порешать такую проблему :
Есть Ubunta на ней настроена прокся через cntlm - она поднята на 3128
Запускаю миникубс командой :
minikube start --vm-driver=virtualbox --memory=8192 --docker-env HTTP_PROXY=http://127.0.0.1:3128/ --docker-env HTTPS_PROXY=https://127.0.0.1:3128/ --docker-env NO_PROXY=localhost,192.168.*
И пытаюсь запустить hello-minikube - он не поднимается и в лог срется ошибка :
Error response from daemon: Get https://gcr.io/v2/: proxyconnect tcp: dial tcp 127.0.0.1:3128: getsockopt: connection refused"
На сколько я понял что он докер образ выкачать не может из за того докер проксю не видит.
Можете подсказать как эту проблему можно решить ?
В качестве адреса прокси укажи свой 192.168.* адрес хоста
Юрий
Yaroslav
Stanislav
А кто как делает выделенные сети для отдельных микросервисов? Что-нибудь кроме неймспейсов и сетевых политик для них осмысленное есть?
Ilya
А кто нить знает как ldap прикрутить к k8s dashboard?
Dmitryi
Всем привет. Ребят подскажите сеть которая указываеться в apiserver в параметре —service-cluster-ip-range может быть внешней сетью которая роутиться. К примеру я в этот параметр укажу айпи своей внутренней сети в которой настроены ноды? Будут ли с этим какие-то проблемы ?
Denis
Oleg
А кто нить знает как ldap прикрутить к k8s dashboard?
Я поставил nginx + ldap перед дашбордом и выставил наружу nginx, а сам дашборд закрыл. Хреново то, что все, кто залогинился, выполняют действия под одним SA, но хоть как-то. Да и доступ имеет ограниченный круг лиц.
Ильдар
Ильдар
Извиняюсь, а какой модуль? Года три четыре назад пробовал, был какой-то, но он блокирующий.
Oleg
Извиняюсь, а какой модуль? Года три четыре назад пробовал, был какой-то, но он блокирующий.
https://github.com/kvspb/nginx-auth-ldap
Ильдар
да, я его тоже пробовал, он блокируется при проблемах коннекта к ldap. Да и вообще при работе с ldap блкируется.
Andrei
Можно на lua написать обвязку и прокидывать нужные токены (openresty)
Ivan
auth_request + https://github.com/nginxinc/nginx-ldap-auth
Ivan
всё уже написано без всяких lua
Oleg
да, я его тоже пробовал, он блокируется при проблемах коннекта к ldap. Да и вообще при работе с ldap блкируется.
deploy/kubernetes-dashboard-frontend 1 1 1 1 62d
за это время проблем не наблюдали
Ilya
Lex
А можно как-то сделать, что-бы kubelet не валился постоянно с
``failed to run Kubelet: cannot create certificate signing request:`
а ждал пока появится api сервер?
Lex
а то Я тут пытаюсь настроить api как статик под но он валится раньше :(
Dmytro
Кто нибуть монгу развертывал с помощью этого дела?
https://github.com/kubernetes/charts/tree/master/stable/mongodb-replicaset
у меня монга при помощи форка этого чарта уже больше года в проде крутится
Dmytro
в целом работает норм, но куб dynamic volume provisioner не умеет xfs форматировать - в итоге монга сидит на ext4 который куб dynamic volume provisioner только и умеет, плюс пришлось навернуть huge pages и прочие sysctl твики которые хочет монга на всех нодах= это возможно ухудшает перформанс других приложений в этом кластере
Dmytro
поэтому под большие нагрузки я думаю лучше могну такие иметь где-то вне кластера на отдельных машинах оптимизированных под нее
Stanislav
А node pools такую проблему не позволяют решить?
Dmytro
Позволяют решить sysctl но не xfs (но можно вручную создавать вольюмы а не через плагин)
Dmytro
Но с node pools и созданием вольюмов (и форматировани вручную в xfs) уже теряются профиты кластера - шарить ресурсы с другими приложениями и автоматизация деплоймента с полпинка
Костя
Коллеги, помогите разобраться. Поставил кластер через kubespray с HA, используя haproxy с VIP адресом, за которым два api сервера. Использую сгенерированный kubeconfig, который кладется в папку artifacts. Извне кластера на любую команду kubectl выдает :
Unable to connect to the server: Tunnel or SSL Forbidden
В компании есть корпоративный proxy, все хосты кластера прописаны в no-proxy. Понять не могу что не так
Костя
Изнутри кластера, с api хоста все работает
Lex
привет, если кто запускает kubelet как докер контейнер, поделитесь пожалуйста своим systemd unit'ом для этого?
Sergey
оркестратор для управления контейнерами в контейнере
рили?)
Lex
эм, а почему нет?
Sergey
а потом этим контенером будет управлять второй k8s?))
Andrey
coreos так делает, только у них не в докеровском контейнере, а в rkt
Andrey
https://github.com/coreos/coreos-kubernetes/blob/master/Documentation/kubelet-wrapper.md
Lex
Зачем? systemd им управляет
Lex
https://github.com/coreos/coreos-kubernetes/blob/master/Documentation/kubelet-wrapper.md
Пробовал подсунуть в systemd unit на основе этого -- в поды не монтируются секреты
Andrey
может, не все вольюмы в kubelet пробрасываешь? Хотя это догадка, я не знаю, как kubelet секреты в поды отдаёт.
Andrey
оркестратор для управления контейнерами в контейнере
рили?)
это норм, устоявшаяся практика, которой пользуется не только k8s. Вас не смущает, что mysql данные для авторизации и аутентификации хранит в базе? Или что контрольная панель для VSphere работает в VM? Или что контроллеры AD, которые управляют доступом к Hyper-V, работают в виртуалках Hyper-V? Или что C++ написан на C++?
Andrey
Рекурсия, в конце концов
Andrey
Учебники английского, написанные на английском :)
Sergey
про С++ и английский эт чет перебор:)
Aion
Эт не в ту оперу
Aion
Но смысл в том, Что под задачу и решение
Lex
может, не все вольюмы в kubelet пробрасываешь? Хотя это догадка, я не знаю, как kubelet секреты в поды отдаёт.
Вопрос в том, где взять список всех вольюмов
Andrey
так в скрипте же
Lex
Не работает :)
Andrey
kubelet-wrapper
Andrey
ну я не знаю. у всех, кто кореос использует, работает, а у тебя нет :)
Lex
Так у меня не coreos
Dmitrii
Ребята, я тут смотрю описание сервиса dashboard, и вижу, что там .spec.clusterIP не совпадает с ip мастера. Что вообще такое этот ClusterIP?
Anonymous
это IP внутри кластера
Dmitrii
Я это к чему спрашиваю — хотелось бы создать своё описание сервиса Dashboard, чтобы сразу указывать ему .spec.type=NodePort и .spec.ports[0].port=30443.
Но меня беспокоит то, что я дважды развернул через ansible-provision мастер-ноду кубера, и оба раза .spec.clusterIP у меня разный.
Anonymous
а IP мастера - это IP внутри твоей локальной сети
Dmitrii
А, неправильно задаю вопрос.
Anonymous
да, фланелью или что там у тебя
Митяй
Подскажите как поставить кастомный prometheus exporter в prometheus-operator. Поидее service discovery должно работать. Но че то доки пока мутные какие-то. Может уже кто-то ставил
Dmitrii
Если я в описании сервиса не укажу .spec.clusterIP, то он кубер подтянет его сам, значит.
Dmitrii
Спасибо, Валентин!
Anonymous
и тебе этот айпи не нужен, по идее, ты к сервису по имени обращаешься
Anonymous
...как и ко мне лол
Anonymous
я что-то не так делаю... после рестарта ноды гитлаб чист как в озере вода. Папка с репами в PV на ноде, папка с постгрес датой тоже в PV на ноде. втф?
Anonymous
и с эластиком похоже также
Denis
я что-то не так делаю... после рестарта ноды гитлаб чист как в озере вода. Папка с репами в PV на ноде, папка с постгрес датой тоже в PV на ноде. втф?
Он у тебя был как statefulset развернут?
Anonymous
нет, как реплика, но на одной ноде, там где и pv
Anonymous
понятно, что такие вещи надо как стэйтфул делать, но проблема точно в этом?
Anonymous
т.е. вроде как под с pv на одной машине ….Не хватает знаний на этот счёт )
Denis
а PV доступен на воркере
Denis
?
Anonymous
воркер - это кто?
Sergey
рабочая нода
Anonymous
да, иначеб не стартонул гитлаб
Anonymous
кроме repositories ничего в pv не надо хранить?
Anonymous
ну и БД само собой
Anonymous
вот что примечательно. Когда я после “вайпа” пытаюсь создать репозиторий с тем-же именем, то:
There is already a repository with that name on disk
Anonymous
а , понял, в чём дело. Постгрес криво настроил
Anonymous
всё, я нашёл, спс)
Anonymous
пипл, какой вариант сетапа кластера лучше использовать для прода?
Anonymous
пока игрался только с kubeadm
Алексей
Хз
Мой вариант selfhosted через bootkub на centos