Извиняюсь, а какой модуль? Года три четыре назад пробовал, был какой-то, но он блокирующий.

https://github.com/kvspb/nginx-auth-ldap

да, я его тоже пробовал, он блокируется при проблемах коннекта к ldap. Да и вообще при работе с ldap блкируется.

Можно на lua написать обвязку и прокидывать нужные токены (openresty)

auth_request + https://github.com/nginxinc/nginx-ldap-auth

всё уже написано без всяких lua

да, я его тоже пробовал, он блокируется при проблемах коннекта к ldap. Да и вообще при работе с ldap блкируется.

deploy/kubernetes-dashboard-frontend 1 1 1 1 62d за это время проблем не наблюдали

Я поставил nginx + ldap перед дашбордом и выставил наружу nginx, а сам дашборд закрыл. Хреново то, что все, кто залогинился, выполняют действия под одним SA, но хоть как-то. Да и доступ имеет ограниченный круг лиц.

А можно поподробнее?

А можно как-то сделать, что-бы kubelet не валился постоянно с ``failed to run Kubelet: cannot create certificate signing request:` а ждал пока появится api сервер?

а то Я тут пытаюсь настроить api как статик под но он валится раньше :(

Кто нибуть монгу развертывал с помощью этого дела? https://github.com/kubernetes/charts/tree/master/stable/mongodb-replicaset

у меня монга при помощи форка этого чарта уже больше года в проде крутится

в целом работает норм, но куб dynamic volume provisioner не умеет xfs форматировать - в итоге монга сидит на ext4 который куб dynamic volume provisioner только и умеет, плюс пришлось навернуть huge pages и прочие sysctl твики которые хочет монга на всех нодах= это возможно ухудшает перформанс других приложений в этом кластере

поэтому под большие нагрузки я думаю лучше могну такие иметь где-то вне кластера на отдельных машинах оптимизированных под нее

А node pools такую проблему не позволяют решить?

Позволяют решить sysctl но не xfs (но можно вручную создавать вольюмы а не через плагин)

Но с node pools и созданием вольюмов (и форматировани вручную в xfs) уже теряются профиты кластера - шарить ресурсы с другими приложениями и автоматизация деплоймента с полпинка

Коллеги, помогите разобраться. Поставил кластер через kubespray с HA, используя haproxy с VIP адресом, за которым два api сервера. Использую сгенерированный kubeconfig, который кладется в папку artifacts. Извне кластера на любую команду kubectl выдает : Unable to connect to the server: Tunnel or SSL Forbidden В компании есть корпоративный proxy, все хосты кластера прописаны в no-proxy. Понять не могу что не так

Изнутри кластера, с api хоста все работает

привет, если кто запускает kubelet как докер контейнер, поделитесь пожалуйста своим systemd unit'ом для этого?

оркестратор для управления контейнерами в контейнере рили?)

эм, а почему нет?

а потом этим контенером будет управлять второй k8s?))

coreos так делает, только у них не в докеровском контейнере, а в rkt

https://github.com/coreos/coreos-kubernetes/blob/master/Documentation/kubelet-wrapper.md

Зачем? systemd им управляет

https://github.com/coreos/coreos-kubernetes/blob/master/Documentation/kubelet-wrapper.md

Пробовал подсунуть в systemd unit на основе этого -- в поды не монтируются секреты

может, не все вольюмы в kubelet пробрасываешь? Хотя это догадка, я не знаю, как kubelet секреты в поды отдаёт.

оркестратор для управления контейнерами в контейнере рили?)

это норм, устоявшаяся практика, которой пользуется не только k8s. Вас не смущает, что mysql данные для авторизации и аутентификации хранит в базе? Или что контрольная панель для VSphere работает в VM? Или что контроллеры AD, которые управляют доступом к Hyper-V, работают в виртуалках Hyper-V? Или что C++ написан на C++?

Рекурсия, в конце концов

Учебники английского, написанные на английском :)

про С++ и английский эт чет перебор:)

Эт не в ту оперу

Но смысл в том, Что под задачу и решение

может, не все вольюмы в kubelet пробрасываешь? Хотя это догадка, я не знаю, как kubelet секреты в поды отдаёт.

Вопрос в том, где взять список всех вольюмов

так в скрипте же

Не работает :)

kubelet-wrapper

ну я не знаю. у всех, кто кореос использует, работает, а у тебя нет :)

Так у меня не coreos

Ребята, я тут смотрю описание сервиса dashboard, и вижу, что там .spec.clusterIP не совпадает с ip мастера. Что вообще такое этот ClusterIP?

это IP внутри кластера

Я это к чему спрашиваю — хотелось бы создать своё описание сервиса Dashboard, чтобы сразу указывать ему .spec.type=NodePort и .spec.ports[0].port=30443. Но меня беспокоит то, что я дважды развернул через ansible-provision мастер-ноду кубера, и оба раза .spec.clusterIP у меня разный.

а IP мастера - это IP внутри твоей локальной сети

это IP внутри кластера

Он генерируется динамически, если отсутствует в описании сервиса?

А, неправильно задаю вопрос.

да, фланелью или что там у тебя

Подскажите как поставить кастомный prometheus exporter в prometheus-operator. Поидее service discovery должно работать. Но че то доки пока мутные какие-то. Может уже кто-то ставил

Если я в описании сервиса не укажу .spec.clusterIP, то он кубер подтянет его сам, значит.

Спасибо, Валентин!

и тебе этот айпи не нужен, по идее, ты к сервису по имени обращаешься

...как и ко мне лол

я что-то не так делаю... после рестарта ноды гитлаб чист как в озере вода. Папка с репами в PV на ноде, папка с постгрес датой тоже в PV на ноде. втф?

и с эластиком похоже также

я что-то не так делаю... после рестарта ноды гитлаб чист как в озере вода. Папка с репами в PV на ноде, папка с постгрес датой тоже в PV на ноде. втф?

Он у тебя был как statefulset развернут?

нет, как реплика, но на одной ноде, там где и pv

понятно, что такие вещи надо как стэйтфул делать, но проблема точно в этом?

т.е. вроде как под с pv на одной машине ….Не хватает знаний на этот счёт )

а PV доступен на воркере

?

воркер - это кто?

рабочая нода

да, иначеб не стартонул гитлаб

кроме repositories ничего в pv не надо хранить?

ну и БД само собой

вот что примечательно. Когда я после “вайпа” пытаюсь создать репозиторий с тем-же именем, то: There is already a repository with that name on disk

а , понял, в чём дело. Постгрес криво настроил

да, иначеб не стартонул гитлаб

Нужно смотреть манифест гитлаба

всё, я нашёл, спс)

пипл, какой вариант сетапа кластера лучше использовать для прода?

пока игрался только с kubeadm

Хз Мой вариант selfhosted через bootkub на centos

пипл, какой вариант сетапа кластера лучше использовать для прода?

Попробуй kubespray. Он поддерживает создание кластера

пипл, какой вариант сетапа кластера лучше использовать для прода?

железо? kubespray наверно пока лучший

пипл, какой вариант сетапа кластера лучше использовать для прода?

начните с платформы – средства сильно различаются

О kubespray

в железе – кукбук Злых Марсиан

Продублирую один раз, может есть кто столкнулся?

Коллеги, помогите разобраться. Поставил кластер через kubespray с HA, используя haproxy с VIP адресом, за которым два api сервера. Использую сгенерированный kubeconfig, который кладется в папку artifacts. Извне кластера на любую команду kubectl выдает : Unable to connect to the server: Tunnel or SSL Forbidden В компании есть корпоративный proxy, все хосты кластера прописаны в no-proxy. Понять не могу что не так

Отстойны кукбук имхо)

А какую посоветуете сеть юзать? Мне вот cillium понравился. Но все равно не могу понять что надо брать)

А какую посоветуете сеть юзать? Мне вот cillium понравился. Но все равно не могу понять что надо брать)

вы когда вопросы задаете, все же уточняйте где хостится кубик, или это bm в общем случае советуют calico

вы когда вопросы задаете, все же уточняйте где хостится кубик, или это bm в общем случае советуют calico

А я не думал, что это имеет значение. Где не читал, все эти сети не специфичные для облаков или bare metal. Но в данном случае bare metal

А я не думал, что это имеет значение. Где не читал, все эти сети не специфичные для облаков или bare metal. Но в данном случае bare metal

вот простой случай, я рассматривал вариант домашнего k8s, где есть openwrt + zebra + metalb + k8s в этом случае мне calico не подошла т.к metalb имеет некоторые ограничения в этом

А кто-то может рассказать по вот такую штуку? https://github.com/kubernetes-helm/chartmuseum Предполагается 2 кейса использования: - развернуть приватный helm registry - развернуть локальный helm registry в minikube для разработчиков

Опыт использования, может проблемы какие-то.

Опыт использования, может проблемы какие-то.

не, разве что в гитлаб скидывал чарты:)

Это как? ))

Хотя там у гитлаба как круто все сделано вокруг CI/CD)

господа, а сколько у вас подов приходится на один экземпляр kube-dns?

а то у меня на 94:2 dnsmasq жалуется на max concurrent requests limit reached, а он 150

увеличил до 4, но хотелось бы знать о похожих кейсах и вообще о граблях kubedns. а то как-то нехорошо, когда деплоишься, а у тебя хосты не резолвятся.

а то у меня на 94:2 dnsmasq жалуется на max concurrent requests limit reached, а он 150

Посмотри, у него внутри скорее всего прописан в качестве nameserver localhost. И он на несуществующие адреса сам себя рекурсивно долбит

Посмотри, у него внутри скорее всего прописан в качестве nameserver localhost. И он на несуществующие адреса сам себя рекурсивно долбит

мысль, спасибо

Посмотри, у него внутри скорее всего прописан в качестве nameserver localhost. И он на несуществующие адреса сам себя рекурсивно долбит

ничего такого не вижу

Ребята, можно ли ограничить запуск реплик только на одной ноде. Например чтобы stateful одна реплика запускаль только на одной ноде?

она так вроде и будет запускаться

Например есть две ноды, запущенно две реплики. Одна нода падает и на оставшейся ноде реплика не поднимается