Dmitry
а kube-state-metrics это не то ?
это всякие метрики из api куба, например лимиты и реквесты для CPU
Dmitry
думаю проблем не будет завязать экспортеры с прометеусом вне кластера и графаной
Не факт что это будет удобно. Выше уже писали про аннотации, есть еще ServiceMonitor'ы. Удобно всякие таргеты добавлять жеж. Можно же наружу вынести второй прометеус, который будет скрейпить метрики из прометеуса в кубе
Валентин
Или снаружи поставить VictoriaMetrics, чтоб бекапился туда пром и архив метрик был ;)
Dmitry
А как в оператор добавляете конфиги, изменяете его? Например, алертманагер держит конфиг в секрете и редактировать его не вполне удобно
Напрямую в секрете и меняю https://github.com/coreos/prometheus-operator/blob/master/Documentation/design.md#alertmanager The Alertmanager pods are configured to include a Secret called <alertmanager-name> which holds the used configuration file in the key alertmanager.yaml
Victor
Виктория крутая штука. В кубовом проме храним метрики за день, а нужные метрики в викторию складируем. Там что-то вроде LSM-деревьев в качестве хранилки - хорошо сжимает
Dmitry
не не мне все не надо у нас графана и прометеус дб отдельно вне кластера есть )
prometheus-adapter - штука которая зарегает metrics api. И будет отадвать метрики из prometheus при обращениях к нему, например через kubectl top pod или kubectl top node. Также его использует HPA (horizontal pod autoscaler) и возможно что-то еще. kube-state-metrics - эта штука собирает данные из апи куба про разные объекты и отдает их в виде метрик для прома. Например очень нужные kube_pod_container_resource_requests, kube_pod_container_resource_limits и тому подобное. prometheus-operator - оператор который позволяет создавать прометеусы и алертменеджеры в кластере. А также автоматически конфигурять их, например добавляя новые таргеты когда в кластере появились поды с нужными аннотациями. Или добавлять их из объектов serviceMonitor, который ты сам создаешь Примерная картина такая
Dmitry
Helm chart официальный берем и через ci катим
Отдельно катите или в процессе сетапа всего кластера? Под каждый оператор отдельный пайп и отедльная репа?
Victor
Отдельно катите или в процессе сетапа всего кластера? Под каждый оператор отдельный пайп и отедльная репа?
Ну у нас всего два кластера. И операторы в одной репе живут в разных ветках (увы пока так)
Victor
Отдельно катим
Dmitry
Ну у нас всего два кластера. И операторы в одной репе живут в разных ветках (увы пока так)
Да у меня у самого все плохо. Думаю как организовать CI для внутренних приложений, дополнений и всяких настроек кластера. И где держать этот CI и репу которая его накатывает. Или может накатывать куб, потом в него CI, а потом через этот CI ставить все вот это добро в кластер
G72K
Кто сидит в облаках и у кого приложения - деплой, сервис да конфигмап. Почему не ECS?
someone
всем привет. пытаюсь прикрутить персистент сторадж в azure к prometheus-operator. на гитхабе 2 в issues нашел 2 способа. 1)если создаю только pv, то ошибка: Warning FailedAttachVolume 13s (x8 over 79s) attachdetach-controller AttachVolume.Attach failed for volume "pvc-promo-prometheus-0" : Attach volume "pvc-promo-prometheus-0" to instance "aks-nodepool1-30168803-2" failed with compute.VirtualMachinesClient#CreateOrUpdate: Failure sending request: StatusCode=0 -- Original Error: Code="NotFound" Message="Disk pvc-promo-prometheus-0 is not found." Target="/subscriptions/b8961032-1f28-4c25-9535-2d0d1e98bd5c/resourceGroups/MC_KubernetesTest_AKSClusterTest_westeurope/providers/Microsoft.Compute/disks/pvc-promo-prometheus-0" 2)Если создаю еще и pvc, то ошибка: Warning FailedAttachVolume 51s (x10 over 5m3s) attachdetach-controller AttachVolume.Attach failed for volume "pvc-promo-prometheus-0" : Attach volume "pvc-promo-prometheus-0" to instance "aks-nodepool1-30168803-0" failed with compute.VirtualMachinesClient#CreateOrUpdate: Failure sending request: StatusCode=0 -- Original Error: Code="NotFound" Message="Disk pvc-promo-prometheus-0 is not found." Target="/subscriptions/b8961032-1f28-4c25-9535-2d0d1e98bd5c/resourceGroups/MC_KubernetesTest_AKSClusterTest_westeurope/providers/Microsoft.Compute/disks/pvc-promo-prometheus-0" Warning FailedMount 44s (x2 over 3m1s) kubelet, aks-nodepool1-30168803-0 Unable to mount volumes for pod "prometheus-promo-prometheus-operator-prometheus-0_monitoring(6bf3fc49-4f04-11ea-a384-02d11face079)": timeout expired waiting for volumes to attach or mount for pod "monitoring"/"prometheus-promo-prometheus-operator-prometheus-0". list of unmounted volumes=[prometheus-promo-prometheus-operator-prometheus-db]. list of unattached volumes=[prometheus-promo-prometheus-operator-prometheus-db config tls-assets config-out prometheus-promo-prometheus-operator-prometheus-rulefiles-0 promo-prometheus-operator-prometheus-token-dlqzc] Как правильно примонтировать все таки этот сторэдж?
G72K
EKS же, я жумад ECS почти RIP
Нафиг куб, если есть ECS ?
Dmitry
Нафиг куб, если есть ECS ?
а, не понял изначальную мысль просто
cent
Коллеги, подскажите, кто-то сталкивался с тем что istio ingressgateway постоянно возвращает 404 ? Как это можно раздебажить? В логах все норм вроде. istioctl x analyze -k --log_output_level analysis:debug,source:debug,processing:debug - тоже показывает что все гут
Vadim
народ а как url прописать , чтобы всегда было обращение к даемонсету на этой же ноде где сам сервис обращающийся к нему
Vadim
там topology aware, но мне кажется это другое
Vadim
хотя видимо оно да
Влад 🇺🇦
можешь маунтить в emtydir, а лог коллектор сбоку сайдкаром
подскажите плиз, примаунтил emptydir, и пишу туда логи, вот только потерял все метаданные которые раньше добавлял параметром add_kubernetes_metadata, как исправить?
Влад 🇺🇦
в таком виде тогда нет смысла писать логи в emptydir.. лучше уж в stdout но с добавлением метаданных
Victor
https://github.com/kubernetes/kubernetes/issues/88154 Пожалуйста проголосуйте
Vadim
https://github.com/kubernetes/kubernetes/issues/88154 Пожалуйста проголосуйте
https://github.com/kubernetes/dns/blob/master/Dockerfile.node-cache ?
Victor
https://github.com/kubernetes/dns/blob/master/Dockerfile.node-cache ?
Я видел и не понял что это такое. Где там билд coredns?
Vadim
Я видел и не понял что это такое. Где там билд coredns?
https://github.com/kubernetes/dns/blob/master/Makefile#L30-L34
Victor
Понятней не стало. Похоже магия происходит в https://github.com/kubernetes/dns/blob/master/rules.mk
Vadim
Понятней не стало. Похоже магия происходит в https://github.com/kubernetes/dns/blob/master/rules.mk
вот тут https://github.com/kubernetes/dns/blob/master/cmd/node-cache/main.go#L14, вшивается в бинарь вместо отдельного
Nosferatu
Коллеги, подскажите. Столкнулся с такой проблемой - Развернул монгу в кубере ( Stateful Set) и примонтировал шару с сервера nfs. При запуске пода, на шаре создаются директории, но файлов я не вижу на шаре. PV и PVC в статусе RWO.
Dmitriy
можно как-то в helm хелперах получать глобальный скоуп, не пробрасывая его явно?
Dmitriy
вот чтобы тут без точки {{ include “app.helper” . }}
Dmitriy
объясню зачем надо. когда хочу сделать параметризрванный хелпер, который внутри кроме внешних параметров требует еще и глобальный скоуп, начинаются костыли {{ include “app.helper” (mergeOverwrite . (dict “param” “value”)) }}
Andrei
Для этого есть startupProbe
startupProbe: httpGet: path: /ready port: 4000 failureThreshold: 30 periodSeconds: 10 правильная трактовка? Проверить приложение по адресу /ready порт 4000 (http) на ответ 200. Проверять только при старте контейнера , считать контейнер не готовый если проверка 30 раз зафейлилась, проверять каждые 10 секунд при старте контейнера.
Alex Sharov
а подскажите плиз, как там живется вместе с Istio + Ingress? Или так не делают?
Victor
а подскажите плиз, как там живется вместе с Istio + Ingress? Или так не делают?
Вот как раз статья https://medium.com/ww-engineering/istio-part-ii-e219a2e771bb
Alex Sharov
thx!
Boriss
салют...кто-нибудь на спрее решал это как-то? - https://github.com/kubernetes-sigs/kubespray/issues/5139 (тоже aws)
Anton
всем привет. кто скажет, что не так?
Anton
devops@anton:~/project1_test$ kubectl apply -f mongo-deployment.yaml service/mongodb unchanged The Deployment "mongo-app" is invalid: spec.template.spec.containers: Required value
Dmitry
Или надо поиграться с идентацией =)
Dmitry
Vadim
А есть же готовый mongo helm chart, или нужна какая-то специфика ?
Dmytro
Привет. Мне нужно, чтобы разные объекты K8S (deployment, service, etc.) удалялись через какое-то время. Кроме кастомных решений, может, есть что-то? Было бы круто иметь --expire=5days та и все.
Anton
А есть же готовый mongo helm chart, или нужна какая-то специфика ?
да я пока только разбираюсь с кубером. У меня задача написать yaml манифест для деплоя mongodb для начала.
Dmitry
да я пока только разбираюсь с кубером. У меня задача написать yaml манифест для деплоя mongodb для начала.
https://kubernetes.io/docs/tutorials/stateful-application/cassandra/ - вот пример, только не с монго
Alex
Что может быть, все сервисы control plane connect: connection refused ?
Alex
А после рестарта сервера контейнеры вообще не запускаются
Oleh
А после рестарта сервера контейнеры вообще не запускаются
упал контейнер рантайм, по крайней мере копать нужно начинать с этой стороны
Валентин
А после рестарта сервера контейнеры вообще не запускаются
Потому и не запускаются, что kubelet не цепляется к апи. А если не поднимается контейнер с апи - смотри логи докера или что там у тебя их запускает
Alex
Похоже серты протухли
Tadeusz
Alex
Обновил серты, все контейнеры запустились, но статус нод NotReady.
inqfen
Почитай почему
Alex
Ощущение что накосячил в файле kubelet.conf
Pavel
Ощущение что накосячил в файле kubelet.conf
почему? какая версия вообще?
Max
а че кубелет в логах пишет
Alex
Unable to register node "server1" with API server: nodes "server1" is forbidden: node "server1@cluster.local" cannot modify no
Max
а ты все серты обновил?
Alex
Ilya
Поделитесь кто что юзает для CI+CD в kube? Сейчас на обычные сервера используем jenkins+ansible. После изучения вариантов, понравилась связка jenkins+argocd. Вопрос насколько это норм? Или проще также jenkins+ansible деплоить в kube? :)
Temur
gitlab ci + bash
Baron
у меня очень больной вопрос, как теперь поменять у dashboard его серты? раньше оно пускало с secret: opaque, а теперь нет. кто-нибудь знает что делать? доки все врут
Baron
Baron
хоть кто-нибудь пробовал менять дашборду сертификаты?)
Артём
хоть кто-нибудь пробовал менять дашборду сертификаты?)
Я боюсь спросить на кой черт вам это поделие )
Baron
нужна(
Артём
Она ж реально убогая
Baron
Я менял
как? я два часа сейчас убил на это)