от стабильности

От чего?)

От естественной смерти

Хочется пару кластеров без даунтайма перевести на калико :) зачем? Надо :)

Blue-green. Поднять рядом новый кластер с калико и приложениями, переключить трафик

Кто-нибудь сталкивался с тем, что при применении NetworkPolicy в kubernetes с ipvs и calico ломается коннект к сервисам (к подам по их IP трафик идет как надо)? Воспроизводится на calico 2.6.8 и 3.2.3, kubernetes 1.11.2

Добрый день. Разбираюсь с kubernetes. Как интегрировать kubernetes с локальным gitlab?

Добрый день. Разбираюсь с kubernetes. Как интегрировать kubernetes с локальным gitlab?

Нажимаешь в гитлабе на Integration => kubernetes и заполняешь поля:)

Нажимаешь в гитлабе на Integration => kubernetes и заполняешь поля:)

Где взять CA Certificate и token

Где взять CA Certificate и token

Я думаю перед тем как в это погружатся, вам необходимо ознакомится с азами kubernetes и почитать про него информации больше.

Где взять CA Certificate и token

Вот можно тут почитать https://edenmal.moe/post/2017/GitLab-Kubernetes-Perfect-Match-for-Continuous-Delivery-with-Container/

Gitlub

Я думаю перед тем как в это погружатся, вам необходимо ознакомится с азами kubernetes и почитать про него информации больше.

Спасибо почитаю

Я думаю перед тем как в это погружатся, вам необходимо ознакомится с азами kubernetes и почитать про него информации больше.

В принципе у меня получилось, только теперь helm tiller не ставится) Теперь с ним буду разбираться.

Есть ли смысл поднимать ceph fs с kubernetes на vds ках для теста?

А цель какая?

Организация сетевого провайдера дисков в кубернетис дело неочень увлекательное :(

В AWS хоть есть провайдеры ebs...

А для тестов есть хост паз провайдер в песочнице на гитхабе можно почитать :)

Он даже pvc и pv поддерживает ;)

Для тестов и NFS provisioner подойдёт.

Привет! Кто prometheus в kubernetes с наружи ходит? Вот таким образом пытаюсь ходить в k8s: scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 scheme: https tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https Но получаю ошибку: x509: certificate signed by unknown authority(

Попробуй корректный CA указать.

Попробуй корректный CA указать.

100 % корректный указываю

100 % корректный указываю

Кароч на сертификат прометеус может в двух местах ругаться - во время процесса дискавери, и в момент похода на задискаверенные эндпоинты за метриками.

Велкам!)

Велкам!)

Привет, и в этом чате)

Ребзя, привет! Подскажите, можно ли при rolling update в deployments указать pre_stop хук?

Кароч на сертификат прометеус может в двух местах ругаться - во время процесса дискавери, и в момент похода на задискаверенные эндпоинты за метриками.

Failed to list *v1.Pod Failed to list *v1.Endpoints Failed to list *v1.Service

Кароч на сертификат прометеус может в двух местах ругаться - во время процесса дискавери, и в момент похода на задискаверенные эндпоинты за метриками.

Куда копать или с чем это связанно?

spec: containers: - image: nginx:1.9.4 imagePullPolicy: IfNotPresent lifecycle: preStop: exec: command: - sleep 60 Запилил вот так, но когда запускаю апдейт например релиза nginx , контейнер перезагружается сразу же

Куда копать или с чем это связанно?

tls_config есть и в секции kubernetes_sd_configs, там попробуй указать свой ca_file. Судя по тому, что он не может ничего листить - проблема ещё и с RBAC, добавь туда же bearer_token аккаунта с правами на листинг нужных ресурсов.

С дивана решение выглядит так)

https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config

tls_config есть и в секции kubernetes_sd_configs, там попробуй указать свой ca_file. Судя по тому, что он не может ничего листить - проблема ещё и с RBAC, добавь туда же bearer_token аккаунта с правами на листинг нужных ресурсов.

Сейчас прометей работает в кластере под этим самым сервисным аккаунтом и проблем нет.

А, я думал, вопрос про поход снаружи.

А, я думал, вопрос про поход снаружи.

Я его переношу из кластера, наружу. Сейчас вот думаю как сделать. scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 scheme: https tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https Так не работает. x509: certificate signed by unknown authority выдает

Я его переношу из кластера, наружу. Сейчас вот думаю как сделать. scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 scheme: https tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https Так не работает. x509: certificate signed by unknown authority выдает

Вот тут подобная беда: https://stackoverflow.com/questions/50587087/prometheus-outside-kubernetes-cluster

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload, nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?

Я его переношу из кластера, наружу. Сейчас вот думаю как сделать. scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 scheme: https tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https Так не работает. x509: certificate signed by unknown authority выдает

Дык.

scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token scheme: https tls_config: ca_file: /etc/prometheus/ca.crt

См. секцию kubernetes_sd_configs

Мне кажется, проблема в этом.

scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token scheme: https tls_config: ca_file: /etc/prometheus/ca.crt

Помоему так пробовал тоже. Щас проверим. Я уже просто запутался.

у тебя даже таргеты не находятся из кубе-апи?

scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints api_server: https://10.10.54.88:6443 tls_config: ca_file: /etc/prometheus/ca.crt bearer_token_file: /etc/prometheus/token scheme: https tls_config: ca_file: /etc/prometheus/ca.crt

Да, я пробовал так, и после этого ошибка ушла. Но прометей так и не пошел собирать в кластер метрики. Все пусто в логах его

у тебя даже таргеты не находятся из кубе-апи?

Не совсем понял замечание. Вот всю базу по настройке брал от сюда. https://github.com/prometheus/prometheus/blob/master/documentation/examples/prometheus-kubernetes.yml

Да, я пробовал так, и после этого ошибка ушла. Но прометей так и не пошел собирать в кластер метрики. Все пусто в логах его

Он в Service Discovery должен показать эндпоинты. Если он их задискаверил, но не получил метрики - он напишет, что за ошибка.

В смысле, в веб-интерфейсе.

В смысле, в веб-интерфейсе.

В интерфейсе нет метрик. Все дефолтные. Как будто он ничего не делает.

В интерфейсе нет метрик. Все дефолтные. Как будто он ничего не делает.

Там есть отдельный пункт "Service Discovery", в меню в выпадающем списке.

Там есть отдельный пункт "Service Discovery", в меню в выпадающем списке.

Спасибо за совет. Да действительно они есть там.

Не совсем понял замечание. Вот всю базу по настройке брал от сюда. https://github.com/prometheus/prometheus/blob/master/documentation/examples/prometheus-kubernetes.yml

с прометеем вообще работал?

с прометеем вообще работал?

Неделю как осваиваю

Даже меньше

Ага, если ендпоинты задискаверились, то секция kubernetes_sd_configs правильная) Дальше надо смотреть, почему метрики не приезжают.

ну если в таргетах есть хоть что-то, значит кубе-апи работает

если оно всё красное - с этим уже надо разбираться отдельно

Ага, если ендпоинты задискаверились, то секция kubernetes_sd_configs правильная) Дальше надо смотреть, почему метрики не приезжают.

А как можно продебажить это? Я правильно понимаю что прометей ломится в kube-api, потом чекает все сервисы, эндпойнты, и поды. Когда находит экспортеры, то забирает с них метрики?

зависит от настроек, может что-то собирать, а что-то скипать

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload, nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?

а ингресс нодпортом торчит к балансеру?

В твоём конфиге есть - role: endpoints, значит, он будет собирать только эндпоинты.

а ингресс нодпортом торчит к балансеру?

Да, каждой нодой просто

И технически балансер очень близко расположен к кластеру, там TTL<1ms

Да, каждой нодой просто

я бы начал с того что заэкспоузил сервис нод портом и потестил, после этого когда стало юы точно понятно что это нджинкс пошел бы читать статьи

Норм идея, пасиб

В твоём конфиге есть - role: endpoints, значит, он будет собирать только эндпоинты.

endpoint - это такая сущность кубернетеса. Обычно их регистрирует сервис, когда выбирает необходимые ему поды (или как-то так).

Норм идея, пасиб

после этого я бы начал с этого https://danielfm.me/posts/painless-nginx-ingress.html

Угу, тоже вот нашел это. Попробую сейчас сервис выставить нодпортом

какая допустимая задержка для федерализации не больше 50мс?

гайс, а кому-то прилетал инвайт на k8s от digitalocean ?

летом прилетал

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload, nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?

нжинкс-ингресс в дефолтной конфигруации тысячи запросов не напрягаясь пережовывает. Я бы начал с того, что снимал бы метрики с кластера и ингресс контролера (особенно удобно это делать с последними версиями nginx-ingress где даже графана дашборда из коробки вполне вменяемая, там используется lua вместо vts для метрик). Далее можно делать лоадтест как самого нжинкса (какой-нибудь статус ендпоинт дергать) так и лоадтест “эхо” сервиса, после этого лоадтесты уже рабочего сервиса. Ну и для лоад тестов брать нормальные приблуды, например, wrk,tank,vegeta.

Может сегодня повезет, ребзя подскажите, как при rolling update в deployments сделать так чтобы перед обновлением пода он дождался когда все службы внутри пода заерщаться?

Всем привет! Опять вопрос по куберу и aws. У aws есть свой сторадж, который умеет работать с кубером - EBS. Но у него есть одна проблема - он только ReadWriteOnce - к нескольким подам на разных нодах его подключить не получится. Получается единственный способ в aws сделать shared сторадж между нодами - это городить cepf или юзать nfs?

EFS ещё амазоновский можно

Кто-то вроде тоже собирался, дошёл?

оо забыл

а стрим уже начался

Доброго вечера, коллеги. Есть инсталляция k8s, 8 нод под workload, nginx ingress, сервис за ним. Перед k8s внешний балансер. Идем в сервис за данными - тот отдает их за 2мс вне зависимости от количества реквестов (по сути, если идешь с однотипным запросом, он один раз берет данные из базы, а остальное время отдает из кэша). Идем в k8s - держит 550 rps, дальше начинает терять пакеты, чем дальше, тем больше. На балансере нагрузка около 40% по CPU при этом (разворачиваем https), на сервисе нагрузка минимальна, на ингрессе, судя по всему, теряем запросы, но нагрузка на нем тоже невысокая. Стандартная инсталляция прометеуса несильно помогает понять, в чем дело. Есть предположения, куда и как копать, если есть желание получить на сервисе, скажем, 10k rps?

Вы сначала разберитесь где пакеты теряются - в ингрессе или в оверлей сети

а стрим уже начался

По идее да, keynote уже идёт

Может сегодня повезет, ребзя подскажите, как при rolling update в deployments сделать так чтобы перед обновлением пода он дождался когда все службы внутри пода заерщаться?

поставь таймаут большой для выключения поды что-то типа 3600. он его выведет из лоад балансинга но будет ждать пока он сам выйдет.

поставь таймаут большой для выключения поды что-то типа 3600. он его выведет из лоад балансинга но будет ждать пока он сам выйдет.

я так и подумал, но стримы бывают долгоиграющие и по 2-3 часа

тут сложность еще в том что я не управляю балансигом им занимается другой процесс nodejs

есть CC - command center у ноды, которые рулит трафом

Может сегодня повезет, ребзя подскажите, как при rolling update в deployments сделать так чтобы перед обновлением пода он дождался когда все службы внутри пода заерщаться?

K8s ничего не знает про службы внутри контейнера

я имею ввиду балансинг на уровне service

А Service занимается балансировкой?

А как можно продебажить это? Я правильно понимаю что прометей ломится в kube-api, потом чекает все сервисы, эндпойнты, и поды. Когда находит экспортеры, то забирает с них метрики?

Пром из API получает внутренние IP и аннотации куда стучаться за метриками (если нестандартные порты и URL), а потом пытается в них сходить. Отсюда метод проверки - с хоста прома ты можешь получить метрики с подов (в первую очередь маршрутизация внутренних ip)