George
Я вижу три кейса для конфигмапов 1. Легаси. Жрет файлы. Мы не хотим курочить энтрипойнт. 2. Шарить конфиг между несколькими сервисами 3. Секреты
Vadim
а как это через env ?)
George
Первый кейс иногда решается доработкой исходного докер образа, путем написания своего docker-entrypoint.sh, который заберёт нужные env и подставит в файлы конфигов
Vadim
почему не надо в конфигмапы?)
George
а как это через env ?)
В деплойменте описываешь, короче
George
почему не надо в конфигмапы?)
Потому что конфиг мап пересоздал - приложенька про это не знает
George
Это приводит к необходимости таскать костыли типа configmap-reloader
Vadim
В деплойменте описываешь, короче
блин круто, я так и делал, а другие товарищи сделали что 2 конфиг мапы и 2 секрета к каждому деплойменту
Vadim
ансиблом
Vadim
поэтому я подумал что это самый православный способ все параметры в конфигмапу и секреты пихать
Vadim
про то что под не перезапускается?) ну может в курсе
George
George
Вот что приходится изобретать
Denis
Сразу видно не пользователь prometheus-operator)
George
Не надо ля-ля
Stefan
Denis
Я им пользуюсь
На скрине с ранчер-кластера он?)
Vadim
https://github.com/bitnami/charts/blob/master/bitnami/kafka/templates/statefulset.yaml
Vadim
если в чартах посмотреть действительно все в сущностях управляющих подами а не в конфигмапах
Vadim
нафиг конфигмапы
Denis
Я им пользуюсь
Я к тому что у меня подобная инсталяция)
Vadim
и ранчер
George
нафиг конфигмапы
Иногда они нужны.
George
В смысле прометеус оператор отдельно. И он в процессе внедрения
Vadim
Иногда они нужны.
а что в них пихать? смотрю чарты , вот в чарте эластика там только если ты свой конфиг подсовываешь ему он через конфигмапуподключается
Vadim
https://github.com/bitnami/charts/blob/master/bitnami/elasticsearch/templates/configmap-curator.yaml
Denis
а что в них пихать? смотрю чарты , вот в чарте эластика там только если ты свой конфиг подсовываешь ему он через конфигмапуподключается
У меня к примеру есть есть сервис, который выступает в роли api-gateway, и там в формате yaml описаны ендпоинты.
Vadim
У меня к примеру есть есть сервис, который выступает в роли api-gateway, и там в формате yaml описаны ендпоинты.
у меня тоже есть gateway на базе spring cloud и ему щас rulelist файликом ложат, в волюм, кривизна такая видимо, надо в конфигмап его значит
Denis
у меня тоже есть gateway на базе spring cloud и ему щас rulelist файликом ложат, в волюм, кривизна такая видимо, надо в конфигмап его значит
Ну мое мнение личное, что для этого кейса configmap. У меня к примеру там около 70 маршрутов. Прикинь какая жопаболь будет у твоего разраба и у тебя, чтобы запихать все это в энвы)))
Denis
В смысле прометеус оператор отдельно. И он в процессе внедрения
Не как не могу понять чем он лучше стандартной исталяции прома в k8s
George
Вообще такое должно рулиться ключ доступа - в env, сами конфиги - в консул
George
Ок. Если жить только в парадигме кубера - ну, сделай, как в кафке. Парсишь енвы и делаешь из них массив. Делов.
George
Не как не могу понять чем он лучше стандартной исталяции прома в k8s
Более гибкий. Реально настройка декларативная, а не абы что
Игорь
Я вижу три кейса для конфигмапов 1. Легаси. Жрет файлы. Мы не хотим курочить энтрипойнт. 2. Шарить конфиг между несколькими сервисами 3. Секреты
Я тут недавно подумал, что файлы можно запихнуть в аннотации пода и примонтировать через downwardAPI. Правда, если реплик много, etcd может поплохеть :)
Denis
Более гибкий. Реально настройка декларативная, а не абы что
Один из его профитов только заметил service monitor
George
Один из его профитов только заметил service monitor
Смотри вещь какая. Прометеус оператор позволяет реально писать конфиги мониторинга и пушить их вместе с деплойментом. А не делать отдельно деплоймента и отдельно конфигурацию прома полотенцем на все твои сервисы. Круто же !
Mikhail [azalio]
Не как не могу понять чем он лучше стандартной исталяции прома в k8s
Возможностью создавать правила Прометея и алерты через манифесты кубера, а не правкой конфига прома. Это удобно, каждый разраб может положить себе в проект нужные правила для прома и алертинга, не внося изменений в основной конфиг.
Denis
Отчасти согласен, что этот иснтрумент автоматизирует эти процессы,так сказать из каробки. Я сейчас пишу для каждого сервиса ( job) kubernetes_sd_config и создаю правила в alertmanager. Но это наверное из-за того что хочу собственно ручно познать как это все работает и научится управлять этим делом)
George
Оператор - это абстракция, поэтому круто знать, что у него под капотом, чтобы его починить, когда он сломается
Denis
Зачем на каждую джобу писать алерт если можно унифицировать шаблон для алерта?
да это и так есть, я просто в глобально выразился, так скатъ
Oleh
ребята а кто вкурсе что в послденей версии kubesprey c генерацией сертификатов для ETCD накатываю на три ноды etcd /etc/ssl/etcd/openssl.conf [alt_names] DNS.1 = localhost DNS.2 = node1 DNS.3 = node2 DNS.4 = node3 DNS.5 = lb-apiserver.kubernetes.local DNS.6 = etcd.kube-system.svc.cluster.local DNS.7 = etcd.kube-system.svc DNS.8 = etcd.kube-system DNS.9 = etcd IP.1 = 192.168.101.183 IP.2 = 192.168.101.183 IP.3 = 192.168.101.182 IP.4 = 192.168.101.182 IP.5 = 192.168.101.181 IP.6 = 192.168.101.181 IP.7 = 127.0.0.1 /etc/hosts 192.168.101.183 node1.cluster.local node1 192.168.101.182 node2.cluster.local node2 192.168.101.181 node3.cluster.local node3 inventory hosts: node1: ansible_port: 22 ansible_host: 192.168.101.183 ip: 192.168.101.183 access_ip: 192.168.101.183 node2: ansible_port: 22 ansible_host: 192.168.101.182 ip: 192.168.101.182 access_ip: 192.168.101.182 node3: ansible_port: 22 ansible_host: 192.168.101.181 ip: 192.168.101.181 access_ip: 192.168.101.181 children: kube-master: hosts: node1: node2: kube-node: hosts: node1: node2: node3: etcd: hosts: node1: node2: node3: k8s-cluster: children: kube-master: kube-node: calico-rr: hosts: {} по их доке у них заложены 3 тега etcd Configuring etcd cluster etcd-pre-upgrade Upgrading etcd cluster etcd-secrets Configuring etcd certs/keys перепробовал уже все получаю ошибку embed: rejected connection from "192.168.101.181:36768" (error "open /etc/ssl/etcd/ssl/node-node1.pem: no such file or directory", ServerName "")
обновите аписервер до 1.16.3 дело не в сетрах
Сергей
Есть два пода. Раскатаны через дин DaemonSet. поды прописаны в ingress и работают. Дополнительно создан сервис, через который можно получить доступ к сервису (http) Не могу реализовать бесшовный деплой в текущей конфигурации. В момент, когда один из подов уже обновился и поднялся ( сработала readinessProbe) начинается деплой второго пода. и именно в момент переключения траффика с первого пода на второй - я вижу несколько 502х. Если во второй консоли запустить тот же тест на сервис - то этих ошибок нет. т е проблема в том что ingress не успевает обновить ip адреса подов. что делать с этим? Я не смог найти в документации что-то типо время обновления конфигурации или что-то подобного. Испольщую ingress-nginx Я так понял проблема в том что у меня всего два пода. с тремя подами такой ситуации не было бы.
George
Есть два пода. Раскатаны через дин DaemonSet. поды прописаны в ingress и работают. Дополнительно создан сервис, через который можно получить доступ к сервису (http) Не могу реализовать бесшовный деплой в текущей конфигурации. В момент, когда один из подов уже обновился и поднялся ( сработала readinessProbe) начинается деплой второго пода. и именно в момент переключения траффика с первого пода на второй - я вижу несколько 502х. Если во второй консоли запустить тот же тест на сервис - то этих ошибок нет. т е проблема в том что ingress не успевает обновить ip адреса подов. что делать с этим? Я не смог найти в документации что-то типо время обновления конфигурации или что-то подобного. Испольщую ingress-nginx Я так понял проблема в том что у меня всего два пода. с тремя подами такой ситуации не было бы.
Ингресс через что работает ? Напрямую трафик в поды льет ? Или через сервис ?
Сергей
Ингресс через что работает ? Напрямую трафик в поды льет ? Или через сервис ?
я могу напрямую в сервисы лить. вопрос только как это сделать
Oleh
у вас после получения сигнала на терминейт приложение сразу перестает обрабатывать запросы?
Oleh
я в своих призожения делаю 3-5 сек задержку после терминейта и перед шатдауном сервера
Сергей
у вас после получения сигнала на терминейт приложение сразу перестает обрабатывать запросы?
да. сразу. Решил проблему через hook preStop ( запускаю sleep в нем, после окончания Graceful shutdown pod умирает через kill и ошибок пока нет. но это не точно. я еще тесты погоняю)
Сергей
Graceful shutdown вроде называется, верно?
это ожидание на время завершения. просто таймаут. если приложение помирает сразу после TERM - это не поможет
Oleh
40 много, у меня 10 максимум, но все зависит от размера и скорости кластера
Oleh
также все ще зависит от типа ваших запросов
Oleg
Привет всем. вопрос по external dns. я когда задаю в service annotations: external-dns.alpha.kubernetes.io/hostname: example.org у меня в днс заруливаются все айпишники, включая мастеров. никто не сталкивался? через ингресс все гуд
⌬ Дмитрий ⌬
Токен в куках? Бекенд и фронтенд на одном и том же домене когда в кубе?
В одном домене, токен скорее не в куках а в параметрах response
G72K
В одном домене, токен скорее не в куках а в параметрах response
Похоже на oauth с implicit flow. Токен передается в редиректе так?
⌬ Дмитрий ⌬
Похоже на oauth с implicit flow. Токен передается в редиректе так?
да, суть такая что когда сервис локально у разраба развернут - то все отлично работает, когда в кубере - то нет. Вот и ломаю голову, может ли nginx ingress это как то ломать? или не должен
G72K
да, суть такая что когда сервис локально у разраба развернут - то все отлично работает, когда в кубере - то нет. Вот и ломаю голову, может ли nginx ingress это как то ломать? или не должен
Т.е. вы видите id_token в query string, а бекенд его не видит? Так быть не должно , разве что вы с ингрес снипетами перемудрили. Проверьте вообще что запрос доходит до нужного пода
⌬ Дмитрий ⌬
Если oauth, то identity сервер ожидает callback url из белого списка, указанного у него в конфигах
это настроено, и работает. Сама авторизация с фронта проходит, проблема начинается в парсинге jwt-token в котором есть параметры для бека.
Dmitry
Заголовка authorization: Bearer <jwt> не ма на беке?
Dmitry
Или где бек ожидает id_token увидеть? Че-то я уже плохо соображаю, обычно access token, а не id token так гоняют 😅
⌬ Дмитрий ⌬
Заголовка authorization: Bearer <jwt> не ма на беке?
поставил логирование в консоль response - там такого заголовка нет
Dmitry
Ну тут в общем надо смотреть, откуда бек его хочет взять. Если implicit flow, то по идее фронт получает токен и каким-то образом использует его для авторизации. Может у вас вместо authorization какой-нибудь x- заголовок используется или как у гитлаба private-token например, а может вообще полем в форме шлется, вариантов множество на самом деле, нужно больше информации 🤔 Хотя если бек, может и authorization code flow быть. А может там вообще не oauth 😅
Dmitry
Ну если одно и то же работает вне куба и не работает в кубе, то скорее всего с беком проблем нет, просто проблему локализовать и исходя из этого решать логичнее, чем пытаться угадать =)