Timur
никогда не размещайте в кубере службы кубера(как это делает kubeadm). Даже в докере не размещайте
Timur
а докер-реджистри тоже в кубере не надо запускать
Timur
это я так.. вдруг кому пригодится
Anonymous
Vadim
Just a baka
видать все посыпалось )
Vadim
ааа, я вижу вы технический специалист
Timur
видать все посыпалось )
когда кубер начинается создавать контейнеры и на 4-й тысяче докерд наворачивается и потом вся толпа бежит на другую ноду, где все повторяется и сбегает уже nexus :)
Vadim
max-pods-per-core, max-pods настройте ж
Vadim
ну и всякие вещи типа выделения cpu кубернету
Dmitrii
А причем тут службы кубера в кубере? Они сидят себе на мастере, на мастере taint, туда поды не побегут.
Timur
это все понятно. я не про это.. Я больше про теорию надежности ;)
Timur
Timur
А причем тут службы кубера в кубере? Они сидят себе на мастере, на мастере taint, туда поды не побегут.
kubeadm так умеет деплоить ?
Stanislav
kubeadm так умеет деплоить ?
kubespray так делает, все кроме докера, кублета и етцд ;)
через kubeadm
Dmitrii
А как он еще деплоит? Мастера и воркер ноды это разные машины, какая разница что докерд на воркере умер, если мастер отдельно стоит?
Или вы и мастера и воркеры на одну машину запихнули?
Just a baka
тут скорее вопрос, а кто так не умеет деплоить? миникуб какой-нибудь?)
Anatolii
уважаемые, кто-то пытался скрестить связку в AWS EKS + filebeat + aws elasticsearch? проблема в том, что filebeat упорно не хочет отправлять логи в амазоновский еластик из амазоновского eks. такая же связка работает в своих ДЦ, когда все установлено на своем железе.
в логах filebeat пишет что все хорошо, конетйенры в кубе он обнаружил, поды логи пишут, еластик aws кластер green, кибана успешно создала в еластике свой индекс. любые команды через api еластика отрабатывают успешно и сам filebeat сказал что он подключился. tcpdump показывает что трафик бегает.
Just a baka
нужны, только в другом месте
Just a baka
как гласит один баян, облако это всего лишь чей-то компьютер
Timur
max-pods-per-core, max-pods настройте ж
это не спасет, когда перезапускается джоба постоянно. .spec.backoffLimit даже не спасло. Собственно подобных ситуаций, когда вдупляет кубер может быть сотни. И просто надежнее, когда службы кубера запускаются вне самого кубера
Vadim
апи реквесты тоже можно лимитировать тащемта
Alexander
Vladimir
EKS и Elasticsearch в одной VPC живут у вас?
Anatolii
Проверяй Security Groups. Каких-то наверное недостает
из поды filebeat-а, aws es доступен ""tagline" : "You Know, for Search""
𝚔𝚟𝚊𝚙𝚜
@vrutkovs а как там в опеншифте, все операторы на go?
Solyar
Товарищи а как вы пробрасываете конфиг в RabbitMQ ?
Solyar
Configmap ?
Solyar
Несекурно
Solyar
preStart ?
Solyar
Не могу понять как правильно, знаний не хватает
𝚔𝚟𝚊𝚙𝚜
https://kubernetes.io/docs/tasks/inject-data-application/distribute-credentials-secure/#create-a-pod-that-has-access-to-the-secret-data-through-a-volume
Solyar
https://kubernetes.io/docs/tasks/inject-data-application/distribute-credentials-secure/#create-a-pod-that-has-access-to-the-secret-data-through-a-volume
Ну это ясно. А разве с логпасом guest/guest безопасно его в прод пускать?
Solyar
Мне именно их нужно переопределить, а в конфигмап запихивать уже не секурно
𝚔𝚟𝚊𝚙𝚜
я просто не в курсе как rabbitmq работает, то есть тебе нужно установить пароль при первом запуске?
Solyar
Solyar
заменить дефолтный guest/guest на что-то свое. Пока я конфигмап использую и он в репе лежит, но так нельзя
Семён
можно инит контейнер
Solyar
можно инит контейнер
У меня был вариант в инит контейнер передать энвайрмент и поправить конфиг, так норм будет?
Семён
да, должно быть ок
𝚔𝚟𝚊𝚙𝚜
обычно если бд не умеет брать пароль из конфигмапа или переменных окружения, то как правило городят /entrypoint.sh который знает как взять пароль и как его установить в бд, последней строчкой в скрипте управление передаётся процессу eg. exec rabbitmq
Solyar
обычно если бд не умеет брать пароль из конфигмапа или переменных окружения, то как правило городят /entrypoint.sh который знает как взять пароль и как его установить в бд, последней строчкой в скрипте управление передаётся процессу eg. exec rabbitmq
Попробую инит контейнер, а потом уже буду думать с entrypoint
𝚔𝚟𝚊𝚙𝚜
Попробую инит контейнер, а потом уже буду думать с entrypoint
так если rabbitmq умеет брать пароль из конфига, то почему бы не положить весь конфиг в secret?
Solyar
так если rabbitmq умеет брать пароль из конфига, то почему бы не положить весь конфиг в secret?
Конфиг лежит в репозитории, а ИБ грызут меня за то что КАК ТАК SENSITIVE DATA в открытом виде
𝚔𝚟𝚊𝚙𝚜
Конфиг лежит в репозитории, а ИБ грызут меня за то что КАК ТАК SENSITIVE DATA в открытом виде
в таком случае init контейнер - да
Евгений
Подскажите пожалуйста. Установил кластер k8s. Добавил LoadBalancer. На локалке external ip у LoadBalancer был localhost поэтому сервер открывался только через port-forward. Установил k8s и loadbalancer на digitalocean, однако там тоже сервер доступен только при port-forward. Как можно получить доступ к серверу через external ip у LoadBalancer?
Пример конфига LoadBalancer:
apiVersion: v1
kind: Service
metadata:
name: xpun-lb
spec:
type: LoadBalancer
ports:
- port: 80
protocol: TCP
targetPort: 3000
selector:
app: xpun-service
Артур
Подскажите пожалуйста. Установил кластер k8s. Добавил LoadBalancer. На локалке external ip у LoadBalancer был localhost поэтому сервер открывался только через port-forward. Установил k8s и loadbalancer на digitalocean, однако там тоже сервер доступен только при port-forward. Как можно получить доступ к серверу через external ip у LoadBalancer?
Пример конфига LoadBalancer:
apiVersion: v1
kind: Service
metadata:
name: xpun-lb
spec:
type: LoadBalancer
ports:
- port: 80
protocol: TCP
targetPort: 3000
selector:
app: xpun-service
вот ман точно рабочий для ДО
https://www.digitalocean.com/community/tutorials/how-to-set-up-an-nginx-ingress-with-cert-manager-on-digitalocean-kubernetes
Артур
там все по ману делай строго и получиш желаемый результат
Евгений
Семён
вообще можно сэкономить и не использовать лоадбалансер
Just a baka
https://habr.com/ru/company/southbridge/blog/358824/
Семён
kind: Service
apiVersion: v1
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
externalTrafficPolicy: Local
type: NodePort
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
ports:
- name: http
port: 80
targetPort: http
- name: https
port: 443
targetPort: https
externalIPs:
- внешний ip ноды два
- внешний ip ноды раз
Семён
плюс доменное имя которое резолвится в обе ноды.
Дальше заводишь доменные имена CNAMEами на первое и лепишь ингресы как обычно
Andrei
Попробую инит контейнер, а потом уже буду думать с entrypoint
Просто посмотреть как сделано в stable/rabbitmq и не велосипедить
Darkwing
Гайз, а можно ли обозначать environment variables для namespaces?
Кейс: чтобы деплои в stage использовали одни переменные, а prod - соответственно другие, без необходимости обозначать их в самом deployment манифесте
Andrei
Сделать общий configmap и цеплять в нужных выкатках?
Solyar
Просто посмотреть как сделано в stable/rabbitmq и не велосипедить
Также монтируется конфигмап
Andrei
А в чем, если не секрет, желание сделать свой велосипед?
Andrei
В любом случае: взять готовое, доработать, прикрутить vault и безопасники возрадуются
Igor
𝚔𝚟𝚊𝚙𝚜
Igor
kubernetes за "7 фаерволами"
Konstantin
Просто они хотят базу клиентов выкачивать с паролями
Konstantin
да так чтобы СБ думала что все ок
𝚔𝚟𝚊𝚙𝚜
можно проще без ssh туннелей ?
ну я не сказал бы что ssh более или менее безопасный чем api-server, почему-бы не предоставить доступ сразу в api-server?
Если страшно, то ок, можно сделать bastion host, но ума не приложу зачем вам нужен второй туннель?
Juriy
привет , подскажите кто юзал cloud_sql_proxy от GKE, сделал все по ману но что то странный еррор получаю "Lost connection to MySQL server at 'reading initial communication packet', system error: 22 "Invalid argument""?
Igor
ну я не сказал бы что ssh более или менее безопасный чем api-server, почему-бы не предоставить доступ сразу в api-server?
Если страшно, то ок, можно сделать bastion host, но ума не приложу зачем вам нужен второй туннель?
пользователи не могут иметь доступа по ssh к kubernetes машинам