Dmytro
а удалится и иобраз и все теги
Andor
а под ним обычный режистри
Dmytro
ну в докер хабе такого треша нет
Andor
чо правда?
Dmytro
так что проблемы явно у гитлаба
Andor
надо попробовать и если получится то завести баг
Dmytro
у артифактори тоже нет насколько я знаю
Konstantin
Etki
Dmytro
ну тут хз, докер хаб и ECR амазоновский ведут себя норм, артефактори я юзал самую малость но вроде там тоже норм
Dmytro
гитлаб же за много денег а говно куда не ткни :(
Dmytro
сорри за оффтоп, просто крик души
Andor
ты баги-то им завёл?
Andor
я хз про ынтырпрайз версию, но гитлаб всё равно лучший из бесплатных пока что
Dmytro
я им заводил тикет про импорт с гитхаба, после ответа через 3 дня вместо положеннх 4 часов решил больше не тратить свое время, все - конец оффтопа
Anonymous
Господа знатоки, всем доброго времени суток!
Есть немного глупый вопрос, и, по правде говоря - не особо уверен, что он должен быть адресован именно сюда, но мы никак не можем порешать. Суть ситуации: есть GKE кластер, в котором крутится веб-приложение. К приложению подключен service (то бишь лоадбалансер) с гугловским типом “internal” - и адресом во внутренней сети в клауде, естественно. Так же есть ВПН сервер в этой же подсети для внешних подключений.
Беда заключается в том, что коммуникации происходят в одностороннем режиме - при попытке зайти на веб-интерфейс приложения, ничего не грузит вообще. Пробовал curl - ответа не приходит. Но при этом, в логах nginx в контейнере я вижу попытку подключения и GET от браузера.
Но при этом всём, если зайти черех ssh на хосты внутри сети (compute engine, не в кластере k8s), в которую смотрит лоад балансер, и сделать curl - ответ приходит.
Подскажите, пожалуйста, куда и что копать? Файрволы разрешают весь трафик внутри подсети.
Anonymous
Логически сразу на ум приходят проблемы с VPN, но не может же StrongSwan выборочно резать траффик, правильно?
Anonymous
Так же, если в браузере ввести напрямую адрес и порт ноды (не пода, а именно ноды) - приложение открывается.
Etki
звучит как проблемы с NAT и что ответ не перенаправляется обратно по впн
Mikhail
Какой нить дефолт гетвей проверьте со стороны впн/кластера в сторону офиса
Anonymous
Господа, а вот натолкнулся на такую фразу в гугле по этому поводу - кто что думает?
Anonymous
We wanted to use Internal load balancers for the aforementioned routing. Both AWS and GCP provide internal load balancers, however it’s not currently possible to route requests to a GCP internal load balancer from outside the GCP network, even if you are connected over the VPN. So we needed to come up with an alternative approach.
Anonymous
Взято отсюда
Anonymous
https://tech.holidayextras.com/routing-to-internal-kubernetes-services-using-proxies-and-ingress-controllers-e7eb44954d53
Stanislav
Stanislav
И дефолтные квоты там на внешние IP по умолчанию 8 IP на проект
Stanislav
Чтобы сделать больше надо выходить из триалки и писать слезное письмо
Stanislav
И напрямую внешний адрес ты никак не сможешь прицепить к GKE ingress
Anonymous
Тогда главный вопрос: правильно ли я сейчас понимаю, что со своего хоста, подключенного через ВПН, я к интернал лоад балансеру подцепиться не смогу?
Stanislav
Только через GLB (причем неважно, автоматически созданный, или вручную)
Stanislav
Простите, а сам VPN сервер у вас где относительно вашего GKE?
Anonymous
В одной подсети с ним, в compute engine живет
Stanislav
http://dl4.joxi.net/drive/2018/05/24/0007/2721/490145/45/3d9d7b2c75.jpg
Anonymous
Но до сервисов, живущими за интернал лоад балансерами - достучаться не дает. При этом всём, отлично работает с приложениями, живущими в отдельных инстансах на GCE.
Stanislav
С использованием NodePort - сможешь
Stanislav
Ну и про политики сетевые разрешающие не забыть на уровне самого GKE (k8s)
Anonymous
Можно, но это скорее хак будет - у меня там порядка 20 сервисов будет (привет адептам микросервисов).
Anonymous
Хотелось бы правильно - по отдельным внутренним айпишникам ходить.
Stanislav
Но основная сложность у тебя будет в отлове этих динамически присваиваемых NodePort
Andor
а нельзя впн прямо внутри кубера поднять? :)
Stanislav
А смысл? Оверхед обслуживания - выше, профит - не очевиден.
Andor
сервисы внутри будут доступны
Stanislav
Andor
Denis
Народ, подскажите как шедуллер заставить при ребалансировке под, сажать поды на более разгруженный воркер?
Denis
Роняю worker03, и все поды с него мигрируют на worker02, хотя worker01 вообще разгружен и ресурсов много. Из-за того что на worker02 мало ресурсов, поды с worker03 не могут запустится
Denis
что-то делаю может не так?
Denis
З.Ы На скрине все поды запущены, так как добавил ресурсов на worker02
Huan
привет всем. включил RBAC и создал role, rolebinding:
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
namespace: kube-test
name: deploy
rules:
- apiGroups: [""]
resources: [""]
resourceNames: [""]
verbs: ["create", "update", "patch", "delete"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
namespace: kube-test
name: deploy
subjects:
- apiGroup: rbac.authorization.k8s.io
kind: User
name: deploy
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: Role
name: deploy
как ему сгенерить секрет чтоб деплоитьчерез этого юзера? или может вообще не так надо делать?
🤖
Anonymous
а есть CI as a service, который работает лучше и быстрее gitlab-ci и проще интегрируется с k8s?
Denis
Andrey
Denis
не сыровато ли?
Очень сыро, но других подобных работ в этом направлении пока не нашёл
Дмитрий Харитонов
Подскажите, как добыть логи поды которая в гитлабе описывается как
Waiting for pod stage/runner-aa5716a7-project-181-concurrent-1swp8h to be running, status is Pending
Running on runner-aa5716a7-project-181-concurrent-1swp8h via gitlab-runner-8b8bc9c48-knl4b...
Дмитрий Харитонов
В апи сервере такая ошибка
upgradeaware.go Error proxying data from client to backend write tcp write broken pipe
Maksim
скажи describe
Maksim
и посмотри что оно там пытается сделать
🦠
🦠
да скорее всего у nginx read_timeout)
Dmytro
Dmytro
контейнер еще не стартанул
Дмитрий Харитонов
не, он потом типа запустился
Дмитрий Харитонов
пода gitlab-runner-8b8bc9c48-knl4b запускает поду runner-aa5716a7-project-181-concurrent-1swp8h
Дмитрий Харитонов
но где запускат и как в неё посмотреть не понятно
Дмитрий Харитонов
ещё kube-proxy такую ошибку пишет
Failed to execute iptables-restore for nat: exit status 1 (iptables-restore: line 7 failed
Дмитрий Харитонов
не знаю связано это или нет
Andor
Збс
Dmytro
kubectl logs runner-aa5716a7-project-181-concurrent-1swp8h или kubectl logs --previous runner-aa5716a7-project-181-concurrent-1swp8h
Dmytro
что говорят?
Dmytro
Дмитрий Харитонов
Dmytro
а точно он смог запустится?
Dmytro
если логов даже с --previous нет то есть подозрение что не смог (или нода настолько сломана что с нее логи не тянутся или еще что)
Konstantin
Dmytro вот вчера наткнулся ещё раз на запись с конфы от Флантов, они собирают один образ и дальше его продвигают, RedHat тоже об этом говорит, да и вообще много бест практик на эту тему, но у всех вода. Так надо, а как сделать - даже направления нет))
Dmytro
один образ чего? а то я что-то потерял контекст
Konstantin