config.toml: | concurrent = {{ .Values.concurrent }} check_interval = {{ .Values.checkInterval }}

вот здесь похоже

там чёто типа coordinatorUrl

Нужно ли использовать разные кластеры для дев и прод? Или можно на одном в разных пространствах имён?

Пришел к выводу, что для облака проще и лучше разные кластеры, потому что control plane бесплатная.

Пришел к выводу, что для облака проще и лучше разные кластеры, потому что control plane бесплатная.

у меня на vps тоже раздельные прод и дев. Так надёжнее. Понятнее.

апну, может сегодня кто-то может знать в чем дело

там чёто типа coordinatorUrl

извинте, но не очень понятно каким образом изменить

апну, может сегодня кто-то может знать в чем дело

yaml покажи

yaml покажи

https://pastebin.com/bDDjwBYM

а deployment? там порт объявлен? Напрямую к поду по ip пробовал подключаться, может, не в сервисе дело?

извинте, но не очень понятно каким образом изменить

попробуй заэкзекьются в под с раннером и выполни “gitlab-runner register”

а deployment? там порт объявлен? Напрямую к поду по ip пробовал подключаться, может, не в сервисе дело?

напрямую работает

извинте, но не очень понятно каким образом изменить

потом иди сюда “/etc/gitlab-runner/config.toml” и копируй что получилось в configMap

а deployment? там порт объявлен? Напрямую к поду по ip пробовал подключаться, может, не в сервисе дело?

в деплойменте порт не объявлен, но это и не нужно, зачем оно там?

то есть как?

сравните с тем же dns'ом

у меня проблема не в том, что сервис недоступен, а в том что я не могу его сделать одновременно доступным и по TCP и по UDP. Одна из подсекций секции ports (которая ниже) всегда пропадает после kubectl apply

то есть вот применяю я тот манифест, что скинул, а на выходе только: - name: s-tcp port: 5201 protocol: TCP targetPort: 5201

если поменяю блоки местами (перенесу UDP выше), то останется только UDP блок

а что пишет kubectl apply?

как запускаешь? всё подряд или только сервис?

да вот же https://github.com/kubernetes/kubernetes/issues/2995

он пишет, что все хорошо. В общем, я разобрался. Я делал не совсем так, как я описывал. Я редактировал через kubectl edit svc <service name>, и добавлял вручную второй блок. Он не сохранялся. А сейчас я действительно попробовал применить через apply, и все заработало.

И чё прям работает по обоим протоколам?

теперь я вижу: s ClusterIP 10.8.241.181 <none> 5201/TCP,5201/UDP

работает по обоим, да

странно, потомучто в интернетах везде пишут, что это невозможно)

я тестирую через iperf, в одном поде у меня iperf3 -s, во втором iperf3 -uc s

то есть второй говорит, шли хосту "s" udp пакеты. но фишка в том, что они сначала договариваются по TCP о чем-то

может поэтому и работает?

если создать только TCP или только UDP сервис, то "iperf3 -uc" ("u" means UDP) не работает

"iperf -c" (TCP default) работает если сервис TCP, но не работает если UDP

т.е. работает только iperf по TCP?

еще раз: 1. iperf3 -c <host> слать хосту TCP пакеты 2. iperf3 -uc <host> слать хосту UDP пакеты 1 — работает если сервис TCP 2 — работает если сервис и TCP и UDP

причина того, что -uc работает только при условии, что TCP тоже доступен в том, что изначально клиент с сервером о чем-то договариваются по TCP и только потом клиент начинает слать UDP пакеты. Если договоренность по TCP не состоялась, клиент даже не пытается слать UDP

т.е. работает только iperf по TCP?

то есть я бы ответил: "совсем без TCP он не работает"

ну, кстати, может есть какие-то флаги, чтобы заставить

а вот с LoadBalancer на GKE не прокатило: cannot create an external load balancer with mix protocols

sudo nmap -p <port> -sU <host>

может он не будет договариваться по tcp и тоже пошлёт)

попробуй заэкзекьются в под с раннером и выполни “gitlab-runner register”

не выходит bash-3.2# kubectl get pods ... gitlab-gitlab-764bd7665-4hcxr 0/1 Running 10 51m gitlab-gitlab-runner-f7c85548-sdsqz 0/1 CrashLoopBackOff 13 51m ... kubectl exec -it gitlab-gitlab-runner-f7c85548-sdsqz /bin/bash error: unable to upgrade connection: container not found ("gitlab-gitlab-runner") если смотреть в дашборде, то такой лог у раннера + cp /scripts/config.toml /etc/gitlab-runner/ + /entrypoint register --non-interactive --executor kubernetes Running in system-mode. ERROR: Registering runner... failed runner=tQtCbx5U status=couldn't execute POST against http://gitlab-gitlab.default:8005/api/v4/runners: Post http://gitlab-gitlab.default:8005/api/v4/runners: dial tcp 10.233.20.115:8005: i/o timeout PANIC: Failed to register this runner. Perhaps you are having network problems сам же gitlab пишет Unable to mount volumes for pod "gitlab-gitlab-764bd7665-4hcxr_default(05537fb9-423c-11e8-898a-3ebe3629b41e)": timeout expired waiting for volumes to attach/mount for pod "default"/"gitlab-gitlab-764bd7665-4hcxr". list of unattached/unmounted volumes=[registry config] Readiness probe failed: Get http://10.233.95.11:8005/health_check?token=SXBAQichEJasbtDSygrD: dial tcp 10.233.95.11:8005: getsockopt: connection refused Back-off restarting failed container как быть?(

Где кубернетс развернут, какая сетка используется?

>list of unattached/unmounted volumes=[registry config] что эт за volume?

кстти, гитлаб хелм не создаёт volumes

а гитлаб сам работает вообще?

а гитлаб сам работает вообще?

Хреново работает

Уже час жду в очереди на билд проекта

ыы ) логи смотрел в гитлабе? в раннерах?

ыы ) логи смотрел в гитлабе? в раннерах?

Так вот тебе же тебе скрин с графаны гитлаба

Всем вдруг резко понадобилось билдить

это только количества, тут нет логов с ошибками, например

может у тя раннеры до гитлаба не могут достучаться, может сертифкаты протухли, может места нет на диске, может РКН заблокировал

может у тя раннеры до гитлаба не могут достучаться, может сертифкаты протухли, может места нет на диске, может РКН заблокировал

Паблик раннеры?

паблик = shared?

Да

они тоже подвержены поломкам - тоже люди

они тоже подвержены поломкам - тоже люди

Молодой человек, не видите - у нас обед!

кстти, гитлаб хелм не создаёт volumes

bash-3.2# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE gitlab-gitlab-config-storage Bound pvc-9bc93ba9-4247-11e8-b500-3e30cf2cd22a 1Gi RWO openebs-standard 1m gitlab-gitlab-postgresql-storage Bound pvc-9bd16473-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m gitlab-gitlab-redis-storage Bound pvc-9bd51b82-4247-11e8-b500-3e30cf2cd22a 5Gi RWO openebs-standard 1m gitlab-gitlab-registry-storage Bound pvc-9bca8946-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m gitlab-gitlab-storage Bound pvc-9bccd5cd-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m

кстти, гитлаб хелм не создаёт volumes

как я понял тут указывается какой тип использовать в values.yaml gitlabConfigStorageClass: openebs-standard gitlabDataStorageClass: openebs-standard gitlabRegistryStorageClass: openebs-standard postgresStorageClass: openebs-standard redisStorageClass: openebs-standard

я вот буквально пару недель назад ставил хелмом гитлаб - у меня всё иначе было. (потом снёс к чертям, поставил всё руками)

посмотри не клеймы , а сами volumes

клеймы могут быть bound с вольюмами, но при этом вольюмы не могут работать, потомучто на бэке нет хранилища, например

посмотри не клеймы , а сами volumes

вот так у меня bash-3.2# kubectl get sc NAME PROVISIONER AGE default external/digitalocean 4d gitlab-gitlab-fast kubernetes.io/openebs-standard 16m openebs-cassandra openebs.io/provisioner-iscsi 23h openebs-es-data-sc openebs.io/provisioner-iscsi 23h openebs-jupyter openebs.io/provisioner-iscsi 23h openebs-kafka openebs.io/provisioner-iscsi 23h openebs-mongodb openebs.io/provisioner-iscsi 23h openebs-percona openebs.io/provisioner-iscsi 23h openebs-redis openebs.io/provisioner-iscsi 23h openebs-standalone openebs.io/provisioner-iscsi 23h openebs-standard openebs.io/provisioner-iscsi 23h openebs-zk openebs.io/provisioner-iscsi 23h

только вот это как не смотрится на фоне gitlab-gitlab-fast kubernetes.io/openebs-standard 16m

я вот буквально пару недель назад ставил хелмом гитлаб - у меня всё иначе было. (потом снёс к чертям, поставил всё руками)

а валидных гайдом/мануалов не осталось?

по хелму?

Не поднимайте etcd2, лучше etcd 3.2

по хелму?

не, по тому как все это дело поднять без helm

боюсь, тут нет туториала. Всё зависит от потребностей и прочее, прочее…

Привет. Был у кого то кейс с GKE и шифроваными KMS вольюмами в pvc?

Где кубернетс развернут, какая сетка используется?

кубер развернут в Digital Ocena сетка calicio NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE gitlab-gitlab ClusterIP 10.233.51.96 <none> 22/TCP,8065/TCP,8105/TCP,8005/TCP,9090/TCP,80/TCP 7m gitlab-gitlab-postgresql ClusterIP 10.233.6.170 <none> 5432/TCP 7m gitlab-gitlab-redis ClusterIP 10.233.43.62 <none> 6379/TCP 7m

что-то многовато портов для гитлаба. Обычно два - 22 и 80

Я с do дела не имел, но у меня calico на aws. Словил граблей с тем, что забыл разрешить хождение внутри сети ipv4 пакетов, ipip и еще чего-то

Нутыпонял

Народ а подскажите, где можно про calico почитать простым языком?

что-то многовато портов для гитлаба. Обычно два - 22 и 80

cat templates/gitlab/gitlab-deployment.yaml ports: - name: registry containerPort: 8105 - name: mattermost containerPort: 8065 - name: workhorse containerPort: 8005 - name: ssh containerPort: 22 - name: prometheus containerPort: 9090 {{- if and .Values.pagesExternalScheme .Values.pagesExternalDomain }} - name: pages containerPort: 8090 {{- end }}

и вообще что лучше calico или flannel?

Народ а подскажите, где можно про calico почитать простым языком?

https://chrislovecnm.com/kubernetes/cni/choosing-a-cni-provider/

у меня была фланель, она барахлила периодически (на одной ноде, без нагрузок), конфиг куда-то пропадал - поставил калику, всё стало ок.

и вообще что лучше calico или flannel?

Weave

cat templates/gitlab/gitlab-deployment.yaml ports: - name: registry containerPort: 8105 - name: mattermost containerPort: 8065 - name: workhorse containerPort: 8005 - name: ssh containerPort: 22 - name: prometheus containerPort: 9090 {{- if and .Values.pagesExternalScheme .Values.pagesExternalDomain }} - name: pages containerPort: 8090 {{- end }}

короч тебе надо гитлаб для начала стартануть, разобравшись с волюмами

боюсь, тут нет туториала. Всё зависит от потребностей и прочее, прочее…

мне нужно для чтобы затем построить CI/CD на этом всем Gitlab / Kubernetes / Helm

у меня была фланель, она барахлила периодически (на одной ноде, без нагрузок), конфиг куда-то пропадал - поставил калику, всё стало ок.

случайно не на файл окружения ругалась?

случайно не на файл окружения ругалась?

возможно. Ругался толи kubedns, толи kubeproxy.

наверное kubedns, потомучто я и от него избавился

причём на intel xeon, потомучто на intel core такого не было

наверное kubedns, потомучто я и от него избавился

на что перешел?

coredns

coredns

Как докер контейнер запускается? Как происходит интеграция?

мне нужно для чтобы затем построить CI/CD на этом всем Gitlab / Kubernetes / Helm

дада, этого все хотят)

Как докер контейнер запускается? Как происходит интеграция?

да, в контейнере. Я ставил через kubeadm, поэтому при установке сразу указал, что вместо kubedns юзать coredns, но вроде есть варианты миграции, которые даже конфиги конвертят

Спасибо за инфу

кубер развернут в Digital Ocena сетка calicio NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE gitlab-gitlab ClusterIP 10.233.51.96 <none> 22/TCP,8065/TCP,8105/TCP,8005/TCP,9090/TCP,80/TCP 7m gitlab-gitlab-postgresql ClusterIP 10.233.6.170 <none> 5432/TCP 7m gitlab-gitlab-redis ClusterIP 10.233.43.62 <none> 6379/TCP 7m

Привет, а у тебя вообще связь между подами на ДО есть? кроме гитлаба что-нибудь там запускал? Просто ты пишешь, что сеть у тебя на салико, а она по л3 работает, и если ты не делал этого поверх какого-нибудь инкапсулирующего протокола, то сеть работать не будет

например заходишь в конейнер на одной ноде и пытаешься пингануть контейнер на другой ноде - это работает?

например заходишь в конейнер на одной ноде и пытаешься пингануть контейнер на другой ноде - это работает?

да, у меня несколько прилажений на Go в стейтфулсете работают