>list of unattached/unmounted volumes=[registry config] что эт за volume?

кстти, гитлаб хелм не создаёт volumes

а гитлаб сам работает вообще?

а гитлаб сам работает вообще?

Хреново работает

Уже час жду в очереди на билд проекта

ыы ) логи смотрел в гитлабе? в раннерах?

ыы ) логи смотрел в гитлабе? в раннерах?

Так вот тебе же тебе скрин с графаны гитлаба

Всем вдруг резко понадобилось билдить

это только количества, тут нет логов с ошибками, например

может у тя раннеры до гитлаба не могут достучаться, может сертифкаты протухли, может места нет на диске, может РКН заблокировал

может у тя раннеры до гитлаба не могут достучаться, может сертифкаты протухли, может места нет на диске, может РКН заблокировал

Паблик раннеры?

паблик = shared?

Да

они тоже подвержены поломкам - тоже люди

они тоже подвержены поломкам - тоже люди

Молодой человек, не видите - у нас обед!

кстти, гитлаб хелм не создаёт volumes

bash-3.2# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE gitlab-gitlab-config-storage Bound pvc-9bc93ba9-4247-11e8-b500-3e30cf2cd22a 1Gi RWO openebs-standard 1m gitlab-gitlab-postgresql-storage Bound pvc-9bd16473-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m gitlab-gitlab-redis-storage Bound pvc-9bd51b82-4247-11e8-b500-3e30cf2cd22a 5Gi RWO openebs-standard 1m gitlab-gitlab-registry-storage Bound pvc-9bca8946-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m gitlab-gitlab-storage Bound pvc-9bccd5cd-4247-11e8-b500-3e30cf2cd22a 10Gi RWO openebs-standard 1m

кстти, гитлаб хелм не создаёт volumes

как я понял тут указывается какой тип использовать в values.yaml gitlabConfigStorageClass: openebs-standard gitlabDataStorageClass: openebs-standard gitlabRegistryStorageClass: openebs-standard postgresStorageClass: openebs-standard redisStorageClass: openebs-standard

я вот буквально пару недель назад ставил хелмом гитлаб - у меня всё иначе было. (потом снёс к чертям, поставил всё руками)

посмотри не клеймы , а сами volumes

клеймы могут быть bound с вольюмами, но при этом вольюмы не могут работать, потомучто на бэке нет хранилища, например

посмотри не клеймы , а сами volumes

вот так у меня bash-3.2# kubectl get sc NAME PROVISIONER AGE default external/digitalocean 4d gitlab-gitlab-fast kubernetes.io/openebs-standard 16m openebs-cassandra openebs.io/provisioner-iscsi 23h openebs-es-data-sc openebs.io/provisioner-iscsi 23h openebs-jupyter openebs.io/provisioner-iscsi 23h openebs-kafka openebs.io/provisioner-iscsi 23h openebs-mongodb openebs.io/provisioner-iscsi 23h openebs-percona openebs.io/provisioner-iscsi 23h openebs-redis openebs.io/provisioner-iscsi 23h openebs-standalone openebs.io/provisioner-iscsi 23h openebs-standard openebs.io/provisioner-iscsi 23h openebs-zk openebs.io/provisioner-iscsi 23h

только вот это как не смотрится на фоне gitlab-gitlab-fast kubernetes.io/openebs-standard 16m

я вот буквально пару недель назад ставил хелмом гитлаб - у меня всё иначе было. (потом снёс к чертям, поставил всё руками)

а валидных гайдом/мануалов не осталось?

по хелму?

подскажи мне по etcd2, там указывается только свой IP ?

Не поднимайте etcd2, лучше etcd 3.2

по хелму?

не, по тому как все это дело поднять без helm

боюсь, тут нет туториала. Всё зависит от потребностей и прочее, прочее…

Привет. Был у кого то кейс с GKE и шифроваными KMS вольюмами в pvc?

Где кубернетс развернут, какая сетка используется?

кубер развернут в Digital Ocena сетка calicio NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE gitlab-gitlab ClusterIP 10.233.51.96 <none> 22/TCP,8065/TCP,8105/TCP,8005/TCP,9090/TCP,80/TCP 7m gitlab-gitlab-postgresql ClusterIP 10.233.6.170 <none> 5432/TCP 7m gitlab-gitlab-redis ClusterIP 10.233.43.62 <none> 6379/TCP 7m

что-то многовато портов для гитлаба. Обычно два - 22 и 80

Я с do дела не имел, но у меня calico на aws. Словил граблей с тем, что забыл разрешить хождение внутри сети ipv4 пакетов, ipip и еще чего-то

Нутыпонял

Народ а подскажите, где можно про calico почитать простым языком?

что-то многовато портов для гитлаба. Обычно два - 22 и 80

cat templates/gitlab/gitlab-deployment.yaml ports: - name: registry containerPort: 8105 - name: mattermost containerPort: 8065 - name: workhorse containerPort: 8005 - name: ssh containerPort: 22 - name: prometheus containerPort: 9090 {{- if and .Values.pagesExternalScheme .Values.pagesExternalDomain }} - name: pages containerPort: 8090 {{- end }}

и вообще что лучше calico или flannel?

Народ а подскажите, где можно про calico почитать простым языком?

https://chrislovecnm.com/kubernetes/cni/choosing-a-cni-provider/

у меня была фланель, она барахлила периодически (на одной ноде, без нагрузок), конфиг куда-то пропадал - поставил калику, всё стало ок.

и вообще что лучше calico или flannel?

Weave

cat templates/gitlab/gitlab-deployment.yaml ports: - name: registry containerPort: 8105 - name: mattermost containerPort: 8065 - name: workhorse containerPort: 8005 - name: ssh containerPort: 22 - name: prometheus containerPort: 9090 {{- if and .Values.pagesExternalScheme .Values.pagesExternalDomain }} - name: pages containerPort: 8090 {{- end }}

короч тебе надо гитлаб для начала стартануть, разобравшись с волюмами

боюсь, тут нет туториала. Всё зависит от потребностей и прочее, прочее…

мне нужно для чтобы затем построить CI/CD на этом всем Gitlab / Kubernetes / Helm

у меня была фланель, она барахлила периодически (на одной ноде, без нагрузок), конфиг куда-то пропадал - поставил калику, всё стало ок.

случайно не на файл окружения ругалась?

случайно не на файл окружения ругалась?

возможно. Ругался толи kubedns, толи kubeproxy.

наверное kubedns, потомучто я и от него избавился

причём на intel xeon, потомучто на intel core такого не было

наверное kubedns, потомучто я и от него избавился

на что перешел?

coredns

coredns

Как докер контейнер запускается? Как происходит интеграция?

мне нужно для чтобы затем построить CI/CD на этом всем Gitlab / Kubernetes / Helm

дада, этого все хотят)

Как докер контейнер запускается? Как происходит интеграция?

да, в контейнере. Я ставил через kubeadm, поэтому при установке сразу указал, что вместо kubedns юзать coredns, но вроде есть варианты миграции, которые даже конфиги конвертят

Спасибо за инфу

кубер развернут в Digital Ocena сетка calicio NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE gitlab-gitlab ClusterIP 10.233.51.96 <none> 22/TCP,8065/TCP,8105/TCP,8005/TCP,9090/TCP,80/TCP 7m gitlab-gitlab-postgresql ClusterIP 10.233.6.170 <none> 5432/TCP 7m gitlab-gitlab-redis ClusterIP 10.233.43.62 <none> 6379/TCP 7m

Привет, а у тебя вообще связь между подами на ДО есть? кроме гитлаба что-нибудь там запускал? Просто ты пишешь, что сеть у тебя на салико, а она по л3 работает, и если ты не делал этого поверх какого-нибудь инкапсулирующего протокола, то сеть работать не будет

например заходишь в конейнер на одной ноде и пытаешься пингануть контейнер на другой ноде - это работает?

например заходишь в конейнер на одной ноде и пытаешься пингануть контейнер на другой ноде - это работает?

да, у меня несколько прилажений на Go в стейтфулсете работают

https://chrislovecnm.com/kubernetes/cni/choosing-a-cni-provider/

там поверхностно

там поверхностно

можно по рейтингам ориентироваться +)

да, у меня несколько прилажений на Go в стейтфулсете работают

хм, странно, у ДО (во FRA) настроены фильтры, что нельзя передавать пакеты с чужими ip, нужно их инкапсулировать в хостовые, что например фланнел по vxlan делает, а калико просто маршрутизирует же. и поды смогут общаться только находясь на одной ноде

можно по рейтингам ориентироваться +)

Про flannel куча статей, в вот про calico не могу найти инфу

Про flannel куча статей, в вот про calico не могу найти инфу

вот выше коммент интересный на этот счёт

хм, странно, у ДО (во FRA) настроены фильтры, что нельзя передавать пакеты с чужими ip, нужно их инкапсулировать в хостовые, что например фланнел по vxlan делает, а калико просто маршрутизирует же. и поды смогут общаться только находясь на одной ноде

вот: bash-3.2# kubectl describe pod jenkins-6bc67f99d7-vvkxn | grep IP IP: 10.233.92.147 bash-3.2# kubectl describe pod jenkins-6bc67f99d7-vvkxn | grep Node Node: master/167.99.97.182 bash-3.2# kubectl describe pod gitlab-gitlab-764bd7665-vgx49 | grep IP IP: 10.233.95.50 kubectl describe pod gitlab-gitlab-764bd7665-vgx49 | grep Node Node: node1/159.65.96.125 bash-3.2# kubectl exec -it gitlab-gitlab-764bd7665-vgx49 /bin/bash error: unable to upgrade connection: container not found ("gitlab") bash-3.2# kubectl exec -it jenkins-6bc67f99d7-vvkxn /bin/bash jenkins@jenkins-6bc67f99d7-vvkxn:/$ ping 10.233.92.147 PING 10.233.92.147 (10.233.92.147): 56 data bytes 64 bytes from 10.233.92.147: icmp_seq=0 ttl=64 time=0.055 ms 64 bytes from 10.233.92.147: icmp_seq=1 ttl=64 time=0.116 ms

хм, странно, у ДО (во FRA) настроены фильтры, что нельзя передавать пакеты с чужими ip, нужно их инкапсулировать в хостовые, что например фланнел по vxlan делает, а калико просто маршрутизирует же. и поды смогут общаться только находясь на одной ноде

ну те я пингую из контейнера который на мастере, контейнер (раннер) который находится на другой ноде

а, у тебя ноды по внешним ip завязаны, и сокрее всего между нодами впн

хм, странно, у ДО (во FRA) настроены фильтры, что нельзя передавать пакеты с чужими ip, нужно их инкапсулировать в хостовые, что например фланнел по vxlan делает, а калико просто маршрутизирует же. и поды смогут общаться только находясь на одной ноде

но у меня трабла в том, что не отвечает по порту именно эфимерный IP сервиса, тк он не стартанул в чем трабла и как копать - хз логи закольцевались)

помоему ты самого себя пингуешь

помоему ты самого себя пингуешь

ну или так jenkins@jenkins-6bc67f99d7-vvkxn:/$ ping 10.233.95.50 PING 10.233.95.50 (10.233.95.50): 56 data bytes 64 bytes from 10.233.95.50: icmp_seq=0 ttl=62 time=8.408 ms 64 bytes from 10.233.95.50: icmp_seq=1 ttl=62 time=3.126 ms 64 bytes from 10.233.95.50: icmp_seq=2 ttl=62 time=0.608 ms

а, у тебя ноды по внешним ip завязаны, и сокрее всего между нодами впн

да, у меня в перспективе все равно машины в разных регионах будут

не не, я просто перепинговал) ты был прав)

а мы щас какую проблему пытаемся решить? ) с дисками?

у нас же вроде гитлаб не стартует изза вольюмов

хотя рабочая сетка - это тоже хорошо

а мы щас какую проблему пытаемся решить? ) с дисками?

рабочая сетка - хорошее начало) так, вот так у меня сейчас:

ты до этого лог кидал “Unable to mount volumes for pod "gitlab-gitlab-764bd7665” - это корень зла

у нас же вроде гитлаб не стартует изза вольюмов

в общем, сейчас так: kubectl describe pod gitlab-gitlab-764bd7665-vgx49 Warning Unhealthy 54m (x2 over 54m) kubelet, k8s-node1.gettransfer.cz Liveness probe failed: HTTP probe failed with statuscode: 502 Warning Unhealthy 19m (x67 over 54m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: HTTP probe failed with statuscode: 502 Warning BackOff 14m (x25 over 27m) kubelet, k8s-node1.gettransfer.cz Back-off restarting failed container Normal Pulled 9m (x11 over 58m) kubelet, k8s-node1.gettransfer.cz Container image "gitlab/gitlab-ce:10.6.2-ce.0" already present on machine Warning Unhealthy 4m (x156 over 57m) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: Get http://10.233.95.50:8005/health_check?token=SXBAQichEJasbtDSygrD: dial tcp 10.233.95.50:8005: getsockopt: connection refused kubectl describe pod gitlab-gitlab-runner-f7c85548-g2dh9 Warning Unhealthy 56m kubelet, k8s-node2 Readiness probe errored: rpc error: code = Unknown desc = container not running (4a927832dcb592129b3e5dcc249e1075cf18b8f349308b034118ffe20f87bb54) Warning BackOff 2m (x217 over 56m) kubelet, k8s-node2 Back-off restarting failed container

ты до этого лог кидал “Unable to mount volumes for pod "gitlab-gitlab-764bd7665” - это корень зла

я пересобрал чарты и сейчас логи уже другие

ты до этого лог кидал “Unable to mount volumes for pod "gitlab-gitlab-764bd7665” - это корень зла

что еще можно проверить/персобрать? ( уже сутки ковыряю и идей в голову особо не приходит)

у всех в РФ registry-1.docker.io не отвечает? Через прокси все норм. Мда...

у всех в РФ registry-1.docker.io не отвечает? Через прокси все норм. Мда...

есть такое

что еще можно проверить/персобрать? ( уже сутки ковыряю и идей в голову особо не приходит)

надо лог смотреть опять…

надо лог смотреть опять…

не он сейчас (kubectl describe pod gitlab-gitlab-764bd7665-vgx49) показывается только: Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning Unhealthy 25m (x67 over 1h) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: HTTP probe failed with statuscode: 502 Normal Pulled 15m (x11 over 1h) kubelet, k8s-node1.gettransfer.cz Container image "gitlab/gitlab-ce:10.6.2-ce.0" already present on machine Warning BackOff 5m (x63 over 33m) kubelet, k8s-node1.gettransfer.cz Back-off restarting failed container Warning Unhealthy 32s (x177 over 1h) kubelet, k8s-node1.gettransfer.cz Readiness probe failed: Get http://10.233.95.50:8005/health_check?token=SXBAQichEJasbtDSygrD: dial tcp 10.233.95.50:8005: getsockopt: connection refused