command: sh args: | -c "curl ..."

command: sh args: | -c "curl ..."

спс, ща попробую

супер, спасибо!

1 node(s) had disk pressure,

k8s сделит за диском, и на каких-то дефалтовых отсечках прибивает под?

а не, тупее. забивается / в контейнере, при этом du не показывает чем забито. Наверно это логи, валящие в stdout.

сам nginx стучится на ClusterIP:порт сервисов

Это интересно. С GKE ingress должен обязательно стучаться на NodePort сервиса и никак иначе: https://github.com/kubernetes/ingress-gce#l7-load-balancing-on-kubernetes "For this to work, the Kubernetes Service must have Type=NodePort" Т.е. с nginx ingess'ом по другому и можно использовать type=ClusterIP ?

Вообще, коллеги, кто на GKE использует их нативный ingess? Или все на nginx'е? И правильно я понимаю, что для нормальной работы в проде нужно nginx plus покупать?

Вообще, коллеги, кто на GKE использует их нативный ingess? Или все на nginx'е? И правильно я понимаю, что для нормальной работы в проде нужно nginx plus покупать?

Ну что значит "нормальной"? У nginx plus есть некоторые плюшки, если они необходимы - покупай.

у меня сейчас задача по доставке приложения в кластер. Вначале это был один deployment ресурс, сейчас их уже несколько и для каждого надо будет делать kubectl patch/rollout status/rollout undo и накручивать логику по откату в случае чего. Ситуация ухудшается тем, что всё это делается через CI/CD в vsts и на каждый вызов kubectl там нужен сконфигурированный шаг. Всё это грозит скатится в малопонятное уродливое решение с кучей флагов. Я правильно понимаю, что для выката такой штуки лучше уже helm использовать? Я долго пытался его избегать, но, похоже, всё таки придётся использовать.

Вообще, коллеги, кто на GKE использует их нативный ingess? Или все на nginx'е? И правильно я понимаю, что для нормальной работы в проде нужно nginx plus покупать?

пробовал их ингрес, перешёл на nginx (обычный), потому что нужны были rewrite target аннотации

Это интересно. С GKE ingress должен обязательно стучаться на NodePort сервиса и никак иначе: https://github.com/kubernetes/ingress-gce#l7-load-balancing-on-kubernetes "For this to work, the Kubernetes Service must have Type=NodePort" Т.е. с nginx ingess'ом по другому и можно использовать type=ClusterIP ?

не можно, а нужно, наверное.

Доброе утро коллеги! У меня вопрос касательно Helm. Helm поддерживает в плане версионности чартов SemVer 2 стандарт. В моем понимани версии чартов могут быть к примеру: version: 1.2.3-dev+365 version: 1.2.3-dev+366 и т.д И естевственно все версии этих чартов будут перечислены в индексных файлах?

у меня сейчас задача по доставке приложения в кластер. Вначале это был один deployment ресурс, сейчас их уже несколько и для каждого надо будет делать kubectl patch/rollout status/rollout undo и накручивать логику по откату в случае чего. Ситуация ухудшается тем, что всё это делается через CI/CD в vsts и на каждый вызов kubectl там нужен сконфигурированный шаг. Всё это грозит скатится в малопонятное уродливое решение с кучей флагов. Я правильно понимаю, что для выката такой штуки лучше уже helm использовать? Я долго пытался его избегать, но, похоже, всё таки придётся использовать.

Да, уже лучше helm. Сам поначалу оттягивал его использование, но жить с ним в принципе вполне можно.

А почему избегать? Я пользуюсь (не админю) и мне совсем норм

потому что он поначалу воспринимается как шаблонизатор, которому зачем-то нужен какой-то тиллер в кластере и тд. Это как если бы yum свой собственный сервис в systemd

Не

Это как говорить зачем ему репка )

У юма собственный сервер в редхате ;) или где

Это как говорить зачем ему репка )

я ж про тиллер

Ну да, наверно плохое сравнение

Купил я своим програмерам 3 одинаковых макбука. Два для работы и один запасной для командировок. Специфика нашего разработческого процесса требует установки и калибровки огромного количества разного софта и скриптов и занимает часов 12 на свежем компе. Алексею так хотелось скорее начать пользовать новую машинку, что сразу после окончания рабочего дня он засел за конфигурацию новой игрушки. Просидел он, видимо, всю ночь, его обнаружили спящим в кресле перед готовым к использованию ноутом. Ребята долго не думали, забрали компьютер и поставили перед ним "запасной" макбук, на экране которого светилось сообщение: "Форматирование диска окончено. Можно начать установку операционной системы", ну или примерно так. Когда Леша проснулся, сказать, что он удивился - ничего не сказать.

Хуйня, у мака не надо ставить систему и что-то там форматировать

Вся настройка мака сводится к установке xcode + homebrew

Хуйня, у мака не надо ставить систему и что-то там форматировать

мат офф плиз

смотрите, нежный инженер в чяте

Вся настройка мака сводится к установке xcode + homebrew

Iterm2 + brew

Ну поставь brew без xcode)) сделай видос для общественности

iTerm ставится через brew cask

Вся настройка мака сводится к установке xcode + homebrew

Ага а если корпоративный прокси и своя artifactory и смарт карты для логина

Ууу, корпорейт) обычно помогает подготовленный образ диска

AutoDMG в помощь, ну если хочется все руками

Кто ж запрещает

ansible?)

AutoDMG в помощь, ну если хочется все руками

brew cask же

Вообще, коллеги, кто на GKE использует их нативный ingess? Или все на nginx'е? И правильно я понимаю, что для нормальной работы в проде нужно nginx plus покупать?

Их ingress не даёт необходимой гибкости

Это интересно. С GKE ingress должен обязательно стучаться на NodePort сервиса и никак иначе: https://github.com/kubernetes/ingress-gce#l7-load-balancing-on-kubernetes "For this to work, the Kubernetes Service must have Type=NodePort" Т.е. с nginx ingess'ом по другому и можно использовать type=ClusterIP ?

Верно пишут. Мой nginx выставлен через nodeport

потому что он поначалу воспринимается как шаблонизатор, которому зачем-то нужен какой-то тиллер в кластере и тд. Это как если бы yum свой собственный сервис в systemd

а разве это не так? какие фичи кроме шаблонизатора, реально используете? в каких сценариях?

я пока никакие. вопрос был, почему его все не хотят и я дал свою версию.

какие фичи планирую использовать - деплой

продвинутый аналог kubectl rollout и вокруг

просто как шаблонизатор он мне не нужен совсем

Верно пишут. Мой nginx выставлен через nodeport

Я про то, что вы писали, что nginx у вас стучится на ClusterIP сервисов, т.е. сервисы выставлены не через NodePort, а через ClusterIP и в статье про это. Так как всё-таки? :)

Nginx находится внутри кластера. Поэтому он ходит на ClusterIP внутренних сервисов. Для наружных запросов в кластер он выставлен через NodePort. Надеюсь, понятно объяснил?

Еше раз всем привет! Подскажите плес, что не так Через gitlab-ci делаю деплой и получаю ошибку rror from server (Forbidden): pods "helm-deploy-0" is forbidden: User "system:serviceaccount:deploy:gitlab-serviceaccount" cannot get pods in the namespace "deploy" Мой RBAC --- apiVersion: v1 kind: ServiceAccount metadata: name: gitlab-serviceaccount namespace: deploy --- kind: Role apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: gitlab-role namespace: deploy rules: - apiGroups: [""] resources: ["pods/exec"] verbs: ["get", "list"] --- kind: RoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: gitlab-rolebinding namespace: deploy subjects: - kind: ServiceAccount name: gitlab-serviceaccount namespace: deploy roleRef: kind: Role name: gitlab-role apiGroup: rbac.authorization.k8s.io

- resources: ["pods/exec"] + resources: ["pods"] ?

в init я могу скачать, но я не смогу залить дамп до запуска самого engine или можно делать дамп через копирование /var/lib - но это такое себе занятие

Мы тут решили подробнее рассказать про это. https://habr.com/company/flant/blog/417509/

Nginx находится внутри кластера. Поэтому он ходит на ClusterIP внутренних сервисов. Для наружных запросов в кластер он выставлен через NodePort. Надеюсь, понятно объяснил?

Я это понял. Так в статье и цитате, которую я привёл про Сервисы, у которых должен быть type: NodePort обязательно, если их выстпвлять наружу, через GKE ingress. А у вас, получается, сервисы имеют type:ClusterIP и ingress Nginx. И тот и тот ingress в кластере, но с GKE ingress сервисы должны быть type: NodePort. Надеюсь я тоже понятно объяснил :)

У меня нет ingress

- resources: ["pods/exec"] + resources: ["pods"] ?

Мне просто нужно что бы из контейнера в CI , запустился kubectl exec . Кажется что этих прав достаточно что бы увидеть нужный под и сделать в него exec

А, понял

тогда, видимо так: resources: ["pods", "exec"]

тогда, видимо так: resources: ["pods", "exec"]

Спасибо, попробую

а шелл какой командой делаете? Полностью можете написать?

kubectl exec -it container -- /bin/bash ?

а шелл какой командой делаете? Полностью можете написать?

kubectl exec -it helm-deploy-0 -n deploy -- helm repo update Я помнится на тестовом кластере делал, и сервис аккаунту выдывал полные права ["*"], то все работало. А тут нужно выдать только все необходимое

Еще вариант: rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "list"] - apiGroups: [""] resources: ["pods/exec"] verbs: ["create"]

Мы тут решили подробнее рассказать про это. https://habr.com/company/flant/blog/417509/

я сделал вот так в итоге. повесил инит контейнер на слейв деплоймент постгреса initContainers: - name: wait-master image: busybox command: ['sh', '-c', 'until nslookup postgresql-master; do echo waiting for master; sleep 2; done;'] - name: restore-backup image: bitnami/postgresql:9.6.5-r0 command: ['sh', '-c', "echo postgresql-master:5432:lk_api:postgres:passwd >> ~/.pgpass && chmod 0600 ~/.pgpass && pg_dump -h 192.168.88.51 -U postgres -d lk_api > lk_api.sql && psql -h postgresql-master -U postgres -d lk_api -f lk_api.sql"]

я сделал вот так в итоге. повесил инит контейнер на слейв деплоймент постгреса initContainers: - name: wait-master image: busybox command: ['sh', '-c', 'until nslookup postgresql-master; do echo waiting for master; sleep 2; done;'] - name: restore-backup image: bitnami/postgresql:9.6.5-r0 command: ['sh', '-c', "echo postgresql-master:5432:lk_api:postgres:passwd >> ~/.pgpass && chmod 0600 ~/.pgpass && pg_dump -h 192.168.88.51 -U postgres -d lk_api > lk_api.sql && psql -h postgresql-master -U postgres -d lk_api -f lk_api.sql"]

Так можно, но pg_dump начинает ерунду делать в базах с большим потоком транзакций (при бэкапе со слейва), а также совсем не подходит, когда базы доходят до 800 ГиБ.

Еще вариант: rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "list"] - apiGroups: [""] resources: ["pods/exec"] verbs: ["create"]

Да, тоже нагуглил это. Щас пробую сижу

Так можно, но pg_dump начинает ерунду делать в базах с большим потоком транзакций (при бэкапе со слейва), а также совсем не подходит, когда базы доходят до 800 ГиБ.

Мне с таким не приходилось сталкиваться Тут демо база порядка 100мб, всё пролетает моментом

Господа, подскажите пожалуйста! Слышал такую точку зрения что хранить данные в кубернетесе/докере опасно, так как не смотря на все Persistent хранилища он все-равно может их (данные) потерять. Насколько оправданы такие опасения?

Господа, подскажите пожалуйста! Слышал такую точку зрения что хранить данные в кубернетесе/докере опасно, так как не смотря на все Persistent хранилища он все-равно может их (данные) потерять. Насколько оправданы такие опасения?

Ставь в полиси Retain и ничего не удалится

Компьютеры вообще штука ненадежная

как и люди

Подскажите а что значит ? verbs: ["watch"]

Ставь в полиси Retain и ничего не удалится

Спасибо!

Ставь в полиси Retain и ничего не удалится

ну или statefulset - под ними pvc не херятся, и соответвенно pv остаются занятыми даже если грохнуть statefulset

ну или statefulset - под ними pvc не херятся, и соответвенно pv остаются занятыми даже если грохнуть statefulset

Я пробовал на k8s 1.9 с Delete делать и все удалялось. Не знаю как на 1.10 и 11

Подскажите а что значит ? verbs: ["watch"]

Пермишены на "слежку" за состоянием

ну или statefulset - под ними pvc не херятся, и соответвенно pv остаются занятыми даже если грохнуть statefulset

А если удалить PV то оно данные тоже удалит?

Я пробовал на k8s 1.9 с Delete делать и все удалялось. Не знаю как на 1.10 и 11

удалять pvc под statefulset?

А если удалить PV то оно данные тоже удалит?

pv это вольюм, который выделили под pvc

Удалял statefulset и и после этого не нашел pvc. Но я долго не стал разбиратся и поставил retain

pv это вольюм, который выделили под pvc

А изнутри это например замонтированная нфс, или iscsi.

Удалял statefulset и и после этого не нашел pvc. Но я долго не стал разбиратся и поставил retain

так не должно быть

так не должно быть

Тоже об этом же подумал. Будет возможность перепроверю

Мы тут решили подробнее рассказать про это. https://habr.com/company/flant/blog/417509/

Сильно заморочились. Чтож, тоже способ )

Еще вариант: rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "list"] - apiGroups: [""] resources: ["pods/exec"] verbs: ["create"]

Рил, помогло

кул

Ребят, а в кубе можно контейнер ставить на паузу как при обычном docker pause?

думаю нет

никогда такого не видел

А как со статикой в кубе работают ? Вот к примеру фронт представляет собой контейнер со статикой. Обычно делают nginx контейнер который сервит эту статику и дальше ingress нацеливают на него ?

cdn нету?

А как со статикой в кубе работают ? Вот к примеру фронт представляет собой контейнер со статикой. Обычно делают nginx контейнер который сервит эту статику и дальше ingress нацеливают на него ?

вполне себе вариант, если у вас не сильно большой объём

А как со статикой в кубе работают ? Вот к примеру фронт представляет собой контейнер со статикой. Обычно делают nginx контейнер который сервит эту статику и дальше ingress нацеливают на него ?

да, я делаю так. В контейнере стоит только с нжинкс специально скомпилированный с минимумом нужных модулей плюс во время билда контейнера все статический ресурсы жмутся с zopfli и brotli чтобы не тратить ЦПУ

Да как так! На одной ноде прекрасно скачивается все из приват регистри, а на другой - нет. Один и тот же деплоймент, с обоих нод успешно делаю docker login

cdn нету?

неа

к поду что запускается на node1 цепляется imageID с нужным секретом, а к поду на node2 нет

вполне себе вариант, если у вас не сильно большой объём

небольшой

Джентльмены, есть ли возможность создать каким-либо образом сервис с внешними эндпоинтами такой, чтобы k8s сам резолвил какой-то домен и подставлял туда все адреса, вываливающиеся из резолва?

Джентльмены, есть ли возможность создать каким-либо образом сервис с внешними эндпоинтами такой, чтобы k8s сам резолвил какой-то домен и подставлял туда все адреса, вываливающиеся из резолва?

https://kubernetes.io/docs/concepts/services-networking/service/#externalname

https://kubernetes.io/docs/concepts/services-networking/service/#externalname

это не балансит ни разу, это просто синейм же.

а такая же, но с балансингом есть? :)

потому что Endpoint не может содержать хост, если я правильно понял референс-апи

Напишите контроллер, 20 строк.