дефолтовый от prometheus

Привет

Гугловый вариант юзабелен?

Есть к нему конкретные вопросы?

А есть не гугловый вариант?)

Я про google container

В части gcp

почему нет?

учитывая что до 1.7 кубер делался по сути гуглом

привет, чем деплоить в этот ваш кубернейтес, чтоб из CI

модный ответ: спиннакером, но есть нюансы

модный ответ: спиннакером, но есть нюансы

как он в жизни, а не на картинках?

народ а кто в курсе почему входящие пакеты на externalIP могут отбрасываться как martian source? - уже всю голову сломал

как он в жизни, а не на картинках?

там нужно понимать саму модель разработки инженеры нетфликса пилют его как бы опенсорс, но пилят его специфично для внутренних нужд самого нетфликса, а от комьюнити - велком то контрибьют отсюда например странная особенность, что архитектурно spinnaker нельзя поставить без уже имеющегося облака

и так со многими их продуктами

ну так в куб же его можно поставить? чем не облако?

да, но если у тебя нет куба - нет мультиков

причем проблема происходит только тогда, когда я обращаюсь к kubeproxy: PREROUTING: IN=br0.100 OUT= MAC=fa:a3:18:af:cd:c7:44:31:92:73:c8:76:08:00 SRC=1.2.3.4 DST=5.6.7.8 LEN=60 TOS=0x00 PREC=0x00 TTL=61 ID=19612 DF PROTO=TCP SPT=28543 DPT=80 WINDOW=29200 RES=0x00 SYN URGP=0 IPv4: martian source 10.244.79.2 from 1.2.3.4, on dev br0.100 ll header: 00000000: fa a3 18 af cd c7 44 31 92 73 c8 76 08 00 ......D1.s.v..где: 1.2.3.4 - это мой внешний ip 5.6.7.8 - это внешний ip одной из нод Kubernetes'а висит на br.100 10.244.79.2 - под

собственно ему нужно подсунуть вольюмы и инслать чартом stable/spinnaker который тянет за собой jenkins (они с декабря выпилили возможность запускать какие-либо команды, типа тот же hello world) и запускают только через jenkins и еще тянет minio,redis

В INPUT они даже не попадают

во дела

есть вопрос по nginx-ingress. не понимаю зачем на 443 порту в контейнере слушает nginx-ingress-controller, а не сам nginx?

@amaksimov ping

есть вопрос по nginx-ingress. не понимаю зачем на 443 порту в контейнере слушает nginx-ingress-controller, а не сам nginx?

100% ??

LISTEN 0 0 :::443 :::* users:(("nginx-ingress-c",pid=7,fd=3))

ну делааа

netstat -natp | grep kube tcp 0 0 1.2.3.4:80 0.0.0.0:* LISTEN 4875/kube-proxy- а это значит что kube-proxy работает в userspace mode?

или не значит?

кубе-прокси работает в userspace в любом случае. Как он роутит - зависит от параметров запуска.

ps auxwwww | grep kube-proxy

LISTEN 0 0 :::443 :::* users:(("nginx-ingress-c",pid=7,fd=3))

гуглю, похоже что я зря гоню, он должен по умолчанию запускаться без ssl passthrough

/usr/local/bin/kube-proxy --kubeconfig=/var/lib/kube-proxy/kubeconfig.conf --cluster-cidr=10.244.0.0/16cat /var/lib/kube-proxy/kubeconfig.confapiVersion: v1 kind: Config clusters: - cluster: certificate-authority: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt server: https://10.36.11.20:6443 name: default contexts: - context: cluster: default namespace: default user: default name: default current-context: default users: - name: default user: tokenFile: /var/run/secrets/kubernetes.io/serviceaccount/token

кубе-прокси работает в userspace в любом случае. Как он роутит - зависит от параметров запуска.

Я к тому что это нормально, что он 80 порт слушает? Насколько я понимаю если он роутит в iptables то он должен просто правило добавлять

хм, правило кстати есть

у меня не слушает в iptables mode

` --proxy-mode ProxyMode Which proxy mode to use: 'userspace' (older) or 'iptables' (faster). If blank, use the best-available proxy (currently iptables). If the iptables proxy is selected, regardless of how, but the system's kernel or iptables versions are insufficient, this always falls back to the userspace proxy. `

ага, значит это fallback!

наверное стоит запустить сервис какой-нибудь и посмотреть изменились правила iptables или нет

благодарю

правила меняются

причем проблема происходит только тогда, когда я обращаюсь к kubeproxy: PREROUTING: IN=br0.100 OUT= MAC=fa:a3:18:af:cd:c7:44:31:92:73:c8:76:08:00 SRC=1.2.3.4 DST=5.6.7.8 LEN=60 TOS=0x00 PREC=0x00 TTL=61 ID=19612 DF PROTO=TCP SPT=28543 DPT=80 WINDOW=29200 RES=0x00 SYN URGP=0 IPv4: martian source 10.244.79.2 from 1.2.3.4, on dev br0.100 ll header: 00000000: fa a3 18 af cd c7 44 31 92 73 c8 76 08 00 ......D1.s.v..где: 1.2.3.4 - это мой внешний ip 5.6.7.8 - это внешний ip одной из нод Kubernetes'а висит на br.100 10.244.79.2 - под

Я просто природу martian source пакетов во входящем интерфейсе понять не могу

гуглю, похоже что я зря гоню, он должен по умолчанию запускаться без ssl passthrough

с версии 0.9.0-beta.12: SSL passthrough is disabled by default. To enable the feature use --enable-ssl-passthrough

Я просто природу martian source пакетов во входящем интерфейсе понять не могу

На машине есть правила роутинга для сети подов?

хмм

отдельных правил нет если я использую один из локальных адресов ноды как externalIP для сервиса, то все работает отлично

но если я добавляю какой-нибудь внешний IP-адрес на одну из нод и указываю его как externalIP для сервиса, то внешние пакеты на этот IP дальше PREROUTING не уходят

дропаются ядром как martian source

при этом если rp_filtering отключить, оно вообще работает без default route для этого IP о__О

откуда он знает в какой интерфес ему ответные пакеты слать, для меня тоже загадка

На машине есть правила роутинга для сети подов?

прописал роут для сети подов и заработало, спасибо ip rule add from 10.244.0.0/16 lookup mytable

Но это вообще здоровое решение? :) И что если у меня несколько таких таблиц, для каждой таблицы такое правило прописать?

вопрос ставит меня в тупик если честно. Если конфигурация этого требует - я прописываю, не требует, не прописываю :)

у меня сеть подов совпадает с сетью docker0 на интерфейсе.

огромное тебе спасибо, дружище!

?

Приветствую. У меня вопрос: Кто-нибудь сталкивался с тем, что при создании external контейнера, зависает на pending? kubectl get services: nginx 10.110.42.173 <pending> 80:80/TCP 20m Если создавать internal, то все окей: nginx-internal 10.107.207.123 <none> 33334/TCP 7m

В describe не написано почему? (Это так, мысли вслух)

В describe не написано почему? (Это так, мысли вслух)

не будет

pending означает, что нет подходящих нод

тут надо смотреть логи кублета

хмм

https://www.hashicorp.com/blog/hashicorp-vault-0-8-3/ вдруг кто не видел

может нужно создать отдельно External endpoints?

https://www.hashicorp.com/blog/hashicorp-vault-0-8-3/ вдруг кто не видел

спасибо! Kubernetes Auth Backend Vault 0.8.3 introduces native Kubernetes auth backend that allows Kubernetes pods to directly receive and use Vault auth tokens without additional integration components.

привет, чем деплоить в этот ваш кубернейтес, чтоб из CI

Gitlab CI может

привет, чем деплоить в этот ваш кубернейтес, чтоб из CI

У нас дженкинс

У нас дженкинс

а чем kubectl не подходит?

а чем kubectl не подходит?

kubectl сам себя не запускает

угу, этим занимается дженкинс

User "system:anonymous" cannot get path "/ui/". это из-за RBAC?

вестимо )

Всем, привет! Вопрос совсем немного не в тему, но по теме. У меня есть образ в котором поднимается rabbimq, который в свою очередь запускает epmd демон. Так вот при порождении потомков демоном epmd, эти самые потомки превращаются в зомби. Сообщение это пишу сюда лишь потому, что в кубере все родительские процессы порождаются процессом /pause, в а чистом докере нет. Так вот если запускать этот образ из чистого докера, то никаких зомби нет, а в случае с кубером - они создаются. У кого есть rabbitmq в проекте. Может кто-то сталкивался с этим?

да

Точно!

Gitlab CI может

а можно примерчик gitlab-ci.yml файлика? или пошлите меня куда-нибудь по ссылке, буду благодарен

а можно примерчик gitlab-ci.yml файлика? или пошлите меня куда-нибудь по ссылке, буду благодарен

https://docs.gitlab.com/ee/ci/autodeploy/quick_start_guide.html

спасибо!

Там правда в автодеплое шаблон зверский. Сразу фиг поймёшь. Ещё вариант https://habrahabr.ru/company/flant/blog/332712/ тут попроще всё

http://www.dasblinkenlichten.com/kubernetes-101-networking/ интересно про сеть.

баян 15 года, но по факту еще актуален

ну не во всех кейсах конечно

Обесценивание как оно есть :)

Народ, а в к-ве best practice рекомендуется все-таки создавать Deployments, а не чисто pod?

смотря чего ты хочешь добиться

Народ, а в к-ве best practice рекомендуется все-таки создавать Deployments, а не чисто pod?

Я с каких-то пор только деплойменты создаю.

смотря чего ты хочешь добиться

Как минимум хочу иметь auto healing у приложения

я просто попробовал и то, и то и не понял в чем фундаментальная разница

Разве что deployment в итоге создаст под

как раз в ауто хилинге ))

-))) facepalm

деплой это котроллер обновление пода)

там пишется история изи rollback делается и т.п.

плюс автоскелинг

спасибо за объяснение)

User "system:anonymous" cannot get path "/ui/". это из-за RBAC?

А как сделать по человечески что бы не через kubectl proxy заходить?

Ребята, дайте совет. Я хочу внутри кластера собирать метрики с nginx-vts ингресс-контроллера. Контроллер у меня - это поды с hostNetwork=true. То есть, они смотрят прямо в интернет. Я, конечно, могу создать контейнер с експортером, который будет читать прямо с внешнего адреса, но я хочу через внутренний сервис. Как это сделать? Пробовал создать сервис, но он мне возвращает дефолтную страницу nginx...

это к аннтоациям