Mr.Strange
во-первых, непонятно зачем тут ингресс
@gecube, а можно пояснить как без ингресса?
George
от задачи зависит, но вообще у вас высокий порт - следовательно его можно и через ноде порт или хост режим опубликовать
Mr.Strange
ок, спасибо)
𝚔𝚟𝚊𝚙𝚜
т.е одним ингрессом нельзя это разрулить, он будет слушать 80, 443, 48080?
Сервисом типа LoadBalancer можно роутить с 48080 сразу на 80
𝚔𝚟𝚊𝚙𝚜
@gecube, а можно пояснить как без ингресса?
Сервисом типа LoadBalancer можно также выставить аппликуху сразу наружу
𝚔𝚟𝚊𝚙𝚜
или nodePort
Mr.Strange
не много наверное неправильно пояснил ... у меня есть андроид приложение, которое стучится к сервису внутри кубера по dns:48080, сам сервис в кубере слушает другой порт 8080, т.е мне нужно принимать dns:48080 и перенаправлять его на service:8080 ... Плюс к этому там есть dns:48080/path, который тоже нужно перенаправлять на другой сервис в кубере ... поэтому скорее всего здесь без ингресса никак
George
ну, и ес-но - это хттп?
Mr.Strange
да
George
тогда - да, либо энжинкс в поде, либо, что нативнее для куба - ингресс вешать на 48080
Mr.Strange
вот я уткнулся в повесить ингресс на 48080.
Mr.Strange
ports: - containerPort: 80 hostPort: 80 name: http protocol: TCP - containerPort: 443 hostPort: 443 name: https protocol: TCP - containerPort: 48080 hostPort: 48080 name: http48080 protocol: TCP Добавил доп порт в ds для ингресс-контроллера, но он почему-то ни в какую не хочет слушать доп порт
Anonymous
Парни, вопрос. Пытаюсь подружить кубер и кри-о: kubelet --container-runtime=remote --container-runtime-endpoint=unix:///var/run/crio/crio.sockна что получаю: I0103 09:04:20.337132 9074 controlbuf.go:508] transport: loopyWriter.run returning. connection error: desc = "transport is closing" W0103 09:04:20.337550 9074 clientconn.go:1120] grpc: addrConn.createTransport failed to connect to {/var/run/crio/crio.sock 0 <nil>}: didn't receive server preface in time. Reconnecting... I0103 09:04:20.337638 9074 balancer_conn_wrappers.go:127] pickfirstBalancer: HandleSubConnStateChange: 0xc00018bd30, TRANSIENT_FAILURE I0103 09:04:20.337683 9074 controlbuf.go:508] transport: loopyWriter.run returning. connection error: desc = "transport is closing"crictl info { "status": { "conditions": [ { "type": "RuntimeReady", "status": true, "reason": "", "message": "" }, { "type": "NetworkReady", "status": true, "reason": "", "message": "" } ] } }curl --unix-socket /var/run/crio/crio.sock http://localhost/info|jq % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 239 100 239 0 0 233k 0 --:--:-- --:--:-- --:--:-- 233k { "storage_driver": "overlay", "storage_root": "/var/lib/containers/storage", "cgroup_driver": "systemd", "default_id_mappings": { "uids": [ { "container_id": 0, "host_id": 0, "size": 4294967295 } ], "gids": [ { "container_id": 0, "host_id": 0, "size": 4294967295 } ] } } ``` В какую сторону копать?
Maksim
Наконец-то у нас тут человек который разбирается в алкоголе))))
Anonymous
centos 8, кубер 1.17, кри-о 1.15.1
Anonymous
что я пью, вы врядли оцените :)
NM
centos 8, кубер 1.17, кри-о 1.15.1
Ставить 1.15 не выше
Anonymous
Отделение Bereke Bank
centos 8, кубер 1.17, кри-о 1.15.1
падажжи. А как же RHEL 8 does not support switching to legacy mode, and is therefore incompatible with current kubeadm packages ?
NM
Собирать самому, я сам собирал 1.17 с поддержкой crio.wipe и и собирал containerd + runc
Dmitry
ports: - containerPort: 80 hostPort: 80 name: http protocol: TCP - containerPort: 443 hostPort: 443 name: https protocol: TCP - containerPort: 48080 hostPort: 48080 name: http48080 protocol: TCP Добавил доп порт в ds для ингресс-контроллера, но он почему-то ни в какую не хочет слушать доп порт
Если юзаешь hostPort попробуй просто hostPort: 48080, containerPort: 80 (если это https то 443). hostPort это по сути обычный nat, и он тебе замапит порт. Я так понял у тебя http, а если нет, то ingress и tcp умеет.
Dmitry
ports: - containerPort: 80 hostPort: 80 name: http protocol: TCP - containerPort: 443 hostPort: 443 name: https protocol: TCP - containerPort: 48080 hostPort: 48080 name: http48080 protocol: TCP Добавил доп порт в ds для ингресс-контроллера, но он почему-то ни в какую не хочет слушать доп порт
и ports в поде никак не влияет на порты, которые будет слушать приложение в контейнере. Это просто способ именовать порты, или мапить их через hostPort.
Anonymous
Ставить 1.15 не выше
еще раз спасибо, все заработало!
Отделение Bereke Bank
kubernetes научился работать с nftables?
Dmitry
ports: - containerPort: 80 hostPort: 80 name: http protocol: TCP - containerPort: 443 hostPort: 443 name: https protocol: TCP - containerPort: 48080 hostPort: 48080 name: http48080 protocol: TCP Добавил доп порт в ds для ингресс-контроллера, но он почему-то ни в какую не хочет слушать доп порт
А если используешь hostNetwork: true. То тебе нужно заставить твой ingress слушать тебе нужный порт. Для этого можешь snippet внедрить, или шаблон кастомизировать если это nginx.
Dmitry
kubernetes научился работать с nftables?
hostPort работает через iptables вроде. Надо проверить, но у меня нигде его нет(hostPort'а) , поэтому лень.
Serega
Ставить 1.15 не выше
Какие были проблемы с 1.16?
Dmitry
ports: - containerPort: 80 hostPort: 80 name: http protocol: TCP - containerPort: 443 hostPort: 443 name: https protocol: TCP - containerPort: 48080 hostPort: 48080 name: http48080 protocol: TCP Добавил доп порт в ds для ингресс-контроллера, но он почему-то ни в какую не хочет слушать доп порт
И еще добавлю. Конечно это можно все исправить, как я писал выше. Но вот это вот "менять порт нельзя", такое себе. Тоже работаю с мобильной разработкой, тоже прогеры юзали порты 10xxx, тоже говорили менять нельзя. Но вот часто мобильные провайдеры режут не стандартные порты. Идёшь в гугл отзывы, ищешь отзывы которые скорее всего связаны с этой проблемой. Идёшь с этой инфой к менеджерам, и проблема решается, если правда она сильно афеткит юзеров. Ну с другой стороны зачем вообще так делать, и иметь какие-то проблемы, когда их можно не иметь, так можно менеджеру и сказать =).
NM
еще раз спасибо, все заработало!
Там просто многое поменяли :-)
NM
Какие были проблемы с 1.16?
Исходники глядел в части вызовор с runc - много поменяли там в 1.16 и выше. Поэтому откат на 1.15
Андрей А
возникла следующая проблема: довольно крупный docker-образ медленно пушится в docker-registry, если сталкивались, то как решали?
Oleg
knative созрел? есть у кого в проде?
Mr.Strange
Господа, всем спасибо за помощь. @identw, да, hostPort 48080, containerPort: 80 - работает. А насчет поговорить с манагерами, то они в курсе, просто там очень старая апликуха, она давно в продеи на данном этапе пока ее не менять не собираются, но в будущем, я думаю, что apk будет пересобрана и в ней уже не будет жестко забит порт 48080.
Dmitry
О, я чет пропустил. А вы заметили что от текущей федерации отказались: Use of Federation v1 is strongly discouraged. Federation V1 never achieved GA status and is no longer under active development. Documentation is for historical purposes only. For more information, see the intended replacement, Kubernetes Federation v2. И видимо решили пилить новую. И рекомендуют ее: https://kubernetes.io/docs/concepts/cluster-administration/federation/
Dmitry
Но ведь... Не рекомендуют, а не отказались) а разработка над второй версией вродь уже давненько была =)
хз: Federation V1 never achieved GA status and is no longer under active development - считай на эту версию забили и пилят с нуля.
Андрей
привет. знатоки, подскажите. На машине установлен minikube c vm-driver=none. запущено порядка 8 деплойментов и пару persistentVolumes. Наблюдаю такую картину [root@ip-10-123-2-150 full-app]# df -h Filesystem Size Used Avail Use% Mounted on /dev/nvme0n1p1 30G 11G 20G 36% / devtmpfs 7.7G 0 7.7G 0% /dev tmpfs 7.7G 0 7.7G 0% /dev/shm tmpfs 7.7G 26M 7.7G 1% /run tmpfs 7.7G 0 7.7G 0% /sys/fs/cgroup overlay 30G 11G 20G 36% /var/lib/docker/overlay2/9ce473bcd4bf4782e3c08f36af895e953d3ac3e0bb2500a6f0310472f08ec3bd/merged overlay 30G 11G 20G 36% /var/lib/docker/overlay2/02e2b87d2fe9fda7426b0d8d77b6ec121dca53845994fd210a8fc4ab3873f0c7/merged overlay 30G 11G 20G 36% /var/lib/docker/overlay2/8caef8729920329fb4ff23c940a06b3eb62fd2c2d0156006b2ac278bad7c4f2f/merged shm 64M 0 64M 0% /var/lib/docker/containers/4f51c302a60751f98270a27d057252504d056598ef8696c1b69161cea058504d/mounts/shm overlay 30G 11G 20G 36% /var/lib/docker/overlay2/863b5a584a8a14118b31df77fdc1f4c5af398be742dca91b16710021e6cc1e6f/mergedну и дальше в таком роде. всего порядка 100 это вообще нормально и откуда так много файл систем?
Андрей
Это всратый докер. Этим все сказано
sophisticated solution ) ну раз это норма, то ладно
IL'shat
А есть баш скрипт с готовыми настройками для кубера? Чет типа доккер композа, чтобы пусканул и оно все подняло
Tuntsov
Не баш, конечно, но башовое вкрапление имеется
inqfen
rke один бинарник, надо только ямлик конфига написать
IL'shat
Спасибо, гляну, да один кубер на одном хосте и внутри штук 20 доккеров поднять
Alexander
CQRS
спасибо :)
точняк.
Anton
какой побочный эффект может быть от увеличения количества реплик (с 1) деплоймента дефолтного nginx ингресс контроллера?
inqfen
А там точно деплоймент, а не демонсет?
Отделение Bereke Bank
Да никакого не должно быть. Он же stateless
inqfen
Обычно таки демонсет делают
inqfen
Ну тогда никакого
Anton
Да никакого не должно быть. Он же stateless
ну мож там какие-то временные знания о каких-то привязках http сессий к подам
Victor
Видел как го-процесс ингресса упирался в одно ядро процессора и от этого подтупливал
inqfen
Го процесс ингресса
inqfen
Что это?
Отделение Bereke Bank
Очевидно процесс ингресса написанного на GOвне
Victor
У него есть процесс, который поллит apiserver на предмет ендпоинтов и пропихивает правила в lua-структуру шаренную
inqfen
Ну, не надо вместо ингресса просто какую-то хуету ставить
inqfen
Он же жрёт примерно нисколько
George
дефолтно — деплоймент
не надо деплойментом
Victor
Не все вордпресс в кубе крутят, как бы
George
деплоймент же не умеет по умолчанию распределяться по всем нодам как надо )
inqfen
Не все вордпресс в кубе крутят, как бы
Даже у кого не вордпресс странно
inqfen
У меня пара сотен ингрессов была, все ок
inqfen
Но вообще да, все обычно делают демонсет
Victor
Ну вот когда их мало, можно такое увидеть через exec в контейнер с ним
inqfen
И выделяют определённые ноды, на которых только ингресс
George
проще демонсетом ) или если нужно на выделенные ноды - ну, ок пускай будет деплоймент, но с кучей антиаффинити