« Rev
@kubernetes_ru   1086
Fwd »


Ilia
Подскажите если кто использует Rancher и EC2, как автоматизировать создание кластера с помощью API или CLI. Спасибо
Anton
https://toster.ru/q/572948 Правильно ли я понимаю что нужно править шаблон stolon?
Nata
Привет. Снова странный вопрос. как подружить собственные правила iptables и правила кубика? У них вообще есть шанс жить дружно?
Nata
мастер-нода впринципе игнорит правила, остальные ноды кое-как работают с запущенным netfilter-persistent, но периодически вылезают таймауты
Mr.
как это мастер нода игнорит iptables?
Maxim
Народ, добрый день! Нужна консультация по Kubernets, начинаем разрабатывать онлайн сервис, нужно общее понимание как/куда двигаться с Kubernets. За деньги.
Mr.
не благодари
Maxim
доки выкурены, надо понять как теорию применять к нашей ситуации.
Nata
как это мастер нода игнорит iptables?
просто. на всех нодах DROP работает, на ней нет. На всех нодах PREROUTING работает, на ней нет.
Maxim
Гос финансирование?
слава богу нет :) свой проект на свои деньги )))
Stanislav
Господа, такой странный вопрос: можно ли nginx-ingress указать разные авторизации для разных портов? Хочу тестовый сайт по http прикрыть basic auth, а по https - tls auth, дабы насяльника не спрашивал каждый раз, какой там логин-пароль...
Alexander
Коллеги подскажите, SVC selector: app: MyApp в селекторе апп может быть несколько апп?
Mr.
просто. на всех нодах DROP работает, на ней нет. На всех нодах PREROUTING работает, на ней нет.
ну такого быть не может. iptables ему плевать на куб - он будет резать все. у нас например настроено тоже
Nata
точнее работает, секунд 10, потом кубер переписывает правила и "пока"
bebebe
слава богу нет :) свой проект на свои деньги )))
ну это вы так всех высококвалифицированных Хрыщей распугаете. вы определились какой кластер вам нужен? baremetal,vms, managed?
Mr.
а что у вас хотя бы настроено? сами руками настраивали или что-то другое?
Nata
руками, больше ничем не могу. Сетка flannel, netfilter-persistent с правилами обычными на дроп лишнего и перенаправление портов и kube-proxy в mode iptables
Mr.
kubeadm?
Nata
+
Nata
Nata
ну я думала, может нюанс какой есть, буду ковыряться
Andor
Попробуй писать не в те же цепочки, в которые пишет кубер
Denis
Всем привет, кто нибудь настраивал CI/CD из teamcity в кубер? Если да поделитесь статейкой/мануалом/бест практиком ?
Nata
но я просто bash скрипт туда впихнула, которым из сорцов хельм собирала и деплоила на кластер
bebebe
cat manifest.yml | envsubst | kubectl apply -f -
Где то заплакал ещё один
bebebe
Зачем вы заставляете рыдать инженеров?
Nata
ну если все шаги, то да, 1) сборка jar например 2) сборка образа 3) пакедж чарта 4) деплой 5) проверка
Dmitrii
Зачем вы заставляете рыдать инженеров?
Это карма для тех кто догадался назваться k8s инженером.
G72K
ага, просто не ясно отчего у меня на bootstrap контролплейн самоудалился, а ноды стучатся на старый адрес
Посмотрел у себя. bootstap-* слушают на тех же портах , что и "настоящие" поды. Бутстрап стартуют как статичные поды, используют полноценный etcd (там был режим бутстрапа с etcd, но его выпилили), к ним подключаются кублеты (думая что подключаются к полноценному control plane), затем bootkube создаёт control plane поды , они пытаются стартовать на тех же кублетах, какие то смогут (как например controller manager), какие то нет (apiserver из-за конфликта портов), но главное что оно все прописалось в кублетах, тогда bootkube удаляет статичные поды, это даёт возможность всему control plane запуститься
G72K
ага, а я правильно понял что он нужен именно для деплоя нод с coreos, а не для организации живой загрузки по pxe?
ignition в baremetal отлично работает, он встроен в initrd и принимает URL откуда применять конфиг через kernel cmdline, т.е. можно прям в ipxe лоадере сказать откуда для этой ноды брать ignition конфиг. Для удобства можно взять matchbox, чтобы по маку находить роль,
G72K
bootstrap apiserver слушает с теми же сертификатами и на тех же портах что и полноценный аписервер
Vadim
ага, спасибо, это многое объясняет. Это единственная неудобная часть в этом процессе - DNS переключать
G72K
Тогда это уже интереснее, спасибо, на досуге посмотрю
В гитхабе есть Poseidon/typhoon проект, там терраформом намешано конечно, но в итоге все выливается в просто ignition и ipxe конфиги
Vadim
Как раз переключать не надо, зачем?
так вначале api.mycluster.com указывает на bootstrap ноду, а после бутстрапа уже на реальный мастер
𝚔𝚟𝚊𝚙𝚜
@rossmohax а как там в coreos с кастомными модулями ядра обходятся?
Peter
Может ли в один ceph’овый volume быть зацеплен сразу за несколько подов?
Peter
Т.е., если аппликуха хочет 3 вольюма, то и создать их надо 3?
Vadim
А буквально в двух словах вы можете объяснить юзкейс. Я просто мимо проходил
одна нода - bootstrap - раздает все конфиги для всего кластера в виде ignition файлов
G72K
так вначале api.mycluster.com указывает на bootstrap ноду, а после бутстрапа уже на реальный мастер
Нет отдельной бутстрап ноды, одна из будущих control plane запускает bootkube в самом начале, когда bootkube отработает, нода продолжает работать
Vadim
и вообще - куда бонба упала там и эпицентр какбы
G72K
Если HA то у вас kubelet на нодах все равно должны уметь находить живой аписервер
Vadim
А bootkube запускается на всех трех нодах, в случае с тремя мастерами? Или просто на первом? хмм, может быть это особенноти нашей схемы тогда.
G72K
т.е. bootkube просто стартует кластер, но стартует его начиная с одной из контрол нод, для всех остальных кублетов это выглядит будто там живой аписервер, а на остальных контрол нодах просто ничего пока нет
G72K
А bootkube запускается на всех трех нодах, в случае с тремя мастерами? Или просто на первом? хмм, может быть это особенноти нашей схемы тогда.
Только на первом, он потом создаст daemonset/deployments для постоянного control plane и он уже расползется по нужным кублетам
Vadim
ага, спасибо, тогда буду допрашивать своих отчего требуется отдельная нода для bootkube
G72K
Т..е до старта bootkube все кублеты уже должны быть запущены и стучаться в пока несуществующий аписервер через тот ha который у вас предусмотрен. Потом стартует bootkube , все кублеты радостно получают поды, какие и должны, затем bootkube самоустраняется, удаляет все Статик поды и control plane который он задеплоил живёт своей жизнью
Vadim
да, но все же манифесты и прочие ассеты на одном из мастеров останутся
bebebe
коллеги, немного дичи https://kubernetes.io/blog/2018/06/28/airflow-on-kubernetes-part-1-a-different-kind-of-operator/
bebebe
кто-нибудь вообще пробовал airflow внутри инфры?
G72K
да, но все же манифесты и прочие ассеты на одном из мастеров останутся
Для воркер нод из ассетов только ignition и tls bootstrap token. У меня был хитрый план ignition запихать ввиде configmap в kube-public неймспейс и пусть ноды берут его оттуда, а ключ передавать через ipxe и удалять, когда нода появится в кластере
Vadim
зачем конфигмап, пусть будет сервис, который по урлу выдает конфиги для нужной группы
G72K
Вот ещё, сервис писать/держать :)
Peter
Подскажите, почему volume не создаются, а только claim’ы висят? λ kubectl get pvc --all-namespaces NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE prometheus prometheus-alertmanager Pending ceph-class 8m prometheus prometheus-grafana Pending ceph-class 8m prometheus prometheus-server Pending ceph-class 8m
Peter
Класс есть kubectl get sc NAME PROVISIONER AGE ceph-class (default) kubernetes.io/rbd 1d
Peter
Или я тупой и нужное ко-во volume’ов нужно создать руками? А классы только для группировки?
PsyDebug
1. как создаёшь 2. чё там в логе
Anton
kubectl describe pvc prometheus-alertmanager ?
Peter
Так, тут понял, накосячил с секретами. PVC будет сам долбиться через какой-то интервал до посинения или его как-то взбодрить нужно?
Peter
Всё, вижу - зацеились
« Rev
@kubernetes_ru   1086
Fwd »