Подскажите если кто использует Rancher и EC2, как автоматизировать создание кластера с помощью API или CLI. Спасибо

https://toster.ru/q/572948 Правильно ли я понимаю что нужно править шаблон stolon?

Привет. Снова странный вопрос. как подружить собственные правила iptables и правила кубика? У них вообще есть шанс жить дружно?

мастер-нода впринципе игнорит правила, остальные ноды кое-как работают с запущенным netfilter-persistent, но периодически вылезают таймауты

как это мастер нода игнорит iptables?

Народ, добрый день! Нужна консультация по Kubernets, начинаем разрабатывать онлайн сервис, нужно общее понимание как/куда двигаться с Kubernets. За деньги.

Народ, добрый день! Нужна консультация по Kubernets, начинаем разрабатывать онлайн сервис, нужно общее понимание как/куда двигаться с Kubernets. За деньги.

https://kubernetes.io/docs/home/?path=users&persona=app-developer&level=foundational

не благодари

Народ, добрый день! Нужна консультация по Kubernets, начинаем разрабатывать онлайн сервис, нужно общее понимание как/куда двигаться с Kubernets. За деньги.

Гос финансирование?

доки выкурены, надо понять как теорию применять к нашей ситуации.

как это мастер нода игнорит iptables?

просто. на всех нодах DROP работает, на ней нет. На всех нодах PREROUTING работает, на ней нет.

Гос финансирование?

слава богу нет :) свой проект на свои деньги )))

Господа, такой странный вопрос: можно ли nginx-ingress указать разные авторизации для разных портов? Хочу тестовый сайт по http прикрыть basic auth, а по https - tls auth, дабы насяльника не спрашивал каждый раз, какой там логин-пароль...

Коллеги подскажите, SVC selector: app: MyApp в селекторе апп может быть несколько апп?

просто. на всех нодах DROP работает, на ней нет. На всех нодах PREROUTING работает, на ней нет.

ну такого быть не может. iptables ему плевать на куб - он будет резать все. у нас например настроено тоже

точнее работает, секунд 10, потом кубер переписывает правила и "пока"

слава богу нет :) свой проект на свои деньги )))

ну это вы так всех высококвалифицированных Хрыщей распугаете. вы определились какой кластер вам нужен? baremetal,vms, managed?

а что у вас хотя бы настроено? сами руками настраивали или что-то другое?

руками, больше ничем не могу. Сетка flannel, netfilter-persistent с правилами обычными на дроп лишнего и перенаправление портов и kube-proxy в mode iptables

kubeadm?

+

просто. на всех нодах DROP работает, на ней нет. На всех нодах PREROUTING работает, на ней нет.

Лол

ну я думала, может нюанс какой есть, буду ковыряться

Попробуй писать не в те же цепочки, в которые пишет кубер

Всем привет, кто нибудь настраивал CI/CD из teamcity в кубер? Если да поделитесь статейкой/мануалом/бест практиком ?

Всем привет, кто нибудь настраивал CI/CD из teamcity в кубер? Если да поделитесь статейкой/мануалом/бест практиком ?

я ?

но я просто bash скрипт туда впихнула, которым из сорцов хельм собирала и деплоила на кластер

Всем привет, кто нибудь настраивал CI/CD из teamcity в кубер? Если да поделитесь статейкой/мануалом/бест практиком ?

cat manifest.yml | envsubst | kubectl apply -f -

но я просто bash скрипт туда впихнула, которым из сорцов хельм собирала и деплоила на кластер

А тесты? Сборка контейнера ?

ну это вы так всех высококвалифицированных Хрыщей распугаете. вы определились какой кластер вам нужен? baremetal,vms, managed?

стараюсь поаккуратнее вопросы задавать, нервы у всех как натянутая струна :)

но я просто bash скрипт туда впихнула, которым из сорцов хельм собирала и деплоила на кластер

Где то заплакал один k8s инженер

cat manifest.yml | envsubst | kubectl apply -f -

Где то заплакал ещё один

Зачем вы заставляете рыдать инженеров?

ну если все шаги, то да, 1) сборка jar например 2) сборка образа 3) пакедж чарта 4) деплой 5) проверка

Зачем вы заставляете рыдать инженеров?

Это карма для тех кто догадался назваться k8s инженером.

Вроде бы же они это закрыли? А gitgub pages хттп только вроде

Неа https://candybox2.github.io

ага, просто не ясно отчего у меня на bootstrap контролплейн самоудалился, а ноды стучатся на старый адрес

Посмотрел у себя. bootstap-* слушают на тех же портах , что и "настоящие" поды. Бутстрап стартуют как статичные поды, используют полноценный etcd (там был режим бутстрапа с etcd, но его выпилили), к ним подключаются кублеты (думая что подключаются к полноценному control plane), затем bootkube создаёт control plane поды , они пытаются стартовать на тех же кублетах, какие то смогут (как например controller manager), какие то нет (apiserver из-за конфликта портов), но главное что оно все прописалось в кублетах, тогда bootkube удаляет статичные поды, это даёт возможность всему control plane запуститься

Посмотрел у себя. bootstap-* слушают на тех же портах , что и "настоящие" поды. Бутстрап стартуют как статичные поды, используют полноценный etcd (там был режим бутстрапа с etcd, но его выпилили), к ним подключаются кублеты (думая что подключаются к полноценному control plane), затем bootkube создаёт control plane поды , они пытаются стартовать на тех же кублетах, какие то смогут (как например controller manager), какие то нет (apiserver из-за конфликта портов), но главное что оно все прописалось в кублетах, тогда bootkube удаляет статичные поды, это даёт возможность всему control plane запуститься

ага, а что с DNS происходит? Тоже меняется или в новых аписерверах написаны новые?

ага, а я правильно понял что он нужен именно для деплоя нод с coreos, а не для организации живой загрузки по pxe?

ignition в baremetal отлично работает, он встроен в initrd и принимает URL откуда применять конфиг через kernel cmdline, т.е. можно прям в ipxe лоадере сказать откуда для этой ноды брать ignition конфиг. Для удобства можно взять matchbox, чтобы по маку находить роль,

ага, а что с DNS происходит? Тоже меняется или в новых аписерверах написаны новые?

ДНС один и тот же

bootstrap apiserver слушает с теми же сертификатами и на тех же портах что и полноценный аписервер

ignition в baremetal отлично работает, он встроен в initrd и принимает URL откуда применять конфиг через kernel cmdline, т.е. можно прям в ipxe лоадере сказать откуда для этой ноды брать ignition конфиг. Для удобства можно взять matchbox, чтобы по маку находить роль,

Тогда это уже интереснее, спасибо, на досуге посмотрю

ага, спасибо, это многое объясняет. Это единственная неудобная часть в этом процессе - DNS переключать

Тогда это уже интереснее, спасибо, на досуге посмотрю

В гитхабе есть Poseidon/typhoon проект, там терраформом намешано конечно, но в итоге все выливается в просто ignition и ipxe конфиги

ага, спасибо, это многое объясняет. Это единственная неудобная часть в этом процессе - DNS переключать

Как раз переключать не надо, зачем?

Как раз переключать не надо, зачем?

так вначале api.mycluster.com указывает на bootstrap ноду, а после бутстрапа уже на реальный мастер

@rossmohax а как там в coreos с кастомными модулями ядра обходятся?

@rossmohax а как там в coreos с кастомными модулями ядра обходятся?

Google CoreOS zfs, можно, но не очень удобно

Может ли в один ceph’овый volume быть зацеплен сразу за несколько подов?

Может ли в один ceph’овый volume быть зацеплен сразу за несколько подов?

Можно, но вы этого не хотите

Т.е., если аппликуха хочет 3 вольюма, то и создать их надо 3?

Посмотрел у себя. bootstap-* слушают на тех же портах , что и "настоящие" поды. Бутстрап стартуют как статичные поды, используют полноценный etcd (там был режим бутстрапа с etcd, но его выпилили), к ним подключаются кублеты (думая что подключаются к полноценному control plane), затем bootkube создаёт control plane поды , они пытаются стартовать на тех же кублетах, какие то смогут (как например controller manager), какие то нет (apiserver из-за конфликта портов), но главное что оно все прописалось в кублетах, тогда bootkube удаляет статичные поды, это даёт возможность всему control plane запуститься

А буквально в двух словах вы можете объяснить юзкейс. Я просто мимо проходил

А буквально в двух словах вы можете объяснить юзкейс. Я просто мимо проходил

одна нода - bootstrap - раздает все конфиги для всего кластера в виде ignition файлов

одна нода - bootstrap - раздает все конфиги для всего кластера в виде ignition файлов

Благодарствую

#whois Всем привет, я сейчас работаю над имплементацией HA postgres в kubernetes, я профессиональный фрилансер DevOps с общим опытом 14 лет, с кубером порядка года, интересно общение с коллегами, могу поделиться своим опытом где-то, сам из Новосибирска

Какой из проектов? =)

так вначале api.mycluster.com указывает на bootstrap ноду, а после бутстрапа уже на реальный мастер

Нет отдельной бутстрап ноды, одна из будущих control plane запускает bootkube в самом начале, когда bootkube отработает, нода продолжает работать

Нет отдельной бутстрап ноды, одна из будущих control plane запускает bootkube в самом начале, когда bootkube отработает, нода продолжает работать

а если HA как ноды решают кому bootkube запускать?

и вообще - куда бонба упала там и эпицентр какбы

Если HA то у вас kubelet на нодах все равно должны уметь находить живой аписервер

А bootkube запускается на всех трех нодах, в случае с тремя мастерами? Или просто на первом? хмм, может быть это особенноти нашей схемы тогда.

т.е. bootkube просто стартует кластер, но стартует его начиная с одной из контрол нод, для всех остальных кублетов это выглядит будто там живой аписервер, а на остальных контрол нодах просто ничего пока нет

А bootkube запускается на всех трех нодах, в случае с тремя мастерами? Или просто на первом? хмм, может быть это особенноти нашей схемы тогда.

Только на первом, он потом создаст daemonset/deployments для постоянного control plane и он уже расползется по нужным кублетам

ага, спасибо, тогда буду допрашивать своих отчего требуется отдельная нода для bootkube

Т..е до старта bootkube все кублеты уже должны быть запущены и стучаться в пока несуществующий аписервер через тот ha который у вас предусмотрен. Потом стартует bootkube , все кублеты радостно получают поды, какие и должны, затем bootkube самоустраняется, удаляет все Статик поды и control plane который он задеплоил живёт своей жизнью

да, но все же манифесты и прочие ассеты на одном из мастеров останутся

коллеги, немного дичи https://kubernetes.io/blog/2018/06/28/airflow-on-kubernetes-part-1-a-different-kind-of-operator/

кто-нибудь вообще пробовал airflow внутри инфры?

Народ, добрый день! Нужна консультация по Kubernets, начинаем разрабатывать онлайн сервис, нужно общее понимание как/куда двигаться с Kubernets. За деньги.

Пиши сюда, интересно же пофлеймить тематически.

коллеги, немного дичи https://kubernetes.io/blog/2018/06/28/airflow-on-kubernetes-part-1-a-different-kind-of-operator/

Больше операторов богу операторов

да, но все же манифесты и прочие ассеты на одном из мастеров останутся

Для воркер нод из ассетов только ignition и tls bootstrap token. У меня был хитрый план ignition запихать ввиде configmap в kube-public неймспейс и пусть ноды берут его оттуда, а ключ передавать через ipxe и удалять, когда нода появится в кластере

зачем конфигмап, пусть будет сервис, который по урлу выдает конфиги для нужной группы

Вот ещё, сервис писать/держать :)

Подскажите, почему volume не создаются, а только claim’ы висят? λ kubectl get pvc --all-namespaces NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE prometheus prometheus-alertmanager Pending ceph-class 8m prometheus prometheus-grafana Pending ceph-class 8m prometheus prometheus-server Pending ceph-class 8m

Класс есть kubectl get sc NAME PROVISIONER AGE ceph-class (default) kubernetes.io/rbd 1d

Или я тупой и нужное ко-во volume’ов нужно создать руками? А классы только для группировки?

1. как создаёшь 2. чё там в логе

kubectl describe pvc prometheus-alertmanager ?

Так, тут понял, накосячил с секретами. PVC будет сам долбиться через какой-то интервал до посинения или его как-то взбодрить нужно?

Всё, вижу - зацеились

Как бы понять почему так долго? $ kubectl get po -n prometheus NAME READY STATUS RESTARTS AGE prometheus-alertmanager-6b8897ddfc-9m9dd 0/2 ContainerCreating 0 29m prometheus-grafana-9dc745b68-hnv97 0/2 ContainerCreating 0 29m prometheus-kube-state-metrics-8668948654-ql8xk 1/1 Running 0 29m prometheus-node-exporter-2fdsp 1/1 Running 0 29m prometheus-node-exporter-65tw7 1/1 Running 0 29m prometheus-node-exporter-kd9pp 1/1 Running 0 29m prometheus-server-78f564dfdb-5t4j8 0/2 Init:0/1 0 29m

через describe

Какой из проектов? =)

Что вы имеете в виду?

Круто, блин. Он в том namespace тоже пытается искать секрет. Создал. Теперь в descibe вообще чудеса. Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 38m default-scheduler Successfully assigned prometheus/prometheus-server-78f564dfdb-5t4j8 to rancher01 Normal SuccessfulAttachVolume 38m attachdetach-controller AttachVolume.Attach succeeded for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" Warning FailedMount 8m (x4285 over 38m) kubelet, rancher01 MountVolume.NewMounter initialization failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : Couldn't get secret prometheus/ceph-secret-user err: secrets "ceph-secret-user" not found Warning FailedMount 2m (x2 over 3m) kubelet, rancher01 (combined from similar events): MountVolume.WaitForAttach failed for volume "pvc-9cdbd25d-d5f3-11e8-8dc0-5254000172f3" : rbd: map failed exit status 2, rbd output: 2018-10-22 12:47:07.513732 7fd48ffb4100 -1 did not load config file, using default settings. 2018-10-22 12:47:07.518699 7fd48ffb4100 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.kube.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory libkmod: ERROR ../libkmod/libkmod.c:586 kmod_search_moddep: could not open moddep file '/lib/modules/4.4.0-135-generic/modules.dep.bin' modinfo: ERROR: Module alias rbd not found. modprobe: ERROR: ../libkmod/libkmod.c:586 kmod_search_moddep() could not open moddep file '/lib/modules/4.4.0-135-generic/modules.dep.bin' modprobe: FATAL: Module rbd not found in directory /lib/modules/4.4.0-135-generic rbd: failed to load rbd kernel module (1) rbd: sysfs write failed In some cases useful info is found in syslog - try "dmesg | tail" or so. rbd: map failed: (2) No such file or directory

Что вы имеете в виду?

Ну ща для посгреса много реализаий, ha, думал представляете конкретный проект, тут были парни kubedb допиливать собрались

в чатике запахло ceph'ом

Ага, им ?

Только я не могу определить, что в этой цепочке косячит. rancher2 или ceph

Только я не могу определить, что в этой цепочке косячит. rancher2 или ceph

вы пробовали rke fix-cluster ?

нет

Там кластер-то на 3-х машиках + сам ранчер сервер

И на нём нет ничего, что мого бы успеть сломаться.

Ну ща для посгреса много реализаий, ha, думал представляете конкретный проект, тут были парни kubedb допиливать собрались

мы пытаемся столон реализовать для себя, но что-то производительность оставляет желать лучшего

И на нём нет ничего, что мого бы успеть сломаться.

обратите внимание на rbd: failed to load rbd kernel module

но ведь столон юзает обычный постгрес?

вы пробовали rke fix-cluster ?

rke open-ceph-user-level-docs

или вы его на какой-нибудь ceph посадили?