У меня почти так и сделано только руками приготовил 1 ВМ котррую расклонировал

ноды могут косячить потому что у них либо своп либо правила не писаны в iptables и пр

проще создать одну тачку и ее реплицировать уже

Короче лучше приготовить полноценную ВМ и потом сделоать копий.

Норм идея)

ну явно не 10 нод с нуля сетапить;)

Ребят, а какой еще есть метод пробросить трафик на ingress controller с сохранением ip клиента, кроме как использовать хостовую сеть? При использовании external ip все запросы идут с этого же ip, что логично

Мы решили проблему через отдельный балансер, который передает ip клиентов в xff заголовке

Мы решили проблему через отдельный балансер, который передает ip клиентов в xff заголовке

Многие так делают, но еще один хоп…

Оно и так на отдельных: daemonset c nodeselector и ip адресами прописанными на всех этих нодах. А с хост сетью нормальный апдейт nginx не сделаешь, порты то заняты

Да, мы это решили подстраховочным ingress controller'ом на каждой ноде и хитрыми правилами в iptables.

Короче лучше приготовить полноценную ВМ и потом сделоать копий.

какой дист? я брал ubuntu 16.04 как самую безпроблемную. kubeadm сразу все завел. дальше боль с первыми deployment/service/ingress и дальше уже ок. ingress-controller проще сразу через helm ставить.

какой дист? я брал ubuntu 16.04 как самую безпроблемную. kubeadm сразу все завел. дальше боль с первыми deployment/service/ingress и дальше уже ок. ingress-controller проще сразу через helm ставить.

Дебиан 9

Я раньше сидел на centos7, но после рандомных проблем с docker просто перешел на ubuntu 16.04 и все стало менее рандомно. По ощущениям разработчики docker только на ubuntu 16.04 смотрят.

Рандомне проблемы это "закончились семафоры в udev, нода больше не может запускать контейнеры и нужно вызывать dmsetup udevcomplete_all". Баг я ядром, которое использовал centos7 и тп.

ну явно не 10 нод с нуля сетапить;)

По pxe не пофигу ли

По pxe не пофигу ли

а потом их еще и настраивать все а это роль ансибла писать

Это если у тебя ансибл

https://sweetcode.io/a-first-look-at-the-helm-3-plan/

а потом их еще и настраивать все а это роль ансибла писать

Ты же не руками сервера настраиваешь всё равно

первый раз лучше руками настраивать, все сразу провернуть крайне сложно

Вот этим я и занимаюсь))))

первый раз лучше руками настраивать, все сразу провернуть крайне сложно

Лучше так увы не делать(

HI.. anyone have document about running multi environment on same K8s cluster ?

Мы решили проблему через отдельный балансер, который передает ip клиентов в xff заголовке

А romana не решает эту проблему?

Ну если тут можно новичкам вопросы задавать, то может подскажите. Развернула на Ubuntu 16.04, мастер , три ноды, для сети -flant. Но при смене use context постоянно ошибка refused connection . Решаю установкой rbac , но можно это как то делать не в каждом контексте ? И второй вопрос с какого приложения лучше начать , чтобы посмотреть наглядно применение кубера ? Стандартные веб серверы уже попробовала.

Спасибо заранее .

Ну если тут можно новичкам вопросы задавать, то может подскажите. Развернула на Ubuntu 16.04, мастер , три ноды, для сети -flant. Но при смене use context постоянно ошибка refused connection . Решаю установкой rbac , но можно это как то делать не в каждом контексте ? И второй вопрос с какого приложения лучше начать , чтобы посмотреть наглядно применение кубера ? Стандартные веб серверы уже попробовала.

начните с носочков:)

https://microservices-demo.github.io

Спасибо ) вроде его попробовала , но видимо ресурсов не хватило , так как все зависло и поды были просто в неизвестном состоянии. Но ещё раз попробую )

Там просто в примере для сети weave используется , а у меня flant и я засомневалась

Приятно, если у вас flant сетью занимается.

Но flannel, наверное.

Ой сорри конечно flannel ))

Не реклама, просто опечатка )

Ну если тут можно новичкам вопросы задавать, то может подскажите. Развернула на Ubuntu 16.04, мастер , три ноды, для сети -flant. Но при смене use context постоянно ошибка refused connection . Решаю установкой rbac , но можно это как то делать не в каждом контексте ? И второй вопрос с какого приложения лучше начать , чтобы посмотреть наглядно применение кубера ? Стандартные веб серверы уже попробовала.

Задеплойте полный LEPP stack с правильной настрой игресса, 2 контейнерами в подах (nginx и uWSGI), где nginx будет раздавать статику, а динамику будет обрабатывать uWSGI, Убедитесь, что всё оборудовано requests/limits, readiness/liveness probe. Для Postgres поработайте с PV, PVC, StorageClass. Каждый API объект в Kubernetes подробно изучайте в документации, со всеми полями, гуглите практическое применение, если непонятно что-то.

Вариантов-то дохрена, чем развлечься можно.

а чо такое lepp?

Linux, nginx (Engine-X произносится), Postgres, Python

Спасибо )

Или php, или perl. Не суть важно, просто application server в данном контексте.

Статейку нашел хорошую. Чтоб не мучиться с подготовкой нод

https://habr.com/company/flant/blog/415381/

Поднял кластер мигом, сижу теперь и думаю - че с ним делать то можно ? ?

Поднял кластер мигом, сижу теперь и думаю - че с ним делать то можно ? ?

Одну ноду сломай, а вторую потеряй

Поднял кластер мигом, сижу теперь и думаю - че с ним делать то можно ? ?

разворачивать какую-то апу. Там ещё куча всего перечитать по ресурсам нужно

а потом их еще и настраивать все а это роль ансибла писать

Зачем настраивать? Перезагрузил, вот тебе и нода.

А romana не решает эту проблему?

Конкретно Romana не решает, у романы есть romana-vip который предоставляет отдельный балансировщик в L2, но для externalIP в сервисе SNAT все равно работет, это правило которое добавляет kubelet и его никак не отключить

Господа, а что у нас нынче есть из нетворк-плагинов, которые норм работают в AWS и поддерживают NetworkPolicy?

canal?

Calico.

Ребят, а какой еще есть метод пробросить трафик на ingress controller с сохранением ip клиента, кроме как использовать хостовую сеть? При использовании external ip все запросы идут с этого же ip, что логично

Мы используем pipework.

https://labs.play-with-k8s.com может кому пригодится

?

Не получается собрать кубы через kubeadm. [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10255/healthz' failed with error: Get http://localhost:10255/healthz: dial tcp 127.0.0.1:10255: getsockopt: connection refused. не может достучаться до kubelet.

Делаю просто kubeadm init

своп\иптаблес

своп выключен

sudo iptables -L -n Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy DROP) target prot opt source destination DOCKER-USER all -- 0.0.0.0/0 0.0.0.0/0 DOCKER-ISOLATION all -- 0.0.0.0/0 0.0.0.0/0 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 ctstate RELATED,ESTABLISHED DOCKER all -- 0.0.0.0/0 0.0.0.0/0 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 ACCEPT all -- 0.0.0.0/0 0.0.0.0/0 Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain DOCKER (1 references) target prot opt source destination Chain DOCKER-ISOLATION (1 references) target prot opt source destination RETURN all -- 0.0.0.0/0 0.0.0.0/0 Chain DOCKER-USER (1 references) target prot opt source destination RETURN all -- 0.0.0.0/0 0.0.0.0/0

Как насчёт "посмотреть логи"?

journalctl -u kubelet -e

там обрезки гошныл логов

failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "systemd" is different from docker cgroup driver: "cgroupfs"

последнее

Какие параметры командной строки переданы?

systemctl status kubelet

cgroup driver неправильный стоит.

Process: 28612 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=255)

cgroup driver неправильный стоит.

пойду посмотрю кто это вообще аткой

пойду посмотрю кто это вообще аткой

systemctl cat kubelet Там написан будет оверрайд файл, там что-то неправильно прописано явно.

# /etc/systemd/system/kubelet.service [Unit] Description=kubelet: The Kubernetes Node Agent Documentation=http://kubernetes.io/docs/ [Service] ExecStart=/usr/bin/kubelet Restart=always StartLimitInterval=0 RestartSec=10 [Install] WantedBy=multi-user.target # /etc/systemd/system/kubelet.service.d/10-kubeadm.conf [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true" Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin" Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local" Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt" Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0" Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki" ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS

Всем привет! Подскажите можно как то в k8s открыть определенный диапозон портов у пода в спеке? чет не могу найти инфу по этому вопросу

используй сервис

# /etc/systemd/system/kubelet.service [Unit] Description=kubelet: The Kubernetes Node Agent Documentation=http://kubernetes.io/docs/ [Service] ExecStart=/usr/bin/kubelet Restart=always StartLimitInterval=0 RestartSec=10 [Install] WantedBy=multi-user.target # /etc/systemd/system/kubelet.service.d/10-kubeadm.conf [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true" Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin" Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local" Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt" Environment="KUBELET_CADVISOR_ARGS=--cadvisor-port=0" Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki" ExecStart= ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $KUBELET_CERTIFICATE_ARGS $KUBELET_EXTRA_ARGS

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf И поправь Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" на cgroupfs. Или вообще стереть можно, вроде, он дефолтовый такой. systemctl daemon-reload systemctl restart kubelet

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf И поправь Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" на cgroupfs. Или вообще стереть можно, вроде, он дефолтовый такой. systemctl daemon-reload systemctl restart kubelet

Ща попробую

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf И поправь Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" на cgroupfs. Или вообще стереть можно, вроде, он дефолтовый такой. systemctl daemon-reload systemctl restart kubelet

взлетел, но орет на сетку. Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

взлетел инит

спасиб!

vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf И поправь Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd" на cgroupfs. Или вообще стереть можно, вроде, он дефолтовый такой. systemctl daemon-reload systemctl restart kubelet

никогда не правь эти файлы, плохой совет

надо overrides править

спасиб!

Не за что. Внимательно изучите, как все компоненты control plane взаимодействуют друг с другом. Когда ночью кластер упадёт, времени спрашивать и читать в интернете не будет.

никогда не правь эти файлы, плохой совет

Ты ведь понимаешь, что это и есть override файл?

Не за что. Внимательно изучите, как все компоненты control plane взаимодействуют друг с другом. Когда ночью кластер упадёт, времени спрашивать и читать в интернете не будет.

пойду читать.

Ты ведь понимаешь, что это и есть override файл?

разве?

разве?

я тоже так всегда считал, есть другие мнения да?

Это override, но, наверное, лучше второй создать, в лексиграфическом порядке они накладываются. There are two methods of overriding vendor settings in unit files: copying the unit file from /lib/systemd/system to /etc/systemd/system and modifying the chosen settings. Alternatively, one can create a directory named unit.d/ within /etc/systemd/system and place a drop-in file name.conf there that only changes the specific settings one is interested in. Note that multiple such drop-in files are read if present, processed in lexicographic order of their filename.

Делал все по офф доке

перед джойном нодов надо установить любой плагин CNI, как только он поднимется (я юзаю Flannel) проерить что мастер стал ready, затем джойнить ноды.

man systemd.unit

используй сервис

А можно плиз пример? У меня есть подозрение что k8s не поддерживает диапозоны портов

перед джойном нодов надо установить любой плагин CNI, как только он поднимется (я юзаю Flannel) проерить что мастер стал ready, затем джойнить ноды.

Ага уже понял это. Спасибо)

Это override, но, наверное, лучше второй создать, в лексиграфическом порядке они накладываются. There are two methods of overriding vendor settings in unit files: copying the unit file from /lib/systemd/system to /etc/systemd/system and modifying the chosen settings. Alternatively, one can create a directory named unit.d/ within /etc/systemd/system and place a drop-in file name.conf there that only changes the specific settings one is interested in. Note that multiple such drop-in files are read if present, processed in lexicographic order of their filename.

хм, всегда это делал через /etc/systemd/.../чотатам.overrides.d/

@Andorka Его можно спокойно менять. 1. Он является systemd override'ом; 2. Он находится в списке conffiles deb пакета, поэтому при апдейте у пользователя спросит, что с этим делать, а не просто перетрётся. # cat /var/lib/dpkg/info/kubeadm.conffiles /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

ок, спасибо

хм, всегда это делал через /etc/systemd/.../чотатам.overrides.d/

В доке не вижу волшебного слова overrides в названии директорий. Я не уверен, работает ли это вообще, честно говоря.

ну в 7 центоси точно работало

Я понял, гляну, спасибо.

используй сервис

походу непашет

https://github.com/kubernetes/kubernetes/issues/23864

А зачем port range нужен? Как в этот под внешние сервисы ходить планируют?

А зачем port range нужен? Как в этот под внешние сервисы ходить планируют?

Там нужно FTP_PASSIVE_PORTS: 60000 60100 указать. Для этой вот цели