Anton
ну да
Anton
кубер просто как демон сет
Михаил
я про сеть
Anton
Кстати про external ип, не понял что происходит если extrnal ip c 3 разных нод назначить?
Михаил
еще раз, зависит от твоего конфига сети
Михаил
если у тебя какой-нибудь flanel, то я бы повесил external IP на ноде с апи и не парился ну или на любой ноде где запущен kube-proxy
Anton
у меня calico
Anton
прокси на всех есть
Михаил
ну повесь айпишник да попробуй
Anton
ну надо какой нить сервис замутить, на живую боязно =)
Yu
проблема не в этом, проблема в том, что у меня есть сотня компонент, которые ожидают постргрес инстансы по доменам at1.example.com и порту 5432
В качестве идеи: поменять имя кластера (не проверял). Тогда сервисы будут видны под dns записями вида servicename.namespace.svc.clustername.com
Yu
Ну и посмотреть в сторону /etc/resolv.conf в поля search
Andrei
Кстати про external ип, не понял что происходит если extrnal ip c 3 разных нод назначить?
Все в порядке. У меня calico, все работает. По паре floating ip, хотя сами поды на других нодах
Anton
Maksim
Ну и посмотреть в сторону /etc/resolv.conf в поля search
Да же смотреть не надо. изначально ставить короткое dns имя типа art1. Кубер сам добавить всё необходимое в resolv.conf что бы шёл резолв. В проде нужно озаботиться о правильной search записи.
Михаил
ну надо какой нить сервис замутить, на живую боязно =)
возьми busybox или что-то с ssh да выстави наружу
Andrei
Там у виртуалок плавающий ip дешевый, в отличие от железных нод
Anton
а дц собственный?
Аналогично, просто я немного не доганяю ip / подсеть привязана к серваку, как он у вас плавает?
Maksim
у него должен быть LB интеграция для Кудера
Anton
у меня железяки
Andrei
Аналогично, просто я немного не доганяю ip / подсеть привязана к серваку, как он у вас плавает?
Там есть спец тип, floating ip, просто поднимаешь его везде и через интерфейс можно указать на какую ноду идет траф. Разруливать падения целевой ноды, увы, скриптами/ручками
Anton
Там есть спец тип, floating ip, просто поднимаешь его везде и через интерфейс можно указать на какую ноду идет траф. Разруливать падения целевой ноды, увы, скриптами/ручками
Может - понадеятся на днс - RR? - а на выделеных нодах на всех поднять сервис - файлуха по ceph синкается ж
Maksim
Там должна быть игтеграция LBaaS для Кубера
Maksim
так что в теории куберовский LoadBalance сервис може получить FloatingIP
Andor
function calico_aggr ()
{
if ( net = 10.233.79.64/26 ) then { accept; }
if ( net ~ 10.233.79.64/26 ) then { reject; }
}
а у тебя вся подсеть какая для калико выставлена?
Михаил
Andor
а можешь рассказать как ты кластер создавал?
Andor
потому что у нас опять /24 с версией 2.6.7
Andor
cc @rgersh
Maksim
Из коробки для всех? Или в суппорт писать?
Напиши в саппорт спроси) Это вообще функция в OS уже давно есть. Не знаю реализовалили её немцы.
Anton
потому что у нас опять /24 с версией 2.6.7
я разворачивал kubespray - там есть опция kube_network_node_prefix: 24
Andor
то есть есть подозрение что это kubeadm так мудит
Andrey
Не
Andor
а, не
Andrey
Kubeadm не используется
Andor
он же не настраивает калико
Andor
у нас используется
Andrei
Anton
если kubespray умеет размер задавать, значит оно можно, как вариант в плейбуках посмотреть
Roman
{% if kube_network_plugin is defined and kube_network_plugin in ["cloud", "flannel", "canal", "cilium"] %}
- --allocate-node-cidrs=true
- --cluster-cidr={{ kube_pods_subnet }}
- --service-cluster-ip-range={{ kube_service_addresses }}
- --node-cidr-mask-size={{ kube_network_node_prefix }}
{% endif %}
вот это место
Михаил
HA, чтобы почтовик переживал падение ноды
ну ты с сетями как? вопрос то обычный. как повесить один айпишник на несколько нод
решается он двумя путями
Roman
root 10244 5.1 0.7 150376 93416 ? Ssl 10:15 1:08 kube-controller-manager --cluster-signing-cert-file=/etc/kubernetes/pki/ca.crt --cluster-signing-key-file=/etc/kubernetes/pki/ca.key --address=127.0.0.1 --controllers=*,bootstrapsigner,tokencleaner --kubeconfig=/etc/kubernetes/controller-manager.conf --root-ca-file=/etc/kubernetes/pki/ca.crt --leader-elect=true --use-service-account-credentials=true --service-account-private-key-file=/etc/kubernetes/pki/sa.key --allocate-node-cidrs=true --cluster-cidr=10.20.24.0/22 --node-cidr-mask-size=24
яснопонятно. Вообще не имеет отношение к калико
Roman
спасибо за наводку @anti_on
Andor
вот скотина :(
Anton
ну ты с сетями как? вопрос то обычный. как повесить один айпишник на несколько нод
решается он двумя путями
У меня сеть не подконтрольна, хецнер, выше посоветывали обратится в саппорт для получения плавающего ip
Anton
или расчитывать на днс round robin
Alexander
Ну и посмотреть в сторону /etc/resolv.conf в поля search
придется хардкодить IP сервисов и имена доменов
Alexander
Вообще неясно, почему нельзя в ингрессе использовать другие порты кроме как 80 и 443, в чем причина
Aleksey
У меня сеть не подконтрольна, хецнер, выше посоветывали обратится в саппорт для получения плавающего ip
В Хецнер точно есть, мы используем
Anton
В Хецнер точно есть, мы используем
через поддержку запрашивается? А как назначается сервакам? вручную?
Dmitrii
Просто в вебморде или через консольку создаёшь и привязываешь к серваку
Aleksey
через поддержку запрашивается? А как назначается сервакам? вручную?
Там прямо с панели заказать можно, но у нас сервера в одной стойке и свой свитч, в вилане keepalived смотрит за нодами и в случае недоступности дёргает апи хецнера, которое уже на коммутаторе разрешает присвоение ip на другом сервере
Aleksey
С виду костыльно, но работает
Andrey
господа а кто нибудь устанавливал k8s на aws c помощью kops?
Andor
Наверняка
Andor
У тебя перепись населения?
Alexey
Никто не смотрел amazon EKS какой cni ставит? Свой, в котором на под по ENI?
Andor
У тебя тоже перепись?
Sergey
а че самому поставить кубер и посмотреть какие поды он создал не вариант?
Andrey
а то грохнул/поднял сервис - новый балансер его руками лень прописывать
Andor
может ли kops сразу прилеплять к loadbalancer запись в route53?
Это кубер сам умеет, если добавить контроллер
Andrey
во отлично
Andrey
затупил чет
Andrey
https://github.com/kubernetes/kops/tree/master/addons/route53-mapper
Andor
Ну вот тем более
Stanislav
Хоп хей, лалалей!
К примеру я не хочу устанавливать переменную по одной, а просто хочу создать секрет с кучей переменных. Как можно их скопом заимплементить в под? 🙄
Stanislav
Маунтить в /etc/environment вариант?
Andor
Если будет этот файл, то не факт, что entrypoint его прочитает