Алексей
вопрос по metallb
я правильно понял, что если мне нужно публиковать наружу ip только с части нод кластера, то мне либо откатывать на 0.6 версию, либо идти лесом и расчехлять lvs и keepalived?
Alexey
вопрос по metallb
я правильно понял, что если мне нужно публиковать наружу ip только с части нод кластера, то мне либо откатывать на 0.6 версию, либо идти лесом и расчехлять lvs и keepalived?
Ip будет торчать наружу на одной ноде ближе всего к сущности которая публикуется. У меня была проблема с тем что ip торчал на всех нодах, но это в версии 1.13 исправлено. На старой версии так же можно исправить изменив sysctl нужные.
Алексей
ближе к сущности это зачем?
мне что прибивать под который публикуется на туже ноду что и metallb
это бред
Alexey
ближе к сущности это зачем?
мне что прибивать под который публикуется на туже ноду что и metallb
это бред
Бред, ну ладно. Доки в помощь.
Алексей
это не доки, это
https://github.com/danderson/metallb/issues/302
Alexey
ближе к сущности это зачем?
мне что прибивать под который публикуется на туже ноду что и metallb
это бред
У меня следующая ситуация, металл лб есть на всех нодах, если есть под, который мне можго публиковать только с части нод, то этот под прибивается к этой части нод. Соотвественно metallb будет публиковать адрес только с этих нод.
Edward
так не выйдет. Организуйте сервис из mcrouter+memcache
Собственно раскопали решение в конфигмапе mcrouter'a
Edward
{{- $global := . }}
{{- range $i, $e := until (.Values.memcached.replicaCount | int) }}
"{{ $global.Release.Name }}-memcached-{{ $i }}.{{ $global.Release.Name }}-memcached.{{ $global.Release.Namespace }}.svc.cluster.local:11211",
{{- end }}
Rainbow
это плохое решение, потому что не поддерживает healthchecks
Pavel
{{- $global := . }}
{{- range $i, $e := until (.Values.memcached.replicaCount | int) }}
"{{ $global.Release.Name }}-memcached-{{ $i }}.{{ $global.Release.Name }}-memcached.{{ $global.Release.Namespace }}.svc.cluster.local:11211",
{{- end }}
это справедливо только на момент установки, или при условии что число меняться не будет.
Stefan
нашел такую хрень, в описании к версии, кто в курсе до какого момента оно так вот собирается жрать память? бесконечно чтоль? или всё же у него какое-то дефолтное ограничение есть? а то в kops гляжу аргументов каких-то, чтоб задать параметр snapshot-count нет
касательно вчерашней проблемы о бесконечно постепенно растущем потребление ОЗУ в версии 1.11/12
etcd v3.2 also introduces changes such as “snapshot-count” default value from 10,000 to 100,000. With higher snapshot count, etcd server holds Raft entries in-memory for longer periods before compacting the old ones. etcd v3.2 default configuration shows higher memory usage, while giving more time for slow followers to catch up. It is a trade-off between less frequent snapshot sends and higher memory usage. Users can employ lower etcd --snapshot-count value to reduce the memory usage or higher “snapshot-count” value to increase the availability of slow followers
Stefan
у etcd нет дефолтных ограничений на память, сколько limits в статик поде есть столько и сожрёт
мда весело.. и на кой черт такой продукт выпускать, при чем системный кубера и важный? судя по всему в etcdv2 всё норм с этими делами... только вот почитав, они его вообще выпилить навсегда хотят
Rainbow
prometheus точно так же себя ведёт - сколько дашь места, столько и будет использовать. нормально же. на controlplane не должно быть ничего, кроме controlplane, тогда там только etcd выест память и все.
𝚔𝚟𝚊𝚙𝚜
вопрос по metallb
я правильно понял, что если мне нужно публиковать наружу ip только с части нод кластера, то мне либо откатывать на 0.6 версию, либо идти лесом и расчехлять lvs и keepalived?
Недавно добавили флаг --strict-arp=false для этого https://github.com/kubernetes/kubernetes/pull/75295
Stefan
prometheus точно так же себя ведёт - сколько дашь места, столько и будет использовать. нормально же. на controlplane не должно быть ничего, кроме controlplane, тогда там только etcd выест память и все.
так вот дело в том, что другие поды, stolon, prometheus и nginx, они можно сказать сейчас стабильно себе потребляют память, а не как конченый etcd, в котором даже логику потребления невозможно определить, захотел +5мб, захотел +10мб, звездец
я уже не знаю что делать с будущим кластером, тупо ждать дня когда etcd сожрет мне всю ОЗУ?)))
𝚔𝚟𝚊𝚙𝚜
Можно отключить strict arp на твоих выходных нодах, и удалить спикеры metallb
Vadim
после такой длинной тирады сразу вспомнился https://www.linuxatemyram.com/
Алексей
@kvaps
возможно это и не связанно, но metallb в моей конфигурации не вешает ip на интерфейс
а в логах все чисто и красиво, поймал сервис с LB отработал, но ip на внешнем интерфейсе не появилось
срабатывает корректно только на первый ip, все остальные идут лесом.
Алексей
ну и если удалять спикеры с нод, то зачем мне metallb
могу просто повесить ip адреса на внешний интерфейс и будет работать.
Anonymous
Что у нас принято использовать по storageclass на selfhosted k8s?
Семён
богато живёте или бомжуете ?
Anonymous
пока присматриваемся
Nikolay
что принято использовать - не знаю, но я гоняю на ceph rbd
Anonymous
rook ?
Yaroslav
у кого-нибдудь есть идеи как на нодпорт привернуть сетевые политики ?
Семён
У rbd минус - readwriteOne
Семён
лучше cephFS прикручивать сразу
Семён
но ceph rbd мне тоже очень понравилось
Anton
https://github.com/kubernetes/kubernetes/pull/67573
Allows to combine the -f and -l flags in kubectl logs 🚀
Antlar
𝚔𝚟𝚊𝚙𝚜
@kvaps
возможно это и не связанно, но metallb в моей конфигурации не вешает ip на интерфейс
а в логах все чисто и красиво, поймал сервис с LB отработал, но ip на внешнем интерфейсе не появилось
срабатывает корректно только на первый ip, все остальные идут лесом.
Ты случайно metallb.universe.tf/allow-shared-ip не используешь? - там был какой-то с этим баг
𝚔𝚟𝚊𝚙𝚜
ну и если удалять спикеры с нод, то зачем мне metallb
могу просто повесить ip адреса на внешний интерфейс и будет работать.
почему-бы и нет? просто metallb-controller может назначать IP-адреса автоматически
Anonymous
приветствую. Как удалить запрос create/delete LoadBalancer? LoadBalancer удалился, сервис передеполили висит старый запрос delete, к backend (OpenStack) не находит такого LoadBalancer и висит сервис.
Nikolay
господа, как включить некоторые feature-gates в 13 кубе? baremetal, развернут kubeadm
Anonymous
господа, как включить некоторые feature-gates в 13 кубе? baremetal, развернут kubeadm
kubeadm init --feature-gates x
Grigorii
господа, как включить некоторые feature-gates в 13 кубе? baremetal, развернут kubeadm
смотря где фича гейтс
если в статик подах, то можно
kubectl edit cm -n kube-system kubeadm-config
и потом kubeadm upgrade diff
а потом kubeadm upgrade apply
Grigorii
если в кубелете там хз
но тоже как-то через конфиг можно
Grigorii
приветствую. Как удалить запрос create/delete LoadBalancer? LoadBalancer удалился, сервис передеполили висит старый запрос delete, к backend (OpenStack) не находит такого LoadBalancer и висит сервис.
т.е. у провайдера LB удалился по факту, а в кубе объект остался?
Anonymous
все верно
Anonymous
сервис удалили, заново, все равно просит этот LB id
Grigorii
ну тогда можно просто с форсом удалить его из куба
Grigorii
--grace-period=0 --force
Grigorii
у него небось какой-то финалайзер не отрабатывает
Anonymous
пробовал, не помогает
Anonymous
60m Warning DeletingLoadBalancerFailed Service Error deleting load balancer висит в евентах и все
Grigorii
не, ну можно на крайний случай всегда прямо из etcd удалить если прям оч надо)
ну или разбираться..
#notbestpractices
step_n
В Нижегородский офис ищем девопсов https://nn.hh.ru/vacancy/29362024
Andrey
В Нижегородский офис ищем девопсов https://nn.hh.ru/vacancy/29362024
Тут нет девопсов. Они там:
Andrey
https://t.me/devops_jobs
step_n
понял, спасибо, а кто тут )?
Andrey
Mikhail
В Нижегородский офис ищем девопсов https://nn.hh.ru/vacancy/29362024
Должности девопс не существует! ☝️🤓
step_n
да, да читал ) но думаю все меня поняли
Anonymous
переименовал сервис с foo на foo1, все ок. Так себе воркараоунд. В etcd, не не - не хочу
Grigorii
переименовал сервис с foo на foo1, все ок. Так себе воркараоунд. В etcd, не не - не хочу
новый переименовал?
а старый так и не удалился?
Anonymous
старый удаляется но если это же имя берешь, он просит старый LB
Grigorii
а, понял
𝚔𝚟𝚊𝚙𝚜
Обновился на v1.14 со стейтфулсетами какая-то фигня, показывает Ready 1/1 даже если подов нет. После kubectl scale statefulset --replicas=0 вообще стал показывать Ready 1/0 и ничего не происходит
Aleksei
💪 обновиться в день релиза
Отделение Bereke Bank
statefull в докере 💪
𝚔𝚟𝚊𝚙𝚜
CSI поломался :)
ᴅⁱᵐⁱᴅʳ0ˡ
пипл, подскажите, долго ли по времени стартует кластер из 2 мастеров и 3 нод, если всё было выключено?
Andor
13
Mikhail
или 42?
Andor
+-
Rainbow
пипл, подскажите, долго ли по времени стартует кластер из 2 мастеров и 3 нод, если всё было выключено?
два мастера бесполезны если это etcd
ᴅⁱᵐⁱᴅʳ0ˡ
etcd отдельно 3шт
Stanislav
А на 5
Stanislav
А надо 5
𝚔𝚟𝚊𝚙𝚜
Короче CSI конкретно поломали, поменяли спецификацию, а новые images даже не собрали еще
Vadim
пользуйтесь официальной куберенетесовской терминологией - не "сломали", а "альфа версия"
Stefan
господа, знатоки
зря ругался на кубер и его потребление ОЗУ
где-то мой косяк, но не удается пока его пофиксить
у меня каждый под продублирован
и естественно при функции sum оно мне такое охеревшее значение показывает
сама метрика Cadvisor дублируется
здесь присутствует container_name
container_memory_rss{container_name="nginx-ingress-controller",job="prod-cadvisor",kubernetes_io_hostname="ip-172-20-74-152.eu-central-1.compute.internal",kubernetes_io_role="node",namespace="nginx-prod",pod_name="nginx-ingress-controller-5ff7b6cfb9-dt9zq"}
здесь отсутсвует и это вся разница между этими двумя метриками О_О
container_memory_rss{job="prod-cadvisor",kubernetes_io_hostname="ip-172-20-74-152.eu-central-1.compute.internal",kubernetes_io_role="node",namespace="nginx-prod",pod_name="nginx-ingress-controller-5ff7b6cfb9-dt9zq"}
кто в курсе из-за чего такое могло произойти? на дев кластере всё ок, конфиг прометея весь идентичен практически, только имена джоб отличаются
𝚔𝚟𝚊𝚙𝚜
пользуйтесь официальной куберенетесовской терминологией - не "сломали", а "альфа версия"
Так под v1beta1 вообще не работает :)
Andor
Ну там кучка агрегаций в комплекте и всякие такие приколы закрыты
Andor
И даже нод-экспортер прикрыт рбаком