Куб федерация
Так ее же нет
Sergey
Sergey
Alex
хм, а это норм, что zrepl жрёт по 15% и выше CPU постоянно (использую openebs)?
Igor
Всем привет.
Помогите, пожалуйста, понять как настроить kubectl на ноде, а именно удаление image после забития 30gb из 50gb.
Mikhail [azalio]
Всем привет.
Помогите, пожалуйста, понять как настроить kubectl на ноде, а именно удаление image после забития 30gb из 50gb.
https://kubernetes.io/docs/concepts/cluster-administration/kubelet-garbage-collection/ не помогает?
Igor
К сожалению не помогает :(
я проделал следующие шаги:
создал configMap, в котором указал значения (
"imageGCHighThresholdPercent": 50,
"imageGCLowThresholdPercent": 45,
)
загрузил его в k8s
добавил его в yml к node
перезапустил на машине kubelet
Потом зашел на машину с нодой и вижу, что используется 40G вместо ожидаемых 30GB
Filesystem Size Used Avail Use% Mounted on
/dev/nvme0n1p1 50G 40G 11G 80% /
Igor
я проделывал шаги по вот этому описанию:
https://v1-11.docs.kubernetes.io/docs/tasks/administer-cluster/reconfigure-kubelet/
Igor
видимо, что-то упускаю
Denis
я проделывал шаги по вот этому описанию:
https://v1-11.docs.kubernetes.io/docs/tasks/administer-cluster/reconfigure-kubelet/
Если установка через kubeadm, то все верно.Покажи как у тебя выглядит этот configmap?
Igor
еще заметил, что при вызове команды:
kubectl get no ${NODE_NAME} -o json | jq '.status.config'
возвращается значение nil
Igor
Если установка через kubeadm, то все верно.Покажи как у тебя выглядит этот configmap?
kubeadm не установливал, так как кластер разворачивал в EKS, а там в амзоновской инструкции про него ничего не указано было
Denis
kubeadm не установливал, так как кластер разворачивал в EKS, а там в амзоновской инструкции про него ничего не указано было
Про EKS х.з как. Вообще гуглилите или спрашивайте по теме как в EKS кастомизировать конфиги кубелета
Igor
Igor
вот сам конфиг
Igor
Про EKS х.з как. Вообще гуглилите или спрашивайте по теме как в EKS кастомизировать конфиги кубелета
вы правы. нужно было указать, что класстер в eks.
К сожалению, ничего не смог нагуглить, поэтому думал, что кто-то в сообществе сталкивался с подобной задачей
Igor
еще такой вопрос в документации указано, что
Automatic RBAC rules for Node Authorizer
Previously, you were required to manually create RBAC rules to allow Nodes to access their assigned ConfigMaps. The Node Authorizer now automatically configures these rules.
я правильно понимаю, что теперь не нужно задавать правило для Nodes, разрешающее читать добавленный конфиг?
Igor
пока решил эту проблему следующим образом:
зашел на машину с нодой
достал расположение kubelet-config.json
дописал в него блок:
"evictionHard": {
"imagefs.available": "20Gi",
"memory.available": "100Mi",
"nodefs.available": "10%",
"nodefs.inodesFree": "5%"
}
после этого произошла очистка от images
Filesystem Size Used Avail Use% Mounted on
/dev/nvme0n1p1 50G 17G 34G 34% /
стало доступно 34G вместо 11G
Igor
Но думается, что такое решение не очень хорошо, так как теперь придется каждый раз дозаписывать параметры в kubelet-config.json при поднятии новой ноды
Igor
если есть у кого идеи, как это сделать правильно, то, пожалуйста, подскажите.
Andor
Положить этот файл в cloud-init
Andrey
есть какой-то best way для ingress трафика на tcp сервисы? желательно с балансировкой. посмотрел у nginx-ingress есть функционал, но его выпилили и скоро не будет. haproxy как то не очень хочется, traefik в 2.0 версии по доке вообще не понятный :)
Andrey
у него выпилили поддержку tcp/udp и в сл. релизах её не будет, как я понял + в логи срач tcp коннектов не отключаемый
Andrey
я это про ingress-nginx
Andrey
угу
Stefan
не nginxinc?
Stefan
странное решение тогда(
Andrey
его не смотрел, гляну
yolkov
Andrey
github.com/kubernetes/ingress-nginx/pull/3197
Andrey
уже смержили
Stefan
его не смотрел, гляну
ну я к тому, что в куберовском нжинксе функционала по больше в плане аннотаций и параметров конфигмапа
а nginxinc хиленький
Andrey
да, я его и юзал по началу, но теперь смотрю на альтернативы. These features were added almost three years ago when there were no other options available. Now you can use metallb for instance to get the same features. пишут юзайте metallb а у меня он балансировать не будет в hetzner cloud, так и так балансировщик нужен
Andrey
и правда, не заметил
𝚔𝚟𝚊𝚙𝚜
хм, а это норм, что zrepl жрёт по 15% и выше CPU постоянно (использую openebs)?
>использую openebs
О, а поделись ощущениями!
>zrepl жрёт по 15% и выше
А сколько реплик использется? Jiva не пробоавл?
Andrey
Откатили мерж же. Ппц они дети :-/
Так там же LUA-BASED-TCP-UDP-LOADBALANCING-TECHNOLOGIES теперь.
Andrey
https://github.com/kubernetes/ingress-nginx/blob/master/rootfs/etc/nginx/lua/tcp_udp_balancer.lua
engelbart
https://github.com/mattmoor/warm-image
юзали такое?
Andor
Так там же LUA-BASED-TCP-UDP-LOADBALANCING-TECHNOLOGIES теперь.
ты просто массивы с единицы не любишь
Alex
>использую openebs
О, а поделись ощущениями!
>zrepl жрёт по 15% и выше
А сколько реплик использется? Jiva не пробоавл?
ну я пробовал storageos, GlusterFS, ceph и openebs:
* storageos пока сыро (прямо не хватает многих фич), но очень быстро и просто настраивается
* glusterfs в принципе ок, но постоянно отваливается, если ресурсов мало
* ceph – пробовал только как пользователь, вроде огонь
* openebs – простой в настройке, умеет всё, что мне нужно, ни разу не отваливался пока, падение 1 ноды из 3 переживает очень лайтово. Пока ничего подозрительного с ним не заметил (месяц юзал при относительно небольшой нагрузке – постгрес и штук пять подов с небольшим в принципе IO). Пока меня пугают только слухи, что в какой-то момент всё начинает само отваливаться и не чинится тривиальными способами 😄
Alex
Alex
>использую openebs
О, а поделись ощущениями!
>zrepl жрёт по 15% и выше
А сколько реплик использется? Jiva не пробоавл?
о, jiva приятно выглядит, хотя там и руками не то, чтобы сложно рулить вольюмами
Andor
а мне пофигу
Andor
луа хороший язычок. не без придури, но хороший
Rainbow
а массивы не так часто вылазят там, где он используется
𝚔𝚟𝚊𝚙𝚜
о, jiva приятно выглядит, хотя там и руками не то, чтобы сложно рулить вольюмами
В смысле руками не то? - ты о том что волумы распихивать сложнее?
Alex
В смысле руками не то? - ты о том что волумы распихивать сложнее?
не, я о том, что руками распихать volumes у меня тоже не вызвало никаких сложностей, хоть это и не так модно 🙂
𝚔𝚟𝚊𝚙𝚜
𝚔𝚟𝚊𝚙𝚜
Как ее руками сделаешь?
𝚔𝚟𝚊𝚙𝚜
Меня просто вся эта имплементация zfs в user-space немного пугает, выглядит оно конечно прикольно, но полагаю что тормозить будет огого
𝚔𝚟𝚊𝚙𝚜
А сейчас ты ещё про zrepl написал, полагаю это оно)
Alex
Как?
надо указать диски / volume, которые доступны openebs, запустить контейнеры с самим openebs, настроить виртуальные вольюмы, в которых указать стратегию хранения и дальше оно как-то само этим рулит
Alex
как я помню
Andor
Вы прослушали инструкцию "как затролить квапса"
Felix
!спам
Alex
😂
Alex
чем понравился openebs – настроил его месяц назад и уже успел забыть о нём и как он работает )
R2
а rook.io никто не юзал ?
R2
ну как бы год назад оно было еще альфа, а щас уже вроде стейбл
единственное, что на гугл клауде на контейнерОС не запускается, не хватает модулей
Andor
кстати тот же список к бд-в-кубере
R2
А зачем? Если вы в облаке, то пользуйтесь услугами облака.
ReadWriteMany
R2
скейлим под, с персистенс войлум, и в облаке он не работает. потому как ReadWriteMany - это либо nfs либо что-то еще не стандартное
Rainbow
ReadWriteMany зачем?
Rainbow
Пожалуйста, только не говорите, что под uploads папку.