G72K
Пока есть ресурсы в рамках N cpu и N памяти зачем вообще троттлить?
Единственное нормальное решение это прибивать неймспейс к нодам
G72K
Тогда будет почти как вы и хотите - никакого тротлинга, пока не упретесь в лимит . Но только в пределах одной ноды. Все остальное неподдерживаемые костыли :)
G72K
Все остальное - интересные инженерные решения!
Да,все остальные хорошие темы для докладов и CV
Andrey
Тоже рассмотрели) VPA для того, чтобы поднять лимит рестартует поду, это какой--то ад. Понятно, что у них наверняка были свои причины, но это неприемлемо. Какая-нибудь Java будет на старте просто инициализироваться и отжирать ресурсы, а ее будет ребутать из-за этого
Просто других способов поменять лимиты\реквесты у контейнеров пода без его пересоздания пока нет. Мы его ограниченно используем - впечатления неплохие, но для каждого сервиса нужно тщательно подбирать параметры VPA.
Andrey
Просто других способов поменять лимиты\реквесты у контейнеров пода без его пересоздания пока нет. Мы его ограниченно используем - впечатления неплохие, но для каждого сервиса нужно тщательно подбирать параметры VPA.
Мы, кстати, тоже думали о сервисах, которые на старте жрут кучу ресурсов, но пока реально такой проблемы не возникало. Если возникнут, собираюсь решать так - поставить у VPA podUpdatePolicy в Off и отдельным контроллером просто смотреть на его рекомендации и применять после инициализации всех реплик.
𝚔𝚟𝚊𝚙𝚜
Кто-нибудь grafana-operator юзал? Как оно, юзабельно-ли вообще?
𝚔𝚟𝚊𝚙𝚜
С ужасом обнаружил что официальный чарт графаны по дефолту деплоит ClusterRole с доступом ко всем конфигмапам и секретам во всех неймспейсах 😱 https://github.com/helm/charts/blob/master/stable/grafana/templates/clusterrole.yaml#L19
George
аааа
George
песец
George
жизнь боль
George
хельм говно
George
а я только хапнул говна с хельмом сентри
Alex
а я только хапнул говна с хельмом сентри
а что с ним не так? У меня отлично работает уже пол года
George
который последний - воркеры не видят редиса
Andrey
а я только хапнул говна с хельмом сентри
а мы оператор на metacontroller написали, лол
George
тот который старый - он не создает юзера в бд
George
в результате веб морда стартует, а войти - ХРЕН ТАМ
George
пришлось руками джобу создавать
George
🤦‍♂️🤦‍♂️🤦‍♂️🤦‍♂️
Alex
тот который старый - он не создает юзера в бд
хм, типа параметр не работает?
George
🤦‍♂️
George
дело не в параметре. А в том, что чарты говно. Которые никто не тестит толком
Alex
дело не в параметре. А в том, что чарты говно. Которые никто не тестит толком
ну как я помню, там есть что-то типа createRootUser: true / false в values
Alex
но не помню, работает он или нет )
Max
Коллеги у нас в команде открылись вакансии. Подробности ниже) https://www.facebook.com/photo.php?fbid=246747182959807&set=a.158069405160919&type=3&theater
Alex
Вакансия в стиле инстасамки, 😜классно 😆. Подробности это хештеги?🧐
Дмитрий
скажите люди опытные service-cidr и pod-network-cidr должны совпадать?
George
нет
George
один это для кластерных айпи сервисов
George
а второй для подов
George
очевидно же!
Дмитрий
наоборот, должны не совпадать
я просто наткнулся на гитхабе что если используешь фланель то для coreDNS сервиса должен быть айпи 10.244.240.10 а у меня 10.96.0.10
Dmitriy
Котики, а появился удобный способ удалять pvc у стейтфул-сетов после даунскейла?
Anonymous
поделитесь рабочим example всей связки pvc pv sc для local
Andrey
Котики, а появился удобный способ удалять pvc у стейтфул-сетов после даунскейла?
нет и вряд ли будет. контроллер для этого написать недолго.
Dmitriy
Эх. Спасибо
Solyar
Ребят подскажите в версии 1.15.4 какие порты используются для kube-scheduler и controller-manager ?
Solyar
10251 или 10259 ?
Lucky SB
netstat -ntpl tcp6 0 0 :::10259 :::* LISTEN 20577/kube-schedule tcp6 0 0 :::9253 :::* LISTEN 24334/node-cache tcp6 0 0 :::9353 :::* LISTEN 24334/node-cache tcp6 0 0 :::10251 :::* LISTEN 20577/kube-schedule tcp6 0 0 :::6443 :::* LISTEN 19345/kube-apiserve tcp6 0 0 :::9100 :::* LISTEN 6412/node_exporter tcp6 0 0 :::10252 :::* LISTEN 20676/kube-controll tcp6 0 0 :::10256 :::* LISTEN 19533/kube-proxy tcp6 0 0 :::10257 :::* LISTEN 20676/kube-controll
Solyar
Забыл про HTTPS
Igorь
А как volumeClaimTemplate создать с селектором для нескольких реплик?
Igorь
ну типа на каждую реплику нужен свой вольюм, расположенный отдельно от других. (это для зукипера)
Solyar
почему менять хочешь?
Пришло ИБ и хочет мою жопку из-за Network Policies
Vadim
ясно, надо это тож учесть, до конца не определились с CNI пока, но думаю калико надо
Vadim
Пришло ИБ и хочет мою жопку из-за Network Policies
а там можно calico for polocy flannel for networking может дополнительно присобачить проще будет?
Solyar
Возможно подойдет
Vadim
хотя там манифест единый, нет инструкции типо чтоь доставить
Andrey
есть лучше: https://docs.projectcalico.org/v3.9/getting-started/kubernetes/installation/migration-from-flannel
Lucky SB
Хммм не видел этого
После этого у тебя получится канал. Все равно придется сначала убивать все поды. а потом все узлы. и только после этих операций можно будет что-то новое деплоить
NM
есть лучше: https://docs.projectcalico.org/v3.9/getting-started/kubernetes/installation/migration-from-flannel
только почистите там 2 свойства про BGP - они в большистве случаев не нужны.
Lucky SB
сначала проверить наличие deployments - хз как создавались поды и ноды
если у тебя под создан руками - то пофик на него. его можно в любой момент убить. а потом лишить премии того, кто его создал
NM
если у тебя под создан руками - то пофик на него. его можно в любой момент убить. а потом лишить премии того, кто его создал
37-й год. написал кляузу 😉 - представляю как она будет выглядеть - такой то такой то создал узел/под который не удалось уничтожить средствами партийными и штатными ...
Lucky SB
и скромный
скромный приспасабливается
Nik
а кто как конфигурит --runtime-cgroups и --kubelet-cgroups?
Nik
под чем ?
под cent/rhel
NM
там давно пора на CRI уйти а так systemD штатный
Sviatoslav
Хм, а rancher на k3s работает? Кто то пробовал?
NM
ну нормально раобтает но на ноуте - в проде все равно k8s
Nik
там давно пора на CRI уйти а так systemD штатный
докер можно использовать как cri или только на containerd?
Nik
просто я ловлю такие вещи в логах