Anonymous
😂
Sergey
Andrey
надо попробовать
Andrey
я вот на v1.13 ток обновился)
Тоже. Но я теперь понимаю почему кубеспрей так хают. Я такой боли ещё не ощущал 😄 хорошо, не прод. Перекатал все с kubeadm в итоге
Max
Max
кубспрей боль, да)
Sergey
а с kops как?
Andrey
Сначала etcd, починил, потом cni, починрл, потом kube-proxy и терпение кончилось, грохнул всё и накатил через kubeadm
Max
не?
Max
я амазоном никогда не пользовался
Etki
ну это так себе определение bare metal
Stefan
ну это так себе определение bare metal
ну есть там и дедики у них, вот только не в курсе есть-ли в копсе параметр этот для указания
Й
ну есть там и дедики у них, вот только не в курсе есть-ли в копсе параметр этот для указания
Ага. А выхлопом есть плэйбуки для спрэя
Nikolay
Привет. Есть у кого ссылка, что юбер переходит с mesos на kubernetes ?
G72K
Привет. Есть у кого ссылка, что юбер переходит с mesos на kubernetes ?
В "Майор Пейн" была сцена хорошая. Подбегает к раненному солдату на поле боя: "Хочешь забыть об этой боли?" "Да да, очень хочу". Ломает ему пальцы.
A
Anton
Вопрос про сертификаты, как их в секреты размещать и насколько правильно это делать для сертификатов etcd?
дефолтный Calico конфиг как бы намекает, что их туда и надо класть. А один из контейнеров Calico подов, при старте, ищет их там и копирует в /etc/cni/net.d/calico-tls (хоста/ноды)
Anton
надо заметить, что, например, Kubespray не следует этому намеку, кладет (сам!) сертификаты в другое место и монтирует их в Calico под
A
что я то сразу. не помню контекста во
Можно из далека, метрики для шедулера, контроллера, етсд у вас собираются?
Max
Ребят, у меня на одной из нод на kube-кластере, развернутом через kubespray кубелет кушает очень много cpu: до 10 ядер
Max
также /sbin/init тоже 100%
Max
в чем может быть проблема?
Max
в логах ничего интересного
Й
На этой ноде есть запущенные поды?
Max
55 подов запущено
A
да
А ты уверен? Или так на вскидку, что много там всего в таргетах?... Через Хелм ставил? Версия кубера?
V
А ты уверен? Или так на вскидку, что много там всего в таргетах?... Через Хелм ставил? Версия кубера?
я что-то запутался уже в контексте разговора(напомни). версия 1.10. что через хелм? и да уверен про метрики
Й
Есть куда их согнать? Есть ли свободные ноды чтобы по одному поду/приложению переносить на другие ноды? Тогда можно найти того кто создаёт эту нагрузку
A
@mysabien Через Хелм ставил kube-prometheus, где автоматом ставятся экспортеры под в том числе шедулер, контроллер и etcd
Max
Max
и cordon
Max
Есть куда их согнать? Есть ли свободные ноды чтобы по одному поду/приложению переносить на другие ноды? Тогда можно найти того кто создаёт эту нагрузку
выгнал все поды с тачки, kubelet все-равно жрет 200-300%
Rainbow
Что-то последнее время сильно увлёкся nomad. Прям глоток свежего воздуха, много чего не хватает, но прям легкость приходит. А k8s выглядит теперь только как решение managed, т.е. смысла управлять им самостоятельно нет, это просто спека для cloud провайдеров.
Rainbow
выгнал все поды с тачки, kubelet все-равно жрет 200-300%
Я думал это норма. У меня так с начала времён. Два ядра уходит kubelet. Не так должно быть?
Max
Я думал это норма. У меня так с начала времён. Два ядра уходит kubelet. Не так должно быть?
на других нодах все ок
Max
мне интересно что он такое там делает, чтобы сжирать два ядра
Max
а тут всегда стабильно 100-200-300%
Max
и как оказалось даже на пустой ноде тоже самое
Й
А что с сетевой связностью к мастеру? Задержки,потери?
𝚔𝚟𝚊𝚙𝚜
что вообще ничего?
𝚔𝚟𝚊𝚙𝚜
попробуй strace -f
G72K
также /sbin/init тоже 100%
Это контейнерный /sbin/init или хостовый? Если первое, оно не в состоянии Z в топе случайно?
G72K
Anonymous
kubectl get no - покажит ноды моего кластера(у меня их три), kubectl get po - покажет число подов(у меня их тоже три). А какой командой можно посмотреть на какой ноде расположены мои поды, чтобы покороче чем через kubectl describe po?
Anonymous
Но посмотреть мне мало, хочется принудительно раскидать поды по нодам, т.к. сейчас они расположены все на одной ноде, почему-то
Anonymous
Rainbow
Но посмотреть мне мало, хочется принудительно раскидать поды по нодам, т.к. сейчас они расположены все на одной ноде, почему-то
так решил scheduler. Если нужно 1 сервис на 1 ноду, то это daemonset
Anonymous
Но посмотреть мне мало, хочется принудительно раскидать поды по нодам, т.к. сейчас они расположены все на одной ноде, почему-то
Anonymous
или это адресация подов?
V
Anonymous
угу, для нод там белая адресация
Anonymous
так решил scheduler. Если нужно 1 сервис на 1 ноду, то это daemonset
попробую покурить, хочется раскидать поды по нодам, чтобы проверить как loadbalancer работает
Тарас з Парнаса
Может кто-то поможет. Есть default-web который есть в каждом кластере и на котором бежит nginx который показывает maintenance page. Пока есть только одна error страница для всех доменов. Нужно сделать так, чтобы nginx показывал разное в зависимости от пода который спрашивает 50x...
С nginx вообще не работал, пришлось это взять из-за того что один чел ушел из фирмы.
Oleg
так решил scheduler. Если нужно 1 сервис на 1 ноду, то это daemonset
или настроить antiAffinity
Anonymous
я учусь только, мне любое движение важно =) проект вне коммерции
Anonymous
вот так раз гуглом дошел до https://kubernetes.io/docs/concepts/configuration/assign-pod-node/, сейчас уже задал нодам лейблы server=one,two,three и дочитал до Affinity and anti-affinity
Oleg
Oleg
spec:
selector:
matchLabels:
app: pbrf # has to match .spec.template.metadata.labels
template:
metadata:
labels:
app: xxx # has to match .spec.selector.matchLabels
Oleg
он промаркирует сам ноды, где уже задеплоил такой под
Oleg
и сделать antiAffinity на этот лейбл
Aleksey
Anonymous
spec:
selector:
matchLabels:
app: pbrf # has to match .spec.template.metadata.labels
template:
metadata:
labels:
app: xxx # has to match .spec.selector.matchLabels
такое в моем pods.yaml уже есть. Сейчас попробую вникнуть в antiAffinity
Andrey
на gke можно сделать выделенные ip для каждого ingress, если используется nginx ingress controller?
Max
Max
там выделенные ip для чего угодно можно сделать
Andrey
а как?