Салтыдык
ksonnet (или даже голый ksonnet-lib + jsonnet + kubectl apply)
Sergey
А что, для nginx ingress default service нужно в каждый namespace ставить? У меня nginx почему то default ищет в namespace самого сервиса
И концептуальный вопрос - кто-нибудь использует какую-то систему по разворачиванию и хранению содержимого кластера - ну то есть а-ля git для содержимого API сервера, но с шаблонизацией. Ну то есть вот мы все поставили, настроили, написали скриптики, которые дергают kubectl. Но а если изменения какие-то, прогонять эти скрипты подряд - опять kubectl apply? Или может есть какой-то puppet/ansible для k8s. Чтоб для разных кластеров (dev/test/prod) разные настройки применял для разных deployment-ов. Желательно чтоб можно было изменения перед применением посмотреть и т.д.
У меня и ingress-контроллер и default backend в kube-system всегда, никогда проблем с этим не было
🪰
У меня и ingress-контроллер и default backend в kube-system всегда, никогда проблем с этим не было
Да, все правильно. У меня в ingress был указан default backend и он его искал в текущем namespace. Я его удалил и сделал kubectl apply -f, но apply не удалил эти строчки. А kubectl replace -f удалил.
Ivan
Ivan
sudo journalctl -xef
Всем привет!
Подскажите, а есть какой нибудь лайф-хак, чтобы получить вот такое:? (как на фото)
https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-probes/
А то у меня "kubectl describe pod" как ни крути, выводит только это:
kubectl -n kube-system describe po
Name: kube-master
Namespace: kube-system
Node: 10.1.29.21/10.1.29.21
Start Time: Fri, 02 Feb 2018 16:40:41 +0300
Status: Running
IP: 10.1.29.21
...
Volumes:
ssl-certs-kubernetes:
Type: HostPath (bare host directory volume)
Path: /etc/kubernetes/ssl
ssl-certs-host:
Type: HostPath (bare host directory volume)
Path: /usr/share/ca-certificates
QoS Class: Burstable
Node-Selectors: <none>
Tolerations: =:Exists:NoExecute
Events: <none>
А хотелось бы увидеть эту волшебную таблицу!
я как раз настраиваю livenessProbe и не могу продебажить, почему под падает...
Vladimir
Не очень понятно, в чем именно у вас проблема. для какого пода этот describe?
Vitalii
sudo journalctl -xef
Всем привет!
Подскажите, а есть какой нибудь лайф-хак, чтобы получить вот такое:? (как на фото)
https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-probes/
А то у меня "kubectl describe pod" как ни крути, выводит только это:
kubectl -n kube-system describe po
Name: kube-master
Namespace: kube-system
Node: 10.1.29.21/10.1.29.21
Start Time: Fri, 02 Feb 2018 16:40:41 +0300
Status: Running
IP: 10.1.29.21
...
Volumes:
ssl-certs-kubernetes:
Type: HostPath (bare host directory volume)
Path: /etc/kubernetes/ssl
ssl-certs-host:
Type: HostPath (bare host directory volume)
Path: /usr/share/ca-certificates
QoS Class: Burstable
Node-Selectors: <none>
Tolerations: =:Exists:NoExecute
Events: <none>
А хотелось бы увидеть эту волшебную таблицу!
я как раз настраиваю livenessProbe и не могу продебажить, почему под падает...
events хранятся в etcd по умолчанию один час. Потом очищаются. Мы например логируем их этой штукой https://github.com/heptiolabs/eventrouter
Ivan
events хранятся в etcd по умолчанию один час. Потом очищаются. Мы например логируем их этой штукой https://github.com/heptiolabs/eventrouter
да я прям сразу после запуска проверяю... и минуты не проходит
Vitalii
если что-то не так с apiserver, то и сохранить их некому:)
Ivan
а, блин, точно... получается для апи-сервера это не работает )))
Mikhail [azalio]
а снимите с тормоза, чего я забыл? kube-proxy --config=/etc/kubernetes/proxy-config
error: no kind "KubeProxyConfiguration" is registered for version "componentconfig/v1alpha1"
Mikhail [azalio]
# cat /etc/kubernetes/proxy-config
apiVersion: componentconfig/v1alpha1
kind: KubeProxyConfiguration
bindAddress: 127.0.0.1
clientConnection:
contentType: application/vnd.kubernetes.protobuf
kubeconfig: "/var/lib/kubelet/kubeconfig"
clusterCIDR: ""
conntrack:
max: 0
maxPerCore: 32768
min: 131072
enableProfiling: false
hostnameOverride: ""
iptables:
masqueradeAll: false
masqueradeBit: 14
minSyncPeriod: 0s
syncPeriod: 30s
mode: "iptables"
oomScoreAdj: -999
Mikhail [azalio]
1.9.2 версия
Mikhail [azalio]
а все потому что ученые чуть-чуть изменили ось вращения земли и адрес api теперь другой # cat /etc/kubernetes/proxy-config
apiVersion: kubeproxy.config.k8s.io/v1alpha1
Kind: KubeProxyConfiguration
Mikhail [azalio]
так работает
Mikhail [azalio]
ура тестам https://github.com/kubernetes/kubernetes/blob/release-1.9/cmd/kube-proxy/app/server_test.go
Evgeniy
Привет!
Evgeniy
нужна помощь с GCP и контенирами docker
Evgeniy
не получается загрузить контейнер
Aleksey
А вопрос-то где? Описание проблемы? Ошибки, с которыми столкнулся?
Aleksey
http://sol.gfxile.net/dontask.html
Logan
- у меня что-то не работает
- почините что-нибудь
Vladimir
чо как не экстрасенсы то!
Aleksey
@groga, ты нам расскажешь о проблеме-то? А то заинтриговал
Evgeniy
щас отвлекся на дом. дела
Evgeniy
работа с GCP при выполнении push [HOSTNAME]/[PROJECT-ID]/[IMAGE] образ должен выгрузится на гуугл в мой проэкт PROJECT-ID
Evgeniy
вместо этого получается ERROR: (gcloud.docker) unrecognized arguments:
Oleg
Есть у кого опыт включения в кластер ноды с серым IP?
Oleg
Пока выглядит как разворачивание openvpn на всю инфраструктуру
Slach
ну или какой нибудь tinc
Sergey
Есть опыт с tinc
Sergey
Все ок, если больше полгигабита трафика не нужно
Sergey
Ну и считай, что одно ядро на ноде придётся выделить tinc'у
Konstantin
Использовать weave-net и включить шифрование
Konstantin
у меня так сейчас крутится бареметал + aws, пока проблем нет
kubeadm, использую weave-net, aws ноды добавляю через обычный join
единственное неудобство, это если надо что бы можно было на поды проваливатся по kubectl exec, то aws ноды должны анонсировать свой public-ip, т.е. kubelet надо стартовать с ключем --node-ip=<public-ip>, но kubelet не стартанет, если нет сетевого интерфейса с таким ip, по этому public ip нужно добавить алиасом
Konstantin
не так красиво как хотелось бы, но зато можно исключить vpn из связки
Oleg
у тебя точно baremetal за двойным NAT?
Oleg
что-то анансирование публичного ip ноды подсказывает мне что не взлетит оно
Konstantin
так я не гипотезу предлагаю попробовать) на aws нодах серые ip, эти ноды можно добавить в кластер который крутится на baremetal, да так что бы между baremetal и aws шифровался трафик без испоьзования vpn. Тебя же именно это интересует - можно ли ноды с серым ip добавить во внешний кластер без vpn, но с шифрованием? - можно )
Oleg
дай ссыль плиз, я попробую. только хочу наоборот, мастер в облаке, а отдельные специфичные железные ноды в подсети за двойным NAT
Oleg
и мне все же кажется что у тебя одинарный NAT
Andrey
Господа, всем привет. Пытаюсь "поиграться" с istio и никак у меня не получается сделать autoscale, ругается missing request for cpu on container istio-proxy in pod ... Курение гугли и оф доки так и не помогло. Может быть коллективный разум наставит на путь, где почтитать/поискать?
Konstantin
и мне все же кажется что у тебя одинарный NAT
если маппится не 1-к-1, то работать конечно не будет, на каждую ноду должен быть свой public ip, это не обойти. а если 1-к-1, то нужно просто указать какой использовать
Konstantin
дадите ссылку чтобы почитать?
про шифрование?
https://www.weave.works/docs/net/latest/kubernetes/kube-addon/#configuration-options
Andrey
Господа, всем привет. Пытаюсь "поиграться" с istio и никак у меня не получается сделать autoscale, ругается missing request for cpu on container istio-proxy in pod ... Курение гугли и оф доки так и не помогло. Может быть коллективный разум наставит на путь, где почтитать/поискать?
А так же подойдет просто совет, как сделать автоскейлинг в istio)
Igor
эм, так там же говорится, что нужно сделать - настроить requests для контейнера istio-proxy в спеке pod'а istio
Igor
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/#resource-requests-and-limits-of-pod-and-container
Andrey
Посмотрю, спасибо. Я понимаю что решение быть должно но вот все мимо было
Anonymous
Всем привет, подскажите, как нагрузить k8s кластер, некий стресс-тест
Anonymous
майнеры нагрузят просто проц нод
Igor
Всем привет, подскажите, как нагрузить k8s кластер, некий стресс-тест
https://github.com/kubernetes/community/blob/master/contributors/devel/kubemark-guide.md
Anonymous
Igor
ну, там не то чтобы что-то очень крутое
Igor
на самом деле, я бы посоветовал в первую очередь посмотреть это https://www.youtube.com/watch?v=-lsJyni7EQA например
Aleksey
парни а как у вас устроен мониторинг ?
он часть кластера с кубером или отдельно ?
Aleksandr
сейчас отдельно, планирую в кубер засунуть prometheus operator , хранить инфу внутри кластера минут по 20-30, а выгружать это всё на внешний прометеус
Slach
Всем привет, подскажите, как нагрузить k8s кластер, некий стресс-тест
https://github.com/asobti/kube-monkey
Terry
Kured (KUbernetes REboot Daemon) — утилита для управления перезагрузкой нод в кластере Kubernetes от Weaveworks.
Позволяет перезагружать при необходимости ноды по одной, сообщать об этом в Slack и проверять наличие алертов в Prometheus.
https://goo.gl/EPcp5q
🔅
#whois
всем хорошего настроения
тут нашел комьюнити по интересам
G72K
Потому что все плохо. И эти люди деньги берут за свой клауд? systemd сокет в поды просовывать кто разрешит? Лочить по одной ? Это 50 нод кластер сколько секьюрити апдейты ставить будет? Сколько раз эти несчастные поды переезжать будут пока весь кластер ребутнется? В прометей смотрит, а если в каждой команды свой прометей, во всех смотреть сможет? Это я еще код не смотрел на предмет: Что произойдет если drain бесконечно неудается и как быстро следующая нода уйдет в даун, после того как отстреляется предыдущая
G72K
Правильное решение должно быть на основе rescheduler, где уже есть вся инфраструктура запускать симуляции ,"а что будет,,если я сделаю так вот" . Алгоритм - найти лучшего кандидат (ов) на отстрел (максимум подов может принять по ресурсам, лейблам, тейнтам),
Terry
Правильное решение должно быть на основе rescheduler, где уже есть вся инфраструктура запускать симуляции ,"а что будет,,если я сделаю так вот" . Алгоритм - найти лучшего кандидат (ов) на отстрел (максимум подов может принять по ресурсам, лейблам, тейнтам),
Ну тогда стоит это все описать на medium и указат урлы на github
G72K
Их задрейнить, ребутнуть. Затем закордонить вообще всех кроме новых, чтобы поды по десять раз не ездили. И начать цикл: дрейним тех, с кого все поды могут переехать на новые ноды, ребутаем, раскордоним (нода становится новой и готовы принять). Повторяем до тех пор пока либо весь кластер не ребутнем либо упремся в невозможность прогресса, потому что кто-то выставил кривой PDB.
Terry
что бы мнение не пропало за зря
G72K
Ну тогда стоит это все описать на medium и указат урлы на github
У них свой бизнес у меня свой. Только они берут в 100 раз дороже, а толкают такую херню. С их то ресурсами!
G72K
Их задрейнить, ребутнуть. Затем закордонить вообще всех кроме новых, чтобы поды по десять раз не ездили. И начать цикл: дрейним тех, с кого все поды могут переехать на новые ноды, ребутаем, раскордоним (нода становится новой и готовы принять). Повторяем до тех пор пока либо весь кластер не ребутнем либо упремся в невозможность прогресса, потому что кто-то выставил кривой PDB.
Все это проделать для каждого failure domain
Terry
У них свой бизнес у меня свой. Только они берут в 100 раз дороже, а толкают такую херню. С их то ресурсами!
повторяю еще раз, вместо того, что бы рассказывать свое пфе здесь - сделай это правильно и красиво, даже на том reddit
Terry
а здесь твое пфе это просто пфе
Terry
У них свой бизнес у меня свой. Только они берут в 100 раз дороже, а толкают такую херню. С их то ресурсами!
https://t.me/kubernetes_ru/40854
Детский сад какой-то.
G72K
а здесь твое пфе это просто пфе
У меня нет задачи сделать мир лучше. Вы спросили почему это детсад, я отвечал конкретно вам, а не пфе выражал
Terry
лол
Terry
ну ок
Terry
хреново конечно, если нет так идеи и даже мыслей
Terry
очередной диванный експерт
Anatoliy
https://t.me/kubernetes_ru/40854
Детский сад какой-то.
эм... прошу прощения за оффтоп но как такую ссылку самому создавать на сообщение?
Terry