Всем привет. Помогите плиз.
Пытаюсь запустить openresty в k8s и для него просаживаю конфиги nginx через configmap.
configmap монтируется в /usr/local/openresty/nginx/conf/my-conf в файл nginx.conf
Чтобы запустить с новыми конфигами вызываю openresty -cconf/my-conf/nginx.conf но под падает с вот такой ошибкой
nginx: [emerg] open() "/usr/local/openresty/nginx/conf/my-conf/nginx.conf;" failed (2: No such file or directory)
Если запускать из контейнера ручками openresty -cconf/my-conf/nginx.conf то все работает.
У меня такое впечатление что что команда пода отрабатывает быстрее, чем появляется файл...
Если не сюда, то может подскажите где спросить?
забавно прямо сейчас подобным занимаюсь
bebebe
Alexandr
И как успехи? )
bebebe
только начал писать helm чарт, openresty + etcd
Alexandr
Если заработает, поделишься? ))
bebebe
да, я пингану
Sergey
Ребят, динамические тома в K8s возможно юзать на baremetal без всяких AWS/GCE или нет?
Sergey
Доки кубера тыкают меня в облака:С
Sergey
О.о
Denis
Ребят, динамические тома в K8s возможно юзать на baremetal без всяких AWS/GCE или нет?
Я тут последние 2 недели с этим эсперементировал. Сделал свои выводы.
Denis
Вообщем для StateFullSet не подходит
Denis
и как оно?
К примеру с облачными стораджами persistentvolumclaim доступен на всех нодах, а вот когда ты юзаешь локальные вольюмы, то с этим беда. При аварии ноды-воркера, к примеру под не сможет запустится на другой ноде, так как его вольюм тоже ушел на покой. Покрайней мере я так увидел.
Denis
и как оно?
Вроде как понял OpenEBS решает эту проблему, но возможностей протестить пока что не было
Я и твой кот
Ребят, динамические тома в K8s возможно юзать на baremetal без всяких AWS/GCE или нет?
Посмотрите, как это в openshift реализовано, через что.
bebebe
https://github.com/kubernetes/helm/releases/tag/v2.9.0
8 дней назад зарелизился
Sergey
лиды говорят гластер глючная:С
из документации кубера остается Cinder методом исключения:)
бум гуглить
Sergei
Sergey
а Cinder вообще Openstack)))
Sergei
а Cinder вообще Openstack)))
Cinder и GlusterFS это не продукты, между которыми можно выбирать и предпочесть один другому, потому что Cinder не сторадж.
Logan
Cinder и GlusterFS это не продукты, между которыми можно выбирать и предпочесть один другому, потому что Cinder не сторадж.
https://www.openstack.org/software/releases/queens/components/cinder
разве?
Sergey
я не знаю про Cinder, просто увидел варианты использования с k8s
GCE
AWS
Gluster
Cinder
Ceph
Sergei
https://www.openstack.org/software/releases/queens/components/cinder
разве?
точно.
там ни слова про датаплейн.
Logan
лиды говорят гластер глючная:С
из документации кубера остается Cinder методом исключения:)
бум гуглить
glusterfs глючная и медленная. не надо
Sergey
вот вот, придется статичные NFS юзать:С
либо перезжать в амазон))
Logan
точно.
там ни слова про датаплейн.
https://wiki.openstack.org/wiki/CinderSupportMatrix
про датаплейн
Sergei
https://wiki.openstack.org/wiki/CinderSupportMatrix
про датаплейн
ок. опенстек это гипервизор.
Sergei
что лучше, опенстек или KVM?
Sergey
OpenStack Block Storage (Cinder) а сами доки говорят что сторэдж
Logan
ок. опенстек это гипервизор.
не гипервизор, безусловно. Но в данном контексте можно сравнить cinder и gluster, как минимум с т.з. использования его из куба
Sergei
не, ну сторадж так сторадж.
Logan
OpenStack Block Storage (Cinder) а сами доки говорят что сторэдж
он по сути адаптер, а не сторадж. Он не хранит данные, а только предоставляет интерфейс к вашему собственному хранилищу. Поддерживает "собственное" хранилище на базе XFS + memcached (весьма опасная конфигурация)
Sergey
я просто спросил может кто решил проблему динамических томов без всяких GCE, видать не судьба пока
Logan
Logan
пока не сломается
в отличае от гластера – есть хоть какие-то шансы его починить. И есть коммьюнити, которое регулярно находит и устраняет в нем проблемы. Вообще PVC в кубере – это костыль. И об этом не стоит забывать никогда
Sergey
вопрос то в чем, с десяток томов динамических - для этого цеф подымать а потом этот цеф еще и обслуживать, в любом случае спасибо за подсказки
Gleb
в отличае от гластера – есть хоть какие-то шансы его починить. И есть коммьюнити, которое регулярно находит и устраняет в нем проблемы. Вообще PVC в кубере – это костыль. И об этом не стоит забывать никогда
вот с этим спорить не буду даже) гластер - потрачено
Sergey
Logan
вопрос то в чем, с десяток томов динамических - для этого цеф подымать а потом этот цеф еще и обслуживать, в любом случае спасибо за подсказки
вам в любом случае нужно поднимать какую-то систему хранения. Гластер, Синдер, Цеф. Никуда вам от этого не убежать.
Sergey
вам в любом случае нужно поднимать какую-то систему хранения. Гластер, Синдер, Цеф. Никуда вам от этого не убежать.
пока на NFS работаем, но там приходится прописывать
в прочем, не десять тысяч серверов, справимся:)
Logan
гыы а есть "не костыль"?)
так в GSRE все написано же. Хранить данные для контейнеров надо вне инфраструктуры контейнеров. Контейнеры – вычисляют (обрабатывают ресурсы). Система хранения – хранит.
Denis
Vlad
ребята, ставлю heapster по https://github.com/kubernetes/heapster/blob/master/docs/influxdb.md, но в логах heapster manager.go:101] Error in scraping containers from kubelet:192.168.5.100:10250: failed to get all container stats from Kubelet URL "https://192.168.5.100:10250/stats/container/": request failed - "401 Unauthorized", response: "Unauthorized"
Vlad
Нужно RBAC настроить видимо
https://github.com/kubernetes/heapster/blob/master/deploy/kube-config/rbac/heapster-rbac.yaml
Denis
https://github.com/kubernetes/heapster/blob/master/deploy/kube-config/rbac/heapster-rbac.yaml
Ну в логах видно 401 ошибку. Могу ошибатся, но где то прав не хватает
Sergey
ребята, ставлю heapster по https://github.com/kubernetes/heapster/blob/master/docs/influxdb.md, но в логах heapster manager.go:101] Error in scraping containers from kubelet:192.168.5.100:10250: failed to get all container stats from Kubelet URL "https://192.168.5.100:10250/stats/container/": request failed - "401 Unauthorized", response: "Unauthorized"
а вы для каких целей его ставите, первоначальная настройка кластера?
Vlad
а вы для каких целей его ставите, первоначальная настройка кластера?
нужны метрики с подах (cpu&memory).. пробую с мастер нода
$ curl https://192.168.5.100:10250/stats/container/
Unauthorized
Sergey
нужны метрики с подах (cpu&memory).. пробую с мастер нода
$ curl https://192.168.5.100:10250/stats/container/
Unauthorized
вы в Dashboard вообще попасть можете?
Vlad
kubectl get pods —all-namespaces | grep heapster?
$ kubectl get pods --all-namespaces | grep heapster
kube-system heapster-f46468b-9dpfn 1/1 Running 0 49m
Sergey
Sergey
ждите, если не запустится, пересоздайте
Sergey
такое сообщение выводится первое время после деплоя heapster
Sergey
git clone https://github.com/kubernetes/heapster.git
cd heapster
kubectl create -f deploy/kube-config/influxdb/
если не вышло,
kubectl delete -f deploy/kube-config/influxdb/
kubectl create -f deploy/kube-config/influxdb/
мне помогло, когда были проблемы
Andor
А инфлюкс тут при чём?
Sergey
хипстеру надо где то данные хранить, я полагаю, а инфлюкс рбд
Vlad
git clone https://github.com/kubernetes/heapster.git
cd heapster
kubectl create -f deploy/kube-config/influxdb/
если не вышло,
kubectl delete -f deploy/kube-config/influxdb/
kubectl create -f deploy/kube-config/influxdb/
мне помогло, когда были проблемы
ставлю тоже самое только с
command:
- /heapster
- --source=kubernetes:https://kubernetes.default.svc?kubeletHttps=true&kubeletPort=10250&insecure=true
- --sink=influxdb:http://monitoring-influxdb.kube-system.svc:8086
Sergey
через хельм?
Sergey
грубо говоря затык только в том, что хипстер поставился, но данные дашборду пока не отдает
Sergey
пересоздайте, других альтернатив я не вижу, деплой у вас прошел норм, а курлом вы не выцепите, потом что токен не передан
Sergey
обычно 5 минут и готово
Sergey
bebebe
Если заработает, поделишься? ))
вообщем я создал helm create mychart добавил туда деплоймент спеку и указал image: openresty/openresty:latest и оно взлетело после helm install -f ./values.yml .
Dmitry
как проще всего реализовать Canary тестирование, отделив лишь малый процент запросов? используется nginx ingress. если это делать запуском двух деплойментов, то придется запускать 9 продакшн и 1 cannary реплики для выделения 10% запросов. это очень много накладных расходов. предлагают еще использовать istio, но это оверкилл. еще есть шкипер (https://zalando.github.io/skipper/kubernetes/ingress-controller/), но тоже не особо охото запускать еще один ингресс. кто нибудь может предложить другие варианты?
Alexandr