nginx-controller наблюдает за изменениями в инстансе ingress во всех неймспейсах

и на основе этих изменний формирует nginx конфиг из темплейта /etc/nginx/template/nginx.tmpl

и если что-то изменилось, контроллер делает reload

nginx начинает юзать новый конфиг

так понятнее?

да, спасибо)

@kay_rus вчера переключил на даемонсеты, почти без приключений. вопрос по хелфчеку, у тебя что в этой секции? А то то что в мане традиционно не работает

они там накосячили с портами

то один порты был то второй

Судя по комментариям в нгинск конф оно открывает рандомный?

для версии gcr.io/google_containers/nginx-ingress-controller:0.8.3 используется порт 10254

Странно он у меня открыл какой 18800, сейчас достану из пода

# default server, used for NGINX healthcheck and access to nginx stats server { # Use the port 18080 (random value just to avoid known ports) as default port for nginx. # Changing this value requires a change in: # https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/nginx/command.go#L104 listen 18080 default_server reuseport backlog=511; location /healthz { access_log off; return 200; }

при этом в мане про демонсет

- image: gcr.io/google_containers/nginx-ingress-controller:0.8.3 name: nginx-ingress-lb imagePullPolicy: Always readinessProbe: httpGet: path: /ingress-controller-healthz port: 80 scheme: HTTP livenessProbe: httpGet: path: /ingress-controller-healthz port: 80 scheme: HTTP initialDelaySeconds: 10 timeoutSeconds: 1

@kay_rus a чтобы поднять все это дело, надо default-backend поднять и daemonset?

# Changing this value requires a change in: # https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/nginx/command.go#L104 // Name returns the healthcheck name func (ngx Manager) Name() string { return "NGINX" }

вот как это юзать?)

@a_hillo да, сначала запускаешь default-backend а потом стартуешь контроллер

оффтоп: https://github.com/containernetworking/cni пробовал уже кто?

@exename у меня бекенды стартуются, запускаются и крашаться CrashLoopBackOff и тоже самое с демонсетом, как причину чекнуть?

причина в healthcheck

@exename где именно ты этот рандомный порт увидел?

@a_hillo kubectl get ev , kubectl log pod если он какое то время все же запущен

@a_hillo попробуй так http://pastebin.com/MbxWrmm6

ага ща попробую, пасиб

@exename ну вроде поднялось, а как теперь это проверить что работает, и конфиги прикруить?

@a_hillo все зависит от твоих конфигов, как именно ты хочешь чтобы оно заработало?

Конфиг ингресс нужно добавить в те неймспейсы, которые хочешь выставить наружу через контроллер

@a_hillo Выше уже подсказали =)

только я не демонами, а сервисом делал

и лейблами на ноды этот Nginx пришил

@exename я хочу увеличить client_body_size, потому что апликуха сыпит ошибки при загрузке больших файлов

configmap я не прикручивал, выше писали как это сделать

Ага, я кажется понял

все через ингрес только http прокидывают? а какие-нибудь tcp сервисы?

оффтоп: https://github.com/containernetworking/cni пробовал уже кто?

через cni работает calico и вроде weave тоже

убил полных 3 дня чтобы настроить правильно ELK в kubernetes. сейчас наслаждаюсь визуализацией логов. https://github.com/kayrus/elk-kubernetes

спасибо

убил полных 3 дня чтобы настроить правильно ELK в kubernetes. сейчас наслаждаюсь визуализацией логов. https://github.com/kayrus/elk-kubernetes

звезданул

?

звездочку поставил в github

ок.

И как по ресурсам? не сильно отжирает ELK?

там же все-таки Java

java != суперпотребление ресурсов само по себе

пока вот так

heap у меня по минимуму

индекс пока за день

@key_rus а не смотрел в сторону флюент logging driver для докера?

так у меня fluent и используется. только логи собираются из FS

kubelet делает симлинки

по ним и определяются контейнеры

я понимаю, но еть вот такое https://docs.docker.com/engine/admin/logging/fluentd/ и хотел узнать пробовал ли ты?

не пробовал. пока даже не знаю как оно устроено. что будет если fluent демон упадет, как там ассайнятся тэги k8s и т.п.

кто подскажет? в ingress прописываю path: /one и собственно в приложение в pod приходит запрос с /one, а нужно с /. Необходимо развернуть так несколько сервисов /one - один под, /two - совершенно другой под

ну так и пиши / а не /one если нужно из корня, или вопрос про реврайты?

@sclif13 ^

https://github.com/kubernetes/contrib/tree/master/ingress/controllers/nginx/examples/rewrite

вот, спасибо

Kubeadm из 1.4: http://kubernetes.io/docs/getting-started-guides/kubeadm/ http://blog.kubernetes.io/2016/09/how-we-made-kubernetes-easy-to-install.html Чем то напоминает Swarm mode :)

в чем его суть? он качает чтоли etcd и бинарники, и джоинит между собой мастеров и клиентов? хм, я могу ошибаться но это вроде как это пара-тройка команд всего в консоли да и самый цемес это не заджойнить ноды а грамотно их настроить - правильные сервисы и гуи поставить (типа аддоны), сети прописать, сгенерировать токены и правила доступа, отказоустойчивость (тот же kelsey предлагает etcd на отдельных машинах держать потому что они не часть кластера)

kubeadm рано или поздно, так понимаю, будет делать всё это. Эту тулзу хотят сделать главным (tm) инструментом деплоя k8s. Двигают идею чуваки из sig-cluster-lifecycle, в тч тов. Joe Beda, автор первого коммита в github.com/kubernetes/kubernetes

Canonical expands enterprise container portfolio | Ubuntu Insights https://insights.ubuntu.com/2016/09/27/canonical-expands-enterprise-container-portfolio/?utm_source=telegram.me&utm_medium=social&utm_campaign=ubuntu-nachali-predostavlyat-sobstvennuyu

Бодрая штука... https://www.elastic.co/products/beats/topbeat

И логи и мониторинг ресурсов в одной kibana. Интересно, умеет ли он alert'ы высылать

ERROR: S client not available

https://github.com/elastic/kibana/issues/1011

А эта штука пока проприетарная и платная https://www.elastic.co/products/watcher

да попробуйте грейлог уже ) http://docs.graylog.org/en/2.1/pages/getting_started/stream_alerts.html

там ровно тот же es внутри

и для любителей прямо в докере есть gelf log driver

вот странно почему в оффициальноё репе k8s продвигают kibana, а не graylog

политика?

у меня оущущение, что все почему-то его обходят стороной

ну и продвижение кем-то чего-то очень часто не является лучшим решением

https://marketplace.graylog.org/addons?search=callback это по алертам

вот я о graylog еще с 2013 года слышал. но в продакшене его ни разу не видел

и непонятно почему все prometheus рекламируют. по мне так он не шибко функционален

либо у меня не дошли еще руки красивый и функциональный dashboard запилить

Panda Strike: Fluentd vs Logstash https://www.pandastrike.com/posts/20150807-fluentd-vs-logstash

fluentd родной есть

ну я вот тоже fluentd использую. главное преимущество - рестарт за секунду. logstash же пока подгрузит всё...

а минус в том, что многие плагины не из-коробки. приходится бегать по репозиториям и устанавливать порой must-have плагины

Логи из докера нативно шлются... вот буду имплеиентить на след неделе, по спрашиваю тебя )

вот кстати один из примеров. чтобы пропарсить ingress - nginx логи, нужно установить плагин. http://stackoverflow.com/questions/39742322/parse-nginx-ingress-logs-in-fluentd

друзья, а подкиньте мануал по ingress для ламеров? желательно с примерами :) наверное тут ссылки уже пролетали но блин 1к+ сообщений мне не просмотреть, заранее спасибо

https://github.com/kubernetes/contrib/tree/master/ingress/controllers/nginx/examples

спс

оффтоп: в гугле 1.4.0 появилось, только что обновился

GCE?

yep

ну и как?

ну хз то что было нормально встало обратно

тоже не совсем понимаю как скрестить кубернейтс с остальной инфраструктурой. хочу в кубе запустить пару сервисов(HTTP, TCP) нужно чтобы много разных серверов, виртуалок могли с ними работать. Как лучше открыть доступ из вне куба до виртуальных ИП сервисов?

вот же пример для TCP, https://github.com/kubernetes/contrib/tree/master/ingress/controllers/nginx/examples/tcp

а вот для UDP https://github.com/kubernetes/contrib/tree/master/ingress/controllers/nginx/examples/udp

я может чего то не понимаю, да но как зароутить с серверов вне кластера ИП адреса сервисов

внутри кластера ИП сервисов доступны через иптаблес