Всем добра в этом чате) #whois ▫️Какой у вас проект или где работаете? Израильский стартап по очистке ecommerce трафика ▫️В чём вы специалист? DevOps, sysop, etc. 10+ лет опыта ▫️Чем можете быть интересны или полезны сообществу? Делиться опытом использования k8s ▫️Чем интересно сообщество вам? Инетресен опыт использования k8s на высоких нагрузках ▫️Откуда вы? Израиль ▫️Как узнали про группу? гугл: telegram kubernetes

чат, а у кого в логах контроллера видно такие ошибки E0928 09:38:44.970618 1 deployment_controller.go:400] Error syncing deployment static-namespace/static: Operation cannot be fulfilled on deployments.extensions "static": the object has been modified; please apply your changes to the latest version and try again ?

заметил, что у меня kubectl apply не каждый раз выкатывает версию

немного оффтоп, но кто-нибудь настраивал ingress парсер в fluentd для Kibana?

@exename c ошибкой не сталкивался, но выкатываю версию не через apply, а через rolling-update $K8S_RC_NAME --image=$PROJECT_IMAGE --namespace=production --image-pull-policy=IfNotPresent --update-period=0s

ну это для rc

как правильно увеличить client_max_body_size для nginx

cat nginx_extra_conf.yaml apiVersion: v1 metadata: name: nginx-ingress-controller data: body-size: "4G" kind: ConfigMap

$ cat ingress_daemonset.yaml | grep -C1 nginx-ingress-controller args: - /nginx-ingress-controller - --default-backend-service=$(POD_NAMESPACE)/default-http-backend - --nginx-configmap=$(POD_NAMESPACE)/nginx-ingress-controller

@kay_rus а ты случайно не настроил ингресс так, чтобы он видел реальные айпи клиентов?

хм. а он у меня их види по дефолту

странно, у меня в логах были исключительно внутренние айпи докера

или как ты запускаешь поды?

какой ингресс используешь*

nginx controller, можно твой манифест посмотреть?

у меня вот gcr.io/google_containers/nginx-ingress-controller:0.8.3

ну и я его юзал

покажи логи

я его сейчас опустил

У меня вот так логи выглядят: 76.72.167.90 - [76.72.167.90] - - [28/Sep/2016:14:41:01 +0000] "GET / HTTP/1.1" 200 4199 "-" "Pingdom.com_bot_version_1.4_(http://www.pingdom.com/)" 168 0.004 10.64.62.3:8000 14770 0.004 200

но там как адрес клиента логгировался айпи докера

а на чем ты поднял кубер?

голое железо

ось какая?

ubuntu

ставилось ансамблем

а манифест для контроллера ты брал стандартный из доки?

да

daemonset

который слушает hostPost 80/443

т.е. nginx видит реальные запросы

пасиб, видимо этот момент я упустил, нужно было через daemonset сделать

я поднял через rc

ясно

я очень удивлен тем, что community совершенно плевать на логи в kubernetes.

и прочий ELK stack

информации практически ноль, конфиги устаревшие, и прочие радости

уже неделю вожусь над тем, чтобы правильно логи наблюдать во всем кластере

“правильно” у всех разное

да банальный nginx

ingress

изкоробки решение вообще не работает

логи не парсятся

плагин fluentd для kubenretes вообще не используется

ELK построен на устаревших replication controller'ах

как обновить конфиги с nginx

?

а конкретнее?

я хочу поставить client_max_body_size как тут https://github.com/nginxinc/kubernetes-ingress/tree/master/examples/customization но не понимаю как их применить

см выше

я час назад об этом писал

сории просмотрел

пасиб

это на мастере делать?

это в кластере делать

спс

если кратко, то создается конфигмап, на него натравливается nginx ingres контроллер, и контроллер уже мониторить этот конфигмап на предмет знакомых слов

уже неделю вожусь над тем, чтобы правильно логи наблюдать во всем кластере

мне не наплевать, я тут уже неделю ною "кто как мониторит" - все на прометеус показывают пальцем, типа "иди и собери сам себе готовое решение из палок и ниток" )

так что юзкейсы готовые если будут то давай обмениваться...

не надо путать логи и мониторинг

не, ну я понимаю что это разные вещи

мне-то именно события системы надо наблюдать

типа "деплой не удался" и тп

Вклинюсь немного: Подскажите пожалуйста, есть ли какой-то адекватный способ обновления k8s? Или только руками каждый инстанс?

Хипстером мониторишь ноды, fluentd для логов подов

смотря как кластер собран, у меня через докер образы, и нужно обновить только kubelet и то это можно делать не сразу, т.к. старые версии kubelet нормально поднимают новые докер образы

У меня на aws поднят, пока не вышли в продакшн можно было просто down/up на новую версию, но теперь нужно как-то подумать как обновляться без даунтайма

ERROR: S client not available

там просто бинари запущены?

через KUBERNETES_PROVIDER=aws ./kubernetes/cluster/kube-up.sh устанавливал

Я тут ворвусь немного, кто использует персистент вольюмз, у вас сильно болит или работает как часы?

Я использую на aws, работает как часы, прбовал даже полностью удалять кластер, а затем снова поднимать его - все подхватывается, проблем нет.

добро! а на гце есть у кого опыт?

на гце просто поднимал, длительного опыта не было. но там тоже можно их увидеть живьем в админке.

как быстро переносятся, если хост дрейнишь?

Кстати, использую в работе weavescope, очень рекомендую, очень удобно, рекомендую для мониторинга, визуализации и быстрого доступа к консоли самих докер-образов, ускоряет процесс отладки значительно

как быстро переносятся, если хост дрейнишь?

не было такого опыта :\

А кто в кубике отвечет за именования репликосетов ? у меня он при накате новой версии почему то хочет взять имя, которое уже использовал шестью часами ранее E0928 16:33:18.009478 1 deployment_controller.go:400] Error syncing deployment default/rs_name: error creating replica set rs_name: replicasets "rs_name-3222327097" already exists

удаляю старый репликасет и все деплоится

не было такого опыта :\

Всего одна команда:)

добро! а на гце есть у кого опыт?

была бага с проблемой доступа при переносе хоста (грубо говоря - надо было подождать около 5 секунд чтобы гугль понял что вольюм уже ничей иначе под падал), но вроде собирались пофиксить - сори не проверял и ишьюсу не помню

была бага с проблемой доступа при переносе хоста (грубо говоря - надо было подождать около 5 секунд чтобы гугль понял что вольюм уже ничей иначе под падал), но вроде собирались пофиксить - сори не проверял и ишьюсу не помню

Ну, по сравнению с азуром, где ждать нужно минуты, это не так страшно

есть у кого то ман как правильно подключить и настроить nginx ingress controller?

а почему etcd везде (в мануалах и тп) надо скачивать руками а не доставлять средствами ос (ну там убунту/дебиан - apt-get и тп)? какая-то best practices или людям просто в манах неохота заморачиваться разными версиями менеджеров пакетов под разные оси?

@a_hillo в официальной документации непонятно че-то? мне вот тоже, пару раз прочитал и плюнул, решил подождать когда хаоса меньше будет :)

@vkfont ахах) ну оно как бы понятно, но чет вообще ничего не работает))

ну я тугодум, да :)

а что не с так с этими контроллерами?

последнее что я пытался сделать это поднять его мо этому ману https://github.com/nginxinc/kubernetes-ingress/tree/master/nginx-controller и он создается и вроде раработает, но как сделать чтобы все через него шло и проверить что все ок, не понимаю

Через час расскажу. Вчера как раз поднял

Буду очень признателен)

не понимаю как ты к этой ссылке пришел?

https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/examples/daemonset/as-daemonset.yaml

@kay_rus оО я его разверну и все? a сам контроллер вот этот брать? https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/examples/default/rc-default.yaml

ну я бы не рекомендовал контроллер

либо daemonset либо deployment

самое главное чтобы порт nginx наружу торчал

вот я daemonset разверну и этого достаточно? я не понимаю как оно работать будет

daemonset запустит поды nginx на всех нодах (либо по nodelselector)

для них будут маппится 80/443 порты. т.е. больше одного пода на ноду запустить не удасться