и только стэйтлес приложения, стейтфул не смотрел при падениях

продакшн?

ну и самый важный вопрос.. зачем тебе HA для apiserver?

Деплои же через него идут? Чтобы не дергали если он помрет, с 60-80 деплоями в день это боль будет.

щас нет, просто играюсь и разбираюсь, но будет в итоге продакшн

Деплои же через него идут? Чтобы не дергали если он помрет, с 60-80 деплоями в день это боль будет.

60-80 деплоев это ерунда) не те нагрузки для HA. проще запустить одну копию apiserver внутри куба, и чтобы он болтался на выделенных

где нагрузки нету

щас нет, просто играюсь и разбираюсь, но будет в итоге продакшн

если играешься, то выключи машину с аписервером и проверь что он работает.. у меня есть подозрения, что твой кластер эту перезагрузку не переживет

ок, вечером буду дома посмотрим как прореагирует

но я уже отключал обе машины по очереди, все работало

хорошо что так.. мне не понятно, как у тебя etcd выбирает лида

там всего 2 сервера, и оба мастера, что там выбирать?

всем привет кто с alb в кубере работает ?

было бы сервера 4-5 и все мастерами - можно было бы смотреть

а так вряд ли проблемы будут

там всего 2 сервера, и оба мастера, что там выбирать?

что ты подразумеваешь под мастером? какие сервисы запущены?

не получается реврайтить на https, кто-то сможет помочь ?

юзаем alb ingress от coreos

что ты подразумеваешь под мастером? какие сервисы запущены?

домой приду- отпишусь, а так в kubectl get node показывает что оба мастера, сами сервисы щас не скажу, но вроде там все дублируется из служебных, хотя может быть 1-2 сервиса есть в одном экземпляре

юзаем alb ingress от coreos

использую nginx-ingress с опцией service.beta.kubernetes.io/aws-load-balancer-proxy-protocol: '*'

все работает

юзаем alb ingress от coreos

у alb помоему бага есть с редиректом.. посмотри в ишьюсах на гитзабе

хочешь понять как работает - используй hardway

Вот я в хардвее застрял на том чтобы завести dns и сеть

Hello everyone, this group is Russian only?

Hentioe kinda, but you may try to ask

Hentioe kinda, but you may try to ask

OK， i understand, thank you guys

Привет всем. Подскажите, что делать: обновил кластер на амазоне через kops с 1.7 до 1.8.4, после этого стали падать днс-поды с ошибкой типа: 1 dns.go:174] Waiting for services and endpoints to be initialized from apiserver... I1212 16:11:54.699939 1 dns.go:174] Waiting for services and endpoints to be initialized from apiserver... I1212 16:11:55.199942 1 dns.go:174] Waiting for services and endpoints to be initialized from apiserver... Поды находятся на разных нодах, поды убивал полностью, они пересоздавались и снова падали с той же ошибкой. Как лечить, куда копать? Заранее спасибо

А логи аписервера что говорят?

да что то ничего нет в них

или я что то не так делаю

А логи аписервера что говорят?

В аписервере нсчего и не будет

Смотри логи kubelet

Хотя скорее всего проблема в RBAC

Если она есть

в 1.8 Её перепилили

нет, его пока нет

хмм, что то с сетью… помог совет прописать iptables -P FORWARD ACCEPT на нодах

а до этого что было?Оо

просто от версии кубера iptables как бы не зависит)

и на оборот то же

это понятно, возможно kops что то намудрил, но это не точно

разве рафт может на двух тачках заработать?

А что ему помешает?

А что ему помешает?

Выбор лида не понятно как будет происходить. И кто будет отвечать за консистентность

ровно так же, как и в любом другом кластере

Если большинством в этом случае считается один противоположный узел, то там возможна ситуация, когда они оба выберутся и потом один или оба уйдут на перевыборы, но никаких нарушений консистентности это за собой не влечет. Если большинство - это оба узла, то могут быть затыки с перевыборами, но там прямо в white paper рекомендуется рандомизировать время выборов, чтобы максимально разделить возможные одновременные запросы на выборы, строго говоря неудачные выборы могут быть и в кластере на 3+ участников, когда никто не набирает большинства.

Можно ли в kops передать log-driver gelf? Чтобы не править настройки докер демона руками

Если большинством в этом случае считается один противоположный узел, то там возможна ситуация, когда они оба выберутся и потом один или оба уйдут на перевыборы, но никаких нарушений консистентности это за собой не влечет. Если большинство - это оба узла, то могут быть затыки с перевыборами, но там прямо в white paper рекомендуется рандомизировать время выборов, чтобы максимально разделить возможные одновременные запросы на выборы, строго говоря неудачные выборы могут быть и в кластере на 3+ участников, когда никто не набирает большинства.

Так они ж к консенсусу не прийдут, т.к. Будут голосовать друг за друга, и ни у кого не будет большинства

https://coreos.com/etcd/docs/latest/v2/admin_guide.html#optimal-cluster-size

они не начинают голосование ровно в один момент и не получают ответы ровно в один момент

они не начинают голосование ровно в один момент и не получают ответы ровно в один момент

Я в курсе, что задержка рандомная) сейчас соберу лабу доя теста

Если к кандидату с term = N приходит запрос на голосование с term = M > N, он отказывается от своей кандидатуры и голосует за кандидата с term = M, что должно рано или поздно произойти, т.к. при каждом неудачном раунде кандидаты увеличивают свой term.

Продолжая нубские вопросы - а кто какую сеть использует на bare-metal кластере? Там чего-то большой выбор. flannel, weave etc.

Если к кандидату с term = N приходит запрос на голосование с term = M > N, он отказывается от своей кандидатуры и голосует за кандидата с term = M, что должно рано или поздно произойти, т.к. при каждом неудачном раунде кандидаты увеличивают свой term.

Да, похоже на правду

прост опробовать хотел. калико тыщи правил в iptables генерит, хотел посмотреть что там в flannel

Так если network policy не польщовать,то,и правил не будет )

кстати.. с если запустить apiserver в единственном экземпляре внтури куба, то это и будет HA

Нет, не будет. Если apiserver умрет то некому будет сказать kubelet что надо новый под запустить

Продолжая нубские вопросы - а кто какую сеть использует на bare-metal кластере? Там чего-то большой выбор. flannel, weave etc.

Голый calico

Продолжая нубские вопросы - а кто какую сеть использует на bare-metal кластере? Там чего-то большой выбор. flannel, weave etc.

Разворачивайте CoreOS по pxeboot для ос , докера и kubelet, все остальное внутри кластера self hosted (это когда ключевые компоненты скажем apiserver одновременно и поды своего же кластера) при помощи bootkube.

Можете глянуть typhoon как основу, там конечно мерзкий terraform, но все понятно и можно легко его выкинуть , делать то же самое руками,ансиблом, башем или чем угодно другим

У меня тут пока полторы железки на поиграться, но спасибо за советы, запомню.

Коллеги подскажите, в ингрессе возможно настроить редирект c одного домена (хоста( на другой? например в ингрессе в spec.rules.host описано 2 хоста: - dom.ru - dom.net Я хочу чтобы всё что прилетало на dom.net редиректилось на dom.ru Что то не смог с ходу найти такой возможности.

https://www.nginx.com/blog/nginmesh-nginx-as-a-proxy-in-an-istio-service-mesh/?utm_campaign=microservices&utm_medium=blog&utm_source=linkedin-soc&utm_content=transcript

Коллеги, а кто использует logstash для парсинга логов подов? Есть у кого фильтры или документация как обрабатывать JSON который получается на выходе из подов?

обрабатывать для чего?

ERROR: S client not available

обрабатывать для чего?

эластик, далее кибана

у меня что-то такое в message получается - {"log":"\u001b[39m[DEBUG]\u001b[0;39m \u001b[36mConnection\u001b[0;39m - Connection[/172.16.4.254:9042-1, inFlight=0, closed=false] heartbeat query succeeded\n","stream":"stdout","time":"2017-12-13T06:07:07.810234683Z"}

если у вас хранилище без определенной структуры, то это вы (а не мы) знаете, как надо сделать для вас

Коллеги, а кто использует logstash для парсинга логов подов? Есть у кого фильтры или документация как обрабатывать JSON который получается на выходе из подов?

очень понравился fluentbit ( http://fluentbit.io/documentation/current/kubernetes/ ), интеграция с k8s замечательная, умеет даже аннотации вытаскивать и логировать. Как по мне то лучше чем filebeat. соотвественно в еластик все ложиться структурированно. Ну и логстеш можно выкинуть в пользу fluentd.

Привет, а кто использует helm, вы tiller ставите в каждый namespace, или у вас он один? Как удобнее использовать в связке с rbac?

Если много проектов и у каждого свои ответсвенные, тогда разделяем проекты по namespaces и в каждом свой tiller.

привет всем. Может ктото сталкивался. У меня работает ingress nginx и перед ним keepalived. Access логи ндиникса пишут remove_addr внутриний ip 10.2.5.0. не могу понять кто виноват в этом и где рыть:( Может кто-то знает как узнать где привязан этот ip, на какой этапе он вставляет его?

сорян

#whois ▫️Какой у вас проект или где работаете? - в Сбертехе, проекты на кубернетсе - личные ▫️В чём вы специалист? - CTO/BE Developer/DevOps (AWS, K8s, CircleCI и прочий модномолодежный клауд) ▫️Чем можете быть интересны или полезны сообществу? - могу что-нибудь подсказать по вышеперечисленным темам ▫️Чем интересно сообщество вам? - экспертное мнение ▫️Откуда вы? - МСК ▫️Как узнали про группу? - devops_jobs

Ребят, есть пара вопросов: во-первых, есть уже работающий кластер задеплоенный с помощью kops в своей VPC - как минимальными потерями изменить CIDR у этой VPC (амазон это не позволяет делать, только через удаление VPC). не хочется передеплоивать все секреты/сервисы по новой

Второй - кто что использует для мониторинга кластера, хочется увидеть даш с количеством падений/рестартов сервисов. Вроде как есть какой-то плагин в телеграфе, но не уверен, что он отдаст мне нужные метрики

И к тому же не совсем понятно как различать валидные рестарты (RollingUpdate) и падения

Rolling Updates не фиксируются как рестарт)

привет всем. Может ктото сталкивался. У меня работает ingress nginx и перед ним keepalived. Access логи ндиникса пишут remove_addr внутриний ip 10.2.5.0. не могу понять кто виноват в этом и где рыть:( Может кто-то знает как узнать где привязан этот ip, на какой этапе он вставляет его?

а ingress задеплоен с хостовой сетью?

Второй - кто что использует для мониторинга кластера, хочется увидеть даш с количеством падений/рестартов сервисов. Вроде как есть какой-то плагин в телеграфе, но не уверен, что он отдаст мне нужные метрики

+1

Rolling Updates не фиксируются как рестарт)

а как они фиксируются?

Ребят, есть пара вопросов: во-первых, есть уже работающий кластер задеплоенный с помощью kops в своей VPC - как минимальными потерями изменить CIDR у этой VPC (амазон это не позволяет делать, только через удаление VPC). не хочется передеплоивать все секреты/сервисы по новой

отличная же тренировка, отладить процедуру деплоя заодно =))) ну тоесть развернуть приложение по новой не должно быть такой болью, а если так - нужно что то менять. по мониторингу, сам смотрел дашборды для grafana для к8с, но не нашел такого, чтобы все что я хотел бы показывал. придется пилить самому. вместе с алертингом.

а как они фиксируются?

как новый под

как новый под

т.е. просто один под убивается а второй поднимается? ок

а ingress задеплоен с хостовой сетью?

использовал деплой стандартный с гитхаба (https://github.com/kubernetes/ingress-nginx/blob/master/deploy/with-rbac.yaml)

так там же deployment без hostnetwork

поэтому у него и адрес внутренний

т.е. просто один под убивается а второй поднимается? ок

При Rolling Update именно так и происходит. (Более того там формируется новый Replica Set, старый тушится до нуля, новый поднимается до репликас, у тебя в Объекте Rolling Update в Deploy Есть два параметра, MaxSurge и чё-т ещё. Вот они отвечают за кол-во подов больше репликас в процессе обновления

использовал деплой стандартный с гитхаба (https://github.com/kubernetes/ingress-nginx/blob/master/deploy/with-rbac.yaml)

я думаю что до внешних адресов без hostnetwork не добраться. как кстати keepalived разворачивал? у тебя 1 ip на множество серверов?

я думаю что до внешних адресов без hostnetwork не добраться. как кстати keepalived разворачивал? у тебя 1 ip на множество серверов?

keepalived сначала был вне кубернетиса, потом занес его тоже в середину. Использую (https://github.com/kubernetes/contrib/tree/master/keepalived-vip). Виртуальный айпи указывает на сервис ингриса. Работает отлично

При Rolling Update именно так и происходит. (Более того там формируется новый Replica Set, старый тушится до нуля, новый поднимается до репликас, у тебя в Объекте Rolling Update в Deploy Есть два параметра, MaxSurge и чё-т ещё. Вот они отвечают за кол-во подов больше репликас в процессе обновления

то что старый тушится - это понятно, но у меня он не удаляется, это нормально?

под?

репликасет

а это норма

он нужен для rollout