Никто не настраивал http->https redirect при L4 ELB в Амазоне? У меня, разумеется, получается TOO_MANY_REDIRECTS, если скастова force-ssl-redirect на nginx

@aws_ru

Если это в амазоне то глянуть что там в asg, в частности events

спасибо

если ты про статью на medium, то автор молодец, только он накой-то чёрт переписывает скрипты gcp. а достаточно добавить свой shutdown script

В kube-aws для этого сделан был просто systemd unit который при shutdown текущей ноды делает ей drain через kubectl

Я может испорчен Явой/скалой. Или тем как у нас пишут ) приложение стартует, проводит миграции, продолжает старт (начинает слушать порты, откликаться на чеки и проч). Сами миграции: смотрим список миграций которые хотим, смотрим какие миграции применены в базе, если нечего делать больше, просто завершается. Вс проверка это прочитать список файлов и один селект из таблицы migrations

Ещё и объёмами данных испорчены судя по всему, у меня тут на некоторых инсталляциях миграция может бежать больше суток :(

попробуй kubectl drain $NODE Шуделлер перепланирует поды с этой ноды на другие

Можно ещё сделать кордон ноде и удалить под через kubectl (но наверное сначала сделать failover чтобы мастером другая реплика стала?)

я из-за этого столкнулся с проблемой, что для вручную запущенного docker-compose на машине в кластере нельзя задать изоляцию сети: контейнеры легко ходят по сети кубера, игнорируя опции в compose.yml. К примеру это легко может дропнуть базу, так как домен postgres резолвится в кубер вместо локального postgres из компоуза.

Ух, так зачем же на ноде кубера ещё непонятно что через докер композ стартовать? Если так делаете то пропишите в докер композ файле явно создание новой overlay network и чтобы все контейнеры в этом файле её юзали

Всем привет, есть кто использует версию k8s 1.10.6?

Есть подозрение что там есть баг с шедулингом на taint ноды.

Коллеги всем привет. Есть такой вопрос. У меня есть nginx controller в нем настроен проброс tcp порта в service. Но этот порт открыт для внешки. Как его закрыть можно? По сути этот порт нужен только для сервисов в кластере. Думаю вы сейчас спросите, а зачем тогда вообще тебе ingress нужен. Отвечаю у меня редис кластер и когда ложится мастер, то со стороны клиентов принудительно не рвется коннект. И клиент очень долгое время ждет пока ему редис ответит. nginx принудительно рвет соединение тем самым заставляя тут же переконнектится клиента.

Может не ингресс тогда а кастомный сервис с прокси нжинксом вкрутить лучше, пусть там и нжинкс внутри? А то получается нецелевое использование концепта ингресс и поди потом разберись, вы сами забудете через 3 месяца или коллега когда вы в отпуске

Может ALB который L7?

Не

Мне вебсокет нужен

Мне не устраивает его архитектура. Это по факту клиент-сервер. Сервер находится в k8s,рендерит темплейты и загоняет их в k8s. Переоодически ловлю всякие приколюхи непонятные при деплое.

Ну так можно и про kubectl сказать, апи сервер он тоже в кластере находится и тд

мне в helm не устраивает только что при удалении он не удаляет pv и pvc

Так он и не должен, а как делать реинсталл чарта если все данные будут грохаться вместе с pc если удалить чарт?

Так он и не должен, а как делать реинсталл чарта если все данные будут грохаться вместе с pc если удалить чарт?

ну когда делаю purge как-то даже не знаю приходится ещё подчищать потом а то при перестановки ругается с о pvc такой уже есть

У меня кстать сносил, поэтому новый storageClass с политикой Retain

Наверное имеется ввиду что чарт создавал storage class такой или по такое было в дефолтном storage class

вдогонку к #helmговно при апгрейде, если при этом появились новые штуки, например новый сервис. Но сам апгрейд завершился с ошибкой в другом месте. То этот новый сервис создастся. Правим косяк в другом месте, делаем еще раз апгрейд, и получаем ошибку вида "сервис такой-то не найден". Он есть, но helm его не видит. Фиксится ручным удалением этого сервиса. Багрепорт такой у них есть, и он вроде пофикшен еще в январе был. Но чет не срослось у меня.

В терраформ можно огрести подобного по самые помидоры, и куча фанатовкричит что так и надо а не как у клаудфлрмейше - откатывать в прошлое состояние

Насколько понимаю Helm будет ожидать пока все ресурсы из твоих спецификаций поднимутся, и только после это обьявить об успешном деплое. Без этого префикса helm просто после запуска сразу закончит работу

В том числе и завершение хуков что иногда может занять много времени

А есть идеи как можно задетектить, что docker build ничего не сделал без танцев с вытягиванием digest?

А почему танцы? Сравнить хеш текущего образа и latest это один иф в баше. Наверное можно парсить вывод docker build и смотреть что последний слой был from cache но имхо это более хрупко и в случае гитлаб докер раннеров один фиг нужно спулить latest тег из реджистри чтобы заюзать —cache-from флаг у docker build команды

это те самые танцы. И если build сервер один, то лезть в registry тоже 5-10сек

Юзкейс какой-то то очень маленькой компании с одним билд сервером с огромным локальным диском?

Да

Ну хранить локально на билд сервере latest образ и с ним сравнивать хеш тогда

Я так смысла и не пойму... не делать docker push лишний?

не в latest только же, а какой-то master, по веткам. Иначе будут мешаться друг другу

Само собой, latest текущей ветки у меня с фоллбэком на latest мастер ветки

Я так смысла и не пойму... не делать docker push лишний?

Да, а смысл пушать новый тег если образ не поменялся? Особенно если тег не кусок коммит хеш а что-то инкрементальное

Враппер вокруг скриптов. Я нашел новое дно

Враппер на питоне вокруг бинаря на го (копс) генерящего терраформ, всё так. Я вот тоже не смог с этим жить и меняю компанию

Это от версии и от coredns никак не зависит, господин некропостер

Хреново, тут в чате месяца два назад меня убеждали что с coredns проблемы пропали. И да, сорри за некропостинг - больше месяца не читал чат

Хреново, тут в чате месяца два назад меня убеждали что с coredns проблемы пропали. И да, сорри за некропостинг - больше месяца не читал чат

есть, но вроде меньше их стало

Хреново, тут в чате месяца два назад меня убеждали что с coredns проблемы пропали. И да, сорри за некропостинг - больше месяца не читал чат

Человек старой закалки перечитывает чаты за месяц отсутствия ?

Да, а смысл пушать новый тег если образ не поменялся? Особенно если тег не кусок коммит хеш а что-то инкрементальное

Спасибо за совет, не додумался. CI ускорился на 30сек (13 docker push все же тормозят просто так). Пустой комит прогоняется через ci за минуту, буду ещё думать как ускорить.

Товарищи, а как дебагать следующую ситуацию: - docker build на 18 stable - docker run на локали - приложение работает без сбоев - docker run на паре серверов тоже всё гуд - docker run для приложения на k8s master-е - приложение начинает трэйсбечить как бешенное, несвязанными ошибками. - kubectl apply -f pod.yaml - тоже самое. k8s катался kubespray-ем, calico. Приложение просто рестуха для генерации пакетов хельма: - flask - subprocess - helm

Товарищи, а как дебагать следующую ситуацию: - docker build на 18 stable - docker run на локали - приложение работает без сбоев - docker run на паре серверов тоже всё гуд - docker run для приложения на k8s master-е - приложение начинает трэйсбечить как бешенное, несвязанными ошибками. - kubectl apply -f pod.yaml - тоже самое. k8s катался kubespray-ем, calico. Приложение просто рестуха для генерации пакетов хельма: - flask - subprocess - helm

а какими словами ругается ?

А почему оно на мастере ранится ?

на всякий случай - limits.conf и sysctl крутились ?

А почему оно на мастере ранится ?

да разница, похоже суть в разнице версий

И весит оно для оперативы метров 20

И весит оно для оперативы метров 20

не alpine ли ?

неа, debian

с какими ошибками имеешь дело-то? а то пока звучит как "не работает"

неа, debian

ну давай ошибок тогда

Тут сурцы: https://github.com/egeneralov/helm-chart-generator-api

Вот, кстати интересный вопрос - кто кубер в клауде гоняет - какой там экономический смысл ? за каждый балансировщик по 5 баксов платить ?) или в aws попроще условия ?

У меня обратный вопрос про baremetal, PV крутить самим, лоадбалансер тоже, автоскейлинга нет. В чем смысл вообще кубера тут?

на всякий случай - limits.conf и sysctl крутились ?

Если только kubespray-ем

Тут сурцы: https://github.com/egeneralov/helm-chart-generator-api

что за ошибки-тооооооооооооо

что за ошибки-тооооооооооооо

Прямо сейчас - рвёт коннект

Сейчас соберу дебагнутую версию

Вытащу

gunicorn)

У меня обратный вопрос про baremetal, PV крутить самим, лоадбалансер тоже, автоскейлинга нет. В чем смысл вообще кубера тут?

не хочу своими руками впн между серваками поднимать, лоад балансинги и прочее. пускай кубер магию делает.

Вот, кстати интересный вопрос - кто кубер в клауде гоняет - какой там экономический смысл ? за каждый балансировщик по 5 баксов платить ?) или в aws попроще условия ?

Мы в азуре сами ставили не через aks и у нас tcp балансировщик один стоит перед кластером

А дальше регрессии рулится

Ингрессом

DNS сname ами на один Айпи настроены

Не

Так редирект на хттпс они только в ALB запилили насколько я помню, а в ELB такого нет и надо самом на нжинкс делать

Спасибо за совет, не додумался. CI ускорился на 30сек (13 docker push все же тормозят просто так). Пустой комит прогоняется через ci за минуту, буду ещё думать как ускорить.

Думаю что если посмотреть повнимательнее то ещё что-то можно в .dockerignore закинуть, например тесты (тесты можно запускать в отдельном параллельном джобе)

В kube-aws для этого сделан был просто systemd unit который при shutdown текущей ноды делает ей drain через kubectl

ну, принцип абсолютно тот же. только напрямую в GKE изменения в node делать нельзя, но можно делать кастомизацию через указание shutdown script

Фух, дочитал :)

ну, принцип абсолютно тот же. только напрямую в GKE изменения в node делать нельзя, но можно делать кастомизацию через указание shutdown script

Вроде там тоже можно кастомный имейдж для хоста как и в амазоне?

Народ, а кто будет на devoops в следующее воскресенье?

Вроде там тоже можно кастомный имейдж для хоста как и в амазоне?

думаю, что нет. это всё же сервис, который предоставляет GCP. я бы на их месте такого бы не делал. да и зачем? я же покупаю сервис и хочу, чтобы он работал надёжно.

Насколько я знаю можно, бывший коллега сейчас крутит на gke кластеры, сам не пробовал

Фух, дочитал :)

?

https://aws.amazon.com/blogs/opensource/aws-service-operator-kubernetes-available/ что думаете? Мы сделали подобное 2 года назад для стеков клаудформейше но там просто под слушал CRD и запускал aws cli cloudformation ...

До сих пор не уверен что это хорошая идея

Так редирект на хттпс они только в ALB запилили насколько я помню, а в ELB такого нет и надо самом на нжинкс делать

ну вот в этом и была проблема, что при TCP балансинге редирект на nginx дает loop

Народ, а кто будет на devoops в следующее воскресенье?

+

Фух, дочитал :)

но зачем?

В отпуске был, много свободного времени. Все срачи я прокрутил а там где обсуждения и ссылки местами даже полезно, засейвил даже штук 5 ссылок на почитать потом

aws оператор это забавно

Народ, а кто будет на devoops в следующее воскресенье?

я хотел в спб сходить, но пересеклось с отпуском, поэтому увы. =)

Народ, а кто будет на devoops в следующее воскресенье?

Как-то так себе там программа-то.

Всем привет! Подскажите, что не так: --- apiVersion: v1 kind: ServiceAccount metadata: name: deployment-manager-serviceaccount namespace: develop --- kind: Role apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: deployment-manager-role namespace: develop rules: - apiGroups: [""] resources: ["deployments", "replicasets", "pods", "statefulset"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] --- kind: RoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: deployment-manager-rolebinding namespace: develop subjects: - kind: User name: deployment-manager namespace: develop roleRef: kind: Role name: deployment-manager-role apiGroup: rbac.authorization.k8s.io При kubectl get po -n develop выдает Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:develop:deployment-manager-serviceaccount" cannot list pods in the namespace "develop"

Перед этим настроил kubectl: echo "${KUBE_CA_PEM}" > kube_ca.pem kubectl config set-cluster default-cluster —server=${KUBE_URL} —certificate-authority="$(pwd)/kube_ca.pem" kubectl config set-credentials deployment-manager-serviceaccount —token=${KUBE_TOKEN} kubectl config set-context default-system —cluster=default-cluster —user=deployment-manager-serviceaccount —namespace develop kubectl config use-context default-system

Всем привет! Подскажите, что не так: --- apiVersion: v1 kind: ServiceAccount metadata: name: deployment-manager-serviceaccount namespace: develop --- kind: Role apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: deployment-manager-role namespace: develop rules: - apiGroups: [""] resources: ["deployments", "replicasets", "pods", "statefulset"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"] --- kind: RoleBinding apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: deployment-manager-rolebinding namespace: develop subjects: - kind: User name: deployment-manager namespace: develop roleRef: kind: Role name: deployment-manager-role apiGroup: rbac.authorization.k8s.io При kubectl get po -n develop выдает Error from server (Forbidden): pods is forbidden: User "system:serviceaccount:develop:deployment-manager-serviceaccount" cannot list pods in the namespace "develop"

Kind: User

Но это ж вроде не юзер

А ServiceAccount

https://docs.bitnami.com/kubernetes/how-to/configure-rbac-in-your-kubernetes-cluster/#use-case-1-create-user-with-limited-namespace-access - по такому мануалу делал с ssl ca и всё работает

Если я правильно понимаю, то не надо давать юзерам ServiceAccount

registry походу слои тащит в память, потому что с ограничением в 100мб слои по 400-500мб грузятся вечность. Хз где я скопировал deployment под registry, но 100мб мало, если таскает большие image.

Такова природа работы Линукса с дисками. Все через... кэш

эм, если процессу дают ограничение по памяти, то сюда входит файл кэш? O_O

Хмммм ...

А может протестировать??

Я думаю просто registry пытается сама затащить слой в память. Это ж не nginx

Не

Дисковый кэш не причем. У меня nginx с 100мб памяти нормально живут.

Приду домой - протестирую

И исходники регистри гляну. Но на 99% уверен - это файловый кэш

Ок, буду рад узнать, не думаю что у самого руки дойдут.

Если я правильно понимаю, то не надо давать юзерам ServiceAccount

Точно, спасибо

эм, если процессу дают ограничение по памяти, то сюда входит файл кэш? O_O

если на уровне cgroups - точно да

если на уровне cgroups - точно да

и там столько костылей зарыто, лучше этого не знать

+

Супер, нужно пересечься ?

Супер, нужно пересечься ?

Пиши, если что)

Всем привет подскажите пожалуйста зачем городить одельный кластер ectd для kubernets если 3 мастра и так хранят все в etcd ?