Никто вольюмы под конкретное приложение не шифровал? Ещё не разбирался, но есть подозрения, что keyring в ядре вообще про контейнеры ничего не знает и меня ждёт много веселья :) буду пробовать ecryptfs, но может кто по граблям уже прошёлся?

тоесть блок proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; в конфигурации есть и протокол должен в клиенте переключится

да, так и делаю в общем, перед ингресс-контроллером стоит nginx, который выступает в роли LB (типа) и разруливает входящие соединения на nodePort ингресса и вот на нем стот апгрейд коннекшена, но похоже что контроллер ничего об этом не знает и в итоге пробрасывает стандартный http на соотвествующую поду

это как я понял, потому что если напрямую в порт ингресса постучаться то вебсокет тоже не работает в итоге перенес логику на самого клиента (поду) - там все равно nginx внутри

Сколько у тебя нжинксов?

дохера ))

вне кластера (условно) идет первый - он принимает соединения на 80 и 443 порты (это вместо LB), дальше идет ингресс-контроллер, который слушает на nodeport (висят соотвествующие сервисы - по сути аналог 80 и 443), дальше ингресс на основании host-заголовка перебрасывает соединение на соотвествующий неймспэйс (поды)

в поде тоже nginx (внутри джанга потому что)

Эээ, а нафиг джанге нжинкс?

Никто вольюмы под конкретное приложение не шифровал? Ещё не разбирался, но есть подозрения, что keyring в ядре вообще про контейнеры ничего не знает и меня ждёт много веселья :) буду пробовать ecryptfs, но может кто по граблям уже прошёлся?

Я не шифровал, но имел некий опыт с форматированием вручную, могу сказать точно, если для отформатированного таким образом волума сработает mount <volume> <somewhere>, то работать так же будет и для контейнера

Эээ, а нафиг джанге нжинкс?

статику отдает

У тебя статика в том же поде?

да, только в разных контейнерах - бэк+фронт в одну поду объединены

внутри поды 2 порта - один для бэка (websocket) другой для фронта (nginx)

У нас та же херня, правда без вебсокетов

если подскажите как сделать лучше - с радостью послушаю

Всё никак не соберусь распилить

он же рассказал уже

Если pods одинаковые, какая разница, какой из них будет запущен? От замены буквы "A" на букву "A" что-то меняется? =)

Если pods одинаковые, какая разница, какой из них будет запущен? От замены буквы "A" на букву "A" что-то меняется? =)

Думаю у них привязка хранилища к имени пода

Никто вольюмы под конкретное приложение не шифровал? Ещё не разбирался, но есть подозрения, что keyring в ядре вообще про контейнеры ничего не знает и меня ждёт много веселья :) буду пробовать ecryptfs, но может кто по граблям уже прошёлся?

так как все волумы маунтятся сначала на хосте, а уже потом пробрасываются в контейнер

Думаю у них привязка хранилища к имени пода

Интересно, из-за какой практической задачи должно применятся такое решение ...

В теории понятно, что так можно. На практике непонятно

Это уже объяснили тоже

хотя судя по документации - вебсокет должен из коробки работать https://kubernetes.github.io/ingress-nginx/user-guide/miscellaneous/#websockets

Это уже объяснили тоже

Кинь плз ссылку, если не трудно

Могу кинуть просто слово clickhouse

Это не объясняет необходимость привязки имени пода к имени хранилища, с учетом идентичности подов =) Ну, знаешь, из разряда "Почему самолеты летают? - Потому что они не круглые"

Никто вольюмы под конкретное приложение не шифровал? Ещё не разбирался, но есть подозрения, что keyring в ядре вообще про контейнеры ничего не знает и меня ждёт много веселья :) буду пробовать ecryptfs, но может кто по граблям уже прошёлся?

Используй папку на ноде, а её уже маунти через любые шифрования, антигемор)

Это не объясняет необходимость привязки имени пода к имени хранилища, с учетом идентичности подов =) Ну, знаешь, из разряда "Почему самолеты летают? - Потому что они не круглые"

ReadWriteMany?

Это не объясняет необходимость привязки имени пода к имени хранилища, с учетом идентичности подов =) Ну, знаешь, из разряда "Почему самолеты летают? - Потому что они не круглые"

Откуда ты взял про "идентичность подов"? У них имена же разные

Это не объясняет необходимость привязки имени пода к имени хранилища, с учетом идентичности подов =) Ну, знаешь, из разряда "Почему самолеты летают? - Потому что они не круглые"

Потому что каждый под это часть шарда/реплики. Их данные нельзя мешать

ReadWriteMany?

Ммм...Передеплоили поды на двух нодах, под-1 с ноды-1 переехал на ноду-2, и под-2 с ноды-2 - на ноду-1. При этом "под-1 === под-2". Кажется, что тип доступа пока ничего не прояснил =)

Откуда ты взял про "идентичность подов"? У них имена же разные

Я специально спрашивал у автора топика, могут ли быть поды различными в рамках StatefullSet. Он сказал, что только в случае разности версий (типа когда обновляешь образ). А автор как раз использует StatefullSet для запуска подов (см. выше) Т. е. в общем случае у него поды идентичны

Однообразны но не идентичны

Под ch-1 нельзя запускать с двнными от ch-2

Потому что каждый под это часть шарда/реплики. Их данные нельзя мешать

Ах вот оно! MongoDB или аналог? Вопрос исчерпан =) Спасибо

Сказали же что кликхаус

Кстати к вопросу о джанге, вот у меня сейчас есть деплоймент с кучей подов внутри, я хочу их разделись на два деплоймента (?) с разным количеством реплик, но надо как-то контролировать что версии будут одинаковые Есть ли что-нибудь готовое для такого?

Конкретно: хочу разделить джангу и статику в разные репликасеты, статике больше replicas=2 нет смысла, а саму джангу надо больше

Таже фигня с пыхой. Можно сделать общий values для двух чартов с тэгом image

так как все волумы маунтятся сначала на хосте, а уже потом пробрасываются в контейнер

наверное сработает, надо только придумать как секреты пода в маунтер прокинуть, у CSI что-то было.

Таже фигня с пыхой. Можно сделать общий values для двух чартов с тэгом image

А роллбэк будет для обоих срабатывать?

Ну и у нас нет хельма

Ну это как с тем же kube-prometheus, там релиз сразу всего

Используй папку на ноде, а её уже маунти через любые шифрования, антигемор)

У меня не local volume

Добрый день ребят

Общий values над всеми и в global секцию запихнуть версию

вопрос есть)

Общий values над всеми и в global секцию запихнуть версию

Вопрос в роллбеке если один из деплойментов зафейлит

Кстати к вопросу о джанге, вот у меня сейчас есть деплоймент с кучей подов внутри, я хочу их разделись на два деплоймента (?) с разным количеством реплик, но надо как-то контролировать что версии будут одинаковые Есть ли что-нибудь готовое для такого?

helm

не могу добавить ноды в кубер) пишет [kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get http://localhost:10248/healthz: dial tcp [::1]:10248: connect: connection refused. error uploading crisocket: timed out waiting for the condition

У меня не local volume

я предложил без крови

[WARNING CRI]: unable to check if the container runtime at "/run/dockershim.sock" is running: exit status 1

Вопрос в роллбеке если один из деплойментов зафейлит

Все ок будет

А без хельма самим кубером это не сделать?

Нужно только не забыть добавить селекторы на версию в нужные места

Какой-нибудь crd или оператор

[WARNING CRI]: unable to check if the container runtime at "/run/dockershim.sock" is running: exit status 1

Что именно в тексте этих ошибок тебе непонятно?

Да можно, конечно. Но я еще не добрался до написания оператора. Времени нет

Прост если можно без хельма, то я бы предпочёл без хельма

Что именно в тексте этих ошибок тебе непонятно?

почитал на гите что он не видет CRI - который автоматом добавиться когда встанет kubelet но кубелет не встанет )

to start kubelet for the first time, kubeadm join must be run (resolves kubelet error: unable to load client CA file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory) to run kubeadm join without it complaining, crictl must be manually copied AND /var/run/dockershim.sock MUST already exist. but, for that socket to exist, kubelet should have be already running, which is back to step 1)

*не видит

*добавится

У тебя докер или cri-containerd?

докер

Версии компонентов?

18.06

11.2

На мастерах все поднялось

на нодах вот такие ошибки валятся

18.06 докер же не поддерживается

kubeadm join 192.168.250.200:6443 --token l538c5.3lvj4zlhzgvaq87p --discovery-token-ca-cert-hash sha256:678463698de38d6b99c11907cce1a740ca65c7b5ef2ad7c52fe2e78319c447f8 --cri-socket /run/dockershim.sock --skip-preflight-checks

он ругается что работает только с 17.03 ... но все равно развернулся

при установке на мастерах он сказал типо что осторожно у вас 18.06 , проверена работа на 17.03

Так развернулся или ошибки и не работает?

на мастерах работает

на мастерах ругался так же , пока я в init.yaml не указал dockershim ... после этого встал

Если тебе потрахаться, то репорти Если тебе ехать, то просто следуй инструкции по установке кластера

следовал