George
кроме какой-то... фиктивной мысли о том, что мы все типо унифицировали
Отделение Bereke Bank
если под прибит к ноде - нафига он нужен в кубере?
George
просто в природе нет кейсов, когда у тебя есть ТОЛЬКО КУБЕР и нет возможности бд развернуть, например, на соседней ноде
George
плюс ты сразу влетаешь на приколы типа того, что постгрес, монгу, КХ в докере нужно правильно настраивать (вопрос про дефолты)
George
иначе, например, они пытаются работать со всей ОЗУ системы, а ей куб-докер ее не дает.
George
George
Отделение Bereke Bank
смысл кубера в том, что если нода сдохла - приложения переехали на соседнюю, а ты продолжаешь пить чай
Etki
George
George
в частности, когда у тебя ноды отъезжают в мир иной постоянно, т.к. это спот инстансы
Etki
ну так прибивай к тем нодам, которые не спот
George
https://t.me/kubernetes_ru/204888
Отделение Bereke Bank
Etki
это жалоба уровня "мы подняли базу данных на спот не в кубере, а она отъехала"
George
Etki
поэтому у него стейтфулсеты есть?
George
адовый, причем
Etki
это вы форсите историю, что всё эфемерное
Etki
не-не, падажжи
Etki
если он форсит историю, то почему у него прямо конфликтующий с ней функционал?
George
George
со стейтфулом. История стейтфула в кубере - это совсем недавняя история, история боли
Etki
по-моему ты додумываешь за кубер
George
объективная реальность от этого.... не изменится
Sn00part
ну есть же PV
George
ну есть же PV
на реплицированном сетевом сторедже, который не дает столько айопсов, сколько нужно postgres
Etki
угу. и она состоит в том, что кубер имеет кучу плюшек, начиная от аффинити, кончая стейтфулсетами, которые не предназначены для эфемерщины
Etki
это, надеюсь, никто отрицать не будет
George
Etki
я тебе тезис, ты на десятый шаг после него
Отделение Bereke Bank
ты можешь гаечным ключом забивать гвозди - но зачем?
Etki
я не говорю про сборку инфраструктуры ммечты
Etki
я говорю, куб предоставляет инструментарий не только для эфемерных вещей
George
G72K
Но мы же знаем что это не десяток строк ямла. Я рассматривал конкретно свой кейс, и прикинул примерный минимум. Ну если говорите там 10 строк ямла, давайте прикинем, что еще примерно надо будет сделать.
Как я говорил базу придется деплоить в отдельный namespace из-за исключений в psp, к котрому могут иметь доступ только админы кластера, иначе если мы разрешаем hostPath и даем доступ кому попало, то это минимум мы даем рутовый котроль ноды и при должной сноровке можно получить админа кластера, а так как мы тру админы, мы такого позволить себе не можем.
То есть мы имеем отдельные yaml namespace'а, serviceAccount для деплоя, psp, limirange, resourceQuota, netpol, + если деплоем через helm тут еще нужен отдельный tiller со своими ключами, и двумя сертификатами. Не забываем про affinity, tollerations, hostPath, лимиты памяти на всю ноду (ну все что я писал до этого). Что-то я уже чувствую в 10 ямлов не улкадываемся.
Далее, где хранить код этого? Если храним в репе проэкта = те кто имеют доступ к этому проэктому имеют рута ноды (или даже админа кластера, ибо про hostPath не забываем). То есть храним в отдельной репе от проэкта со своим отдельным CI/CD.
Далее в шаблонах yaml'ах куба для этого проекта, будет куча ифов, например: если это прод, то ищи сервис базы вообще в другом неймспейсе, если это прод не создавай сервис для базы и sts для нее, и так далее.
И опять вопрос, а это мне вообще зачем? Чем это лучше обычного выкатвания через ansible/salt/puppet? Я не для таких костылей в куб пришел.
psp и прочее не нужны, так как hostPath не нужен если LocalVolumeProvisioner. sysctl тоже нативно настраиваются через https://kubernetes.io/docs/tasks/administer-cluster/sysctl-cluster/ . Запускать или нет базу в отдельном неймспейсе это вам решать, namespace это единица доверия: если базами рулит отдельная команда, то отдельный неймспейс, если у вас что-то вроде PaaS на коленке, то можно и в один. Лимиты/ресурсы - можно и не использовать при прибивании к ноде. netpol как раз легче когда все внутри куба. насчет ветвлений в темплейтах - это ваш выбор, в jsonnet скажем можно спрятать за умной функцией, которая по окружению и местоположению деплоя сама поймет/найдет какаую базу использовать.
Вобщем в итоге все что осталось это node toleration да PVC добавить , точно несколько парядков меньше кода чем норм ансибл роль для управления ВМ с постегресом
George
George
судя по тому, что пишешь - нет
George
ибо осознания разницы между namespaced и нодовыми sysctl нет
George
Любой БД?
Sn00part
helm install postgresql работать будет или нет ?
Sn00part
будет
George
George
а чисто на дев-тест
Sn00part
у нас работает в продакшн, чоб нет
Sn00part
но есть и отдельные базы
Отделение Bereke Bank
Dmitry
psp и прочее не нужны, так как hostPath не нужен если LocalVolumeProvisioner. sysctl тоже нативно настраиваются через https://kubernetes.io/docs/tasks/administer-cluster/sysctl-cluster/ . Запускать или нет базу в отдельном неймспейсе это вам решать, namespace это единица доверия: если базами рулит отдельная команда, то отдельный неймспейс, если у вас что-то вроде PaaS на коленке, то можно и в один. Лимиты/ресурсы - можно и не использовать при прибивании к ноде. netpol как раз легче когда все внутри куба. насчет ветвлений в темплейтах - это ваш выбор, в jsonnet скажем можно спрятать за умной функцией, которая по окружению и местоположению деплоя сама поймет/найдет какаую базу использовать.
Вобщем в итоге все что осталось это node toleration да PVC добавить , точно несколько парядков меньше кода чем норм ансибл роль для управления ВМ с постегресом
В слуае дополнительных разрешений в psp, namespace это необходимость. Иначе все кто имеют доступ к этому namespace, будут иметь доступ, который ты разрешил в этом psp. Окей hostPath нам не нжуен, но либо нам придется разрешать securityContext.sysctls всем пользователям которые имеют доступ в namespace либо если мы этого не хотим, опять придется делать отдельный namespace. А давать доступ к настройкам sysctl всем кто может деплоется в namespace это норм? Если да, окей.
Sn00part
БД это точно такой же софт, как и все остальные
George
Отделение Bereke Bank
не удержался. сори
Sn00part
ничего в нем особого нет. А нюансы есть везде. все зависит от потребностей и особенностей нагрузки
Etki
George
Etki
ансибл тоже лишний слой абстракции конфигурирования
George
и еще не забудь необходимость настраивать это не только в сторону - прибить поды бд к ноде, но и наборот - запретить выполнение других типов нагрузок на этих нодах (по усмотрению)
George
George
Etki
почему?
George
ансибл это по сути ссш + разлить конфиги. Дальше оно само. Это тебе не сольт-паппет
George
которые постоянно дрючат ноду
Etki
Etki
George
от кубера, который делает плоский пул вычислительных ресусров
George
и в котором нужно самому настроить изоляцию и гарантирую ресурсов
George
George
я могу вообще деплоить образами вм