Отделение Bereke Bank
и ты не ловил его отказов (я тоже, но там опыт буквально пара недель)
я ловил) ноды не смогли выбрать нового мастера и стерли датадиры. на одной остался - после рестарта (ручного) кипера она стала мастером и остальные ожили
Etki
и переписывать под более другую БД софт весь?
Надо просто начинать написание софта с IStorage = list, get, put, delete, и этим ограничить все возможности 😎😎😎
George
да миллион людей крутят БД в кубере, с чего ты решил что нельзя )
@etkee выше прав, что можно просто прибить один под к конкретной ноде.. но это слишком много действий, а выгод нет
George
кроме какой-то... фиктивной мысли о том, что мы все типо унифицировали
Отделение Bereke Bank
если под прибит к ноде - нафига он нужен в кубере?
George
просто в природе нет кейсов, когда у тебя есть ТОЛЬКО КУБЕР и нет возможности бд развернуть, например, на соседней ноде
George
плюс ты сразу влетаешь на приколы типа того, что постгрес, монгу, КХ в докере нужно правильно настраивать (вопрос про дефолты)
George
иначе, например, они пытаются работать со всей ОЗУ системы, а ей куб-докер ее не дает.
Dmitry
кроме какой-то... фиктивной мысли о том, что мы все типо унифицировали
+++ И во многих случаях там унификации вообще не разу не будет. Я приводил выше пример с дикими костлями, которые пришлось бы мне сделать.
Отделение Bereke Bank
смысл кубера в том, что если нода сдохла - приложения переехали на соседнюю, а ты продолжаешь пить чай
George
А в чем проблема?
а ты не догадываешься?
George
в частности, когда у тебя ноды отъезжают в мир иной постоянно, т.к. это спот инстансы
Etki
ну так прибивай к тем нодам, которые не спот
George
https://t.me/kubernetes_ru/204888
Отделение Bereke Bank
Etki
это жалоба уровня "мы подняли базу данных на спот не в кубере, а она отъехала"
Etki
поэтому у него стейтфулсеты есть?
George
поэтому у него стейтфулсеты есть?
ты сам их юзал? видел, какой это костыль?
George
адовый, причем
Etki
это вы форсите историю, что всё эфемерное
Etki
не-не, падажжи
Etki
если он форсит историю, то почему у него прямо конфликтующий с ней функционал?
George
если он форсит историю, то почему у него прямо конфликтующий с ней функционал?
потому что кубер пытается стать универсальной платформой для вычислений
George
со стейтфулом. История стейтфула в кубере - это совсем недавняя история, история боли
Etki
по-моему ты додумываешь за кубер
George
по-моему ты додумываешь за кубер
а я думаю, что ты можешь думать все что угодно
George
объективная реальность от этого.... не изменится
Sn00part
ну есть же PV
George
ну есть же PV
на реплицированном сетевом сторедже, который не дает столько айопсов, сколько нужно postgres
Etki
угу. и она состоит в том, что кубер имеет кучу плюшек, начиная от аффинити, кончая стейтфулсетами, которые не предназначены для эфемерщины
Etki
это, надеюсь, никто отрицать не будет
Etki
я тебе тезис, ты на десятый шаг после него
Отделение Bereke Bank
ты можешь гаечным ключом забивать гвозди - но зачем?
Etki
я не говорю про сборку инфраструктуры ммечты
Etki
я говорю, куб предоставляет инструментарий не только для эфемерных вещей
G72K
Но мы же знаем что это не десяток строк ямла. Я рассматривал конкретно свой кейс, и прикинул примерный минимум. Ну если говорите там 10 строк ямла, давайте прикинем, что еще примерно надо будет сделать. Как я говорил базу придется деплоить в отдельный namespace из-за исключений в psp, к котрому могут иметь доступ только админы кластера, иначе если мы разрешаем hostPath и даем доступ кому попало, то это минимум мы даем рутовый котроль ноды и при должной сноровке можно получить админа кластера, а так как мы тру админы, мы такого позволить себе не можем. То есть мы имеем отдельные yaml namespace'а, serviceAccount для деплоя, psp, limirange, resourceQuota, netpol, + если деплоем через helm тут еще нужен отдельный tiller со своими ключами, и двумя сертификатами. Не забываем про affinity, tollerations, hostPath, лимиты памяти на всю ноду (ну все что я писал до этого). Что-то я уже чувствую в 10 ямлов не улкадываемся. Далее, где хранить код этого? Если храним в репе проэкта = те кто имеют доступ к этому проэктому имеют рута ноды (или даже админа кластера, ибо про hostPath не забываем). То есть храним в отдельной репе от проэкта со своим отдельным CI/CD. Далее в шаблонах yaml'ах куба для этого проекта, будет куча ифов, например: если это прод, то ищи сервис базы вообще в другом неймспейсе, если это прод не создавай сервис для базы и sts для нее, и так далее. И опять вопрос, а это мне вообще зачем? Чем это лучше обычного выкатвания через ansible/salt/puppet? Я не для таких костылей в куб пришел.
psp и прочее не нужны, так как hostPath не нужен если LocalVolumeProvisioner. sysctl тоже нативно настраиваются через https://kubernetes.io/docs/tasks/administer-cluster/sysctl-cluster/ . Запускать или нет базу в отдельном неймспейсе это вам решать, namespace это единица доверия: если базами рулит отдельная команда, то отдельный неймспейс, если у вас что-то вроде PaaS на коленке, то можно и в один. Лимиты/ресурсы - можно и не использовать при прибивании к ноде. netpol как раз легче когда все внутри куба. насчет ветвлений в темплейтах - это ваш выбор, в jsonnet скажем можно спрятать за умной функцией, которая по окружению и местоположению деплоя сама поймет/найдет какаую базу использовать. Вобщем в итоге все что осталось это node toleration да PVC добавить , точно несколько парядков меньше кода чем норм ансибл роль для управления ВМ с постегресом
Etki
ок, в таком виде твой тезис верен
он и все сообщения выше был в таком виде, если что
George
судя по тому, что пишешь - нет
George
ибо осознания разницы между namespaced и нодовыми sysctl нет
George
он и все сообщения выше был в таком виде, если что
и что ты хочешь сказать? Что кубер сейчас готов к заезду в него БД?
George
Любой БД?
Sn00part
helm install postgresql работать будет или нет ?
Sn00part
будет
George
George
а чисто на дев-тест
Sn00part
у нас работает в продакшн, чоб нет
Sn00part
но есть и отдельные базы
Dmitry
psp и прочее не нужны, так как hostPath не нужен если LocalVolumeProvisioner. sysctl тоже нативно настраиваются через https://kubernetes.io/docs/tasks/administer-cluster/sysctl-cluster/ . Запускать или нет базу в отдельном неймспейсе это вам решать, namespace это единица доверия: если базами рулит отдельная команда, то отдельный неймспейс, если у вас что-то вроде PaaS на коленке, то можно и в один. Лимиты/ресурсы - можно и не использовать при прибивании к ноде. netpol как раз легче когда все внутри куба. насчет ветвлений в темплейтах - это ваш выбор, в jsonnet скажем можно спрятать за умной функцией, которая по окружению и местоположению деплоя сама поймет/найдет какаую базу использовать. Вобщем в итоге все что осталось это node toleration да PVC добавить , точно несколько парядков меньше кода чем норм ансибл роль для управления ВМ с постегресом
В слуае дополнительных разрешений в psp, namespace это необходимость. Иначе все кто имеют доступ к этому namespace, будут иметь доступ, который ты разрешил в этом psp. Окей hostPath нам не нжуен, но либо нам придется разрешать securityContext.sysctls всем пользователям которые имеют доступ в namespace либо если мы этого не хотим, опять придется делать отдельный namespace. А давать доступ к настройкам sysctl всем кто может деплоется в namespace это норм? Если да, окей.
Sn00part
БД это точно такой же софт, как и все остальные
Etki
и что ты хочешь сказать? Что кубер сейчас готов к заезду в него БД?
ох, опять ты убегаешь. там выше был тезис про то, что кубер форсит эфемерную историю. я вам на это отвечал, что это конфликтует с наличием в кубе инструментария для работы с этой самой неэфемерщиной
Отделение Bereke Bank
не удержался. сори
Sn00part
ничего в нем особого нет. А нюансы есть везде. все зависит от потребностей и особенностей нагрузки
Etki
и что ты хочешь сказать? Что кубер сейчас готов к заезду в него БД?
а вообще - оптяь-таки, не вижу принципиальных различий с впской
Dmitry
helm install postgresql работать будет или нет ?
С нормально настроенными политиками кластера, limitrange, resourequota, psp, netpol. У вас 90% чартов из stable helm'а не будут работать.
Etki
ансибл тоже лишний слой абстракции конфигурирования
George
и еще не забудь необходимость настраивать это не только в сторону - прибить поды бд к ноде, но и наборот - запретить выполнение других типов нагрузок на этих нодах (по усмотрению)
Etki
почему?
George
ансибл это по сути ссш + разлить конфиги. Дальше оно само. Это тебе не сольт-паппет
George
которые постоянно дрючат ноду
George
это как-то отличает бд от других приложений?
нет, но это отличает условную стендэлоун впс, которая предсказуема
George
от кубера, который делает плоский пул вычислительных ресусров
George
и в котором нужно самому настроить изоляцию и гарантирую ресурсов
George
я могу вообще деплоить образами вм
Etki
нет, но это отличает условную стендэлоун впс, которая предсказуема
ну, это равноценно "не запускай свой вордпресс на той же впске, что и мускул"