Just a baka
вот сейчас с хайлоада смотрю про аутедж в амазоне
На '19 хайлоаде каждый второй доклад про бд в кубенях. Заландо и онгрес выкатились со своими костыликами (операторы вокруг патрони). Странно, что фланта не было, их сто уже устал про бд и кубеня вещать, наверное, и на хабре было уже, кажется.
George
Слабое место это человек, из-за него всё и рвётся.
нет, не так. Человек - слабое место. Это факт. Но и технологии иногда подводят
George
и, кстати, ГУГОЛЬ МОЖЕТ СЕБЕ ПОЗВОЛИТЬ засунуть базу в куб, т.к. у них там свой SPANNER
George
а не мускуль какой-то легаси из 80-х
George
просто почему-то каждая маленькая компания забывает, что она - не ГУГОЛЬ
Egor
Но мы же знаем что это не десяток строк ямла. Я рассматривал конкретно свой кейс, и прикинул примерный минимум. Ну если говорите там 10 строк ямла, давайте прикинем, что еще примерно надо будет сделать. Как я говорил базу придется деплоить в отдельный namespace из-за исключений в psp, к котрому могут иметь доступ только админы кластера, иначе если мы разрешаем hostPath и даем доступ кому попало, то это минимум мы даем рутовый котроль ноды и при должной сноровке можно получить админа кластера, а так как мы тру админы, мы такого позволить себе не можем. То есть мы имеем отдельные yaml namespace'а, serviceAccount для деплоя, psp, limirange, resourceQuota, netpol, + если деплоем через helm тут еще нужен отдельный tiller со своими ключами, и двумя сертификатами. Не забываем про affinity, tollerations, hostPath, лимиты памяти на всю ноду (ну все что я писал до этого). Что-то я уже чувствую в 10 ямлов не улкадываемся. Далее, где хранить код этого? Если храним в репе проэкта = те кто имеют доступ к этому проэктому имеют рута ноды (или даже админа кластера, ибо про hostPath не забываем). То есть храним в отдельной репе от проэкта со своим отдельным CI/CD. Далее в шаблонах yaml'ах куба для этого проекта, будет куча ифов, например: если это прод, то ищи сервис базы вообще в другом неймспейсе, если это прод не создавай сервис для базы и sts для нее, и так далее. И опять вопрос, а это мне вообще зачем? Чем это лучше обычного выкатвания через ansible/salt/puppet? Я не для таких костылей в куб пришел.
HostPath не модно.
George
и даже не ЯНДЕКС
George
HostPath не модно.
Volume, ога, но это непринципиально
George
Но мы же знаем что это не десяток строк ямла. Я рассматривал конкретно свой кейс, и прикинул примерный минимум. Ну если говорите там 10 строк ямла, давайте прикинем, что еще примерно надо будет сделать. Как я говорил базу придется деплоить в отдельный namespace из-за исключений в psp, к котрому могут иметь доступ только админы кластера, иначе если мы разрешаем hostPath и даем доступ кому попало, то это минимум мы даем рутовый котроль ноды и при должной сноровке можно получить админа кластера, а так как мы тру админы, мы такого позволить себе не можем. То есть мы имеем отдельные yaml namespace'а, serviceAccount для деплоя, psp, limirange, resourceQuota, netpol, + если деплоем через helm тут еще нужен отдельный tiller со своими ключами, и двумя сертификатами. Не забываем про affinity, tollerations, hostPath, лимиты памяти на всю ноду (ну все что я писал до этого). Что-то я уже чувствую в 10 ямлов не улкадываемся. Далее, где хранить код этого? Если храним в репе проэкта = те кто имеют доступ к этому проэктому имеют рута ноды (или даже админа кластера, ибо про hostPath не забываем). То есть храним в отдельной репе от проэкта со своим отдельным CI/CD. Далее в шаблонах yaml'ах куба для этого проекта, будет куча ифов, например: если это прод, то ищи сервис базы вообще в другом неймспейсе, если это прод не создавай сервис для базы и sts для нее, и так далее. И опять вопрос, а это мне вообще зачем? Чем это лучше обычного выкатвания через ansible/salt/puppet? Я не для таких костылей в куб пришел.
ты еще про STONITH забыл
George
Чем неправильно?
ну, в смысле ты прав - хостпас надо выжигать в пользу обычного volume прибитого к ноде
Dmitry
HostPath не модно.
Речь идет о кейсе базы в кубе, и не использовании других сущностей для настройки серверов (например ansible/salt/puppet). И в этом случае тебе придется настраивать sysctl. Как ты это будешь делать без hostPath?
George
А вы всё верите что в гугле полубоги работают?
нет, но они наверняка своим сотрудникам такой процесс сделали, чтобы они не стреляли по ногам
George
на десяток-сотню средних инженеров там наверняка есть один нормальный проектант
Dmitry
напишу оператор )
ну вот. А тут говорят про десяток строк ямла. Ага
Just a baka
напишу оператор )
Не забудь на хайлоад с ним приехать 😂
Отделение Bereke Bank
Кто же это всё заставлял рестартить в swarm? И как это связано с kubernetes? И таймаут на выключение БД внутри контейнера не выставляли?
апдейт ядра - рестарт ноды - рестарт контейнеров. банальный пример и это не говоря о случаях когда нода решила что swarm не алё и давай я остановлю контейнеры с кастомизацией конфигов всего этого говна тоже были проблемы - поменять innodb_pool_buffersize? Пересобирай контейнер/маунть конфиг/удлиняй CMD манифеста - и после этого ВНИМАНИЕ - тоже рестарт контейнера ansible-playbook с хандлером на тупой рестарт юнита работает предсказуемее и надежнее
George
стопицот строчек на голанге, ога
George
а еще докир со своими SIGKILL, SIGTERM и таймаутами непредсказуемыми
Just a baka
Stonith при живом dcs и особенно всяких автооркестрациях и pg_rewind это чуток расточительно, не?
George
ну, кстати, сейчас стало сильно лучше, чем раньше. Тепеь всякое говно типа systemd-slices-cleaner не нужно https://habr.com/ru/company/flant/blog/443458/
Just a baka
а если не пг?
Ну там уже свои костыли надо кушать)
Dmitry
В каком случае мне придётся?
Прочитай мою ветку выше. Шел спор о базах в кубе, и я решил описать, что конкретно мне потребовалось бы сделать, чтобы засунуть базу релаьного проэкта в куб и при этом не использовать другие сущности (ansible/puppet/salt) для настройки серверов. Если кратко, базу прибиваешь к конкретной ноде, следовательно тебе нужны некоторые доп настройки ядра для этой ноды, следовательно тебе надо прокинуть всякие конфиги /etc через hostPath.
Dmitry
ща тебе скажут что надо сетевое хранилище. а если его нет - то ты нищеброд
Я хз, у меня база со 100K rps, не уверен что сетевые хранилища это вытянут, а если вытянут, то это будет стоить овер много денег
Just a baka
Избыточность это хорошо 😁
Избыточность в кубенях и облаках это обычно деньги на ветер (не отказоустойчивость, а именно лишняя дичь) 😔
Sn00part
https://blog.jessfraz.com/post/hard-multi-tenancy-in-kubernetes/ вот где дись
Sn00part
дичь*
Dmitry
Ты предположил, что тебе это потребуется, а попробуй упростить и унифицировать всё это. А то есть некоторые вместо kubernetes ставят docker-compose и хвастаются что производительность поднялась.
Зачем? У меня с IaC для СУБД проблем нет, она хорошо деплоется текущими средствами без костылей. Зачем мне затаскивать базу в куб или в docker-compose + docker, и пилить эти костыли? Я про это говорю, все зависит от конкретного кейса.
Dmitry
А зачем всё остальное затягивать в куб? Чем БД особенней всего остального?
В остальных конкретно моих случаях, у меня есть выигрыш, и я наоборот избавляюсь от лишних костылей, которые у меня были в ansible/salt/puppet.
Отделение Bereke Bank
А зачем всё остальное затягивать в куб? Чем БД особенней всего остального?
12 факторные приложения шикарно себя чувствуют в кубере и там ими удобно управлять
Egor
В остальных конкретно моих случаях, у меня есть выигрыш, и я наоборот избавляюсь от лишних костылей, которые у меня были в ansible/salt/puppet.
Ну и если БД положишь в контейнер и найдёшь универсальные настройки ядра, то тоже выиграешь. БД это такой же компонент как и всё остальное.
Михаил
В кафке - повторюсь - они закладывают проблему с отказоустойчивостью
Ты не думал, что дефолтные настройки существуют не просто так?)
Dmitry
Ну и если БД положишь в контейнер и найдёшь универсальные настройки ядра, то тоже выиграешь. БД это такой же компонент как и всё остальное.
Я уже выше описал, почему я от этого проигрываю, не знаю что еще вам могу по этому поводу сказать. Довольно подробно описал.
George
Ты не думал, что дефолтные настройки существуют не просто так?)
думаешь они нужны, чтобы технари могли оправдать свое существование и свою большую зарплату?
Dmitry
Это как бухгалтеров с Excel пересажать в 1С, я тоже сказать ничего не могу.
Ну что вы тут непонятные аналогии приводите. Если вы мне хотите доказать, что stateless бэкенд на nodejs это тоже самое что и база mysql на TB за 100K rps в galera кластере. Я вам могу сказать, что вы сильно ошибаетесь.
George
Это как бухгалтеров с Excel пересажать в 1С, я тоже сказать ничего не могу.
условно - зачем сайт-визитку делать на кубернетесе, если можно сделать на тильде?
Egor
12 факторные приложения шикарно себя чувствуют в кубере и там ими удобно управлять
А БД это типо Backing Services и к ним эти 12 факторов не применяются?
George
> к ним эти 12 факторов не применяются? pg, mysql - это не про 12 факторов
George
спаннер, кокроуч и прочее нейтив клауд ДБ оно про 12
George
как бы есть разница, не так ли?
Dmitry
А БД это типо Backing Services и к ним эти 12 факторов не применяются?
А вы в курсе что в 12 факторах говорится, что приложение может в любой момент быть остоновлено, и оно должно быть готово к этому и не терять данных? Пробовали такое провернуть с нагруженными БД? А еще. там говорится, что стейта у таких приложений нет.
Etki
https://12factor.net/#the_twelve_factors найдите здесь разницу между кассандрой и мускулом
Dmitry
Да как два пальца, я же разработчик, а не оптимизатор БД.
12 фактор это про стейтлессс, если. что.
Egor
wat
Он из стана индейцев, не обращай внимания 😁
Dmitry
Да как два пальца, я же разработчик, а не оптимизатор БД.
Ну собственно в этом и дело. Экплуатацией вы не занимаетесь, и не знакомы с очень большим количеством подводных камней в этом деле.
Egor
12 фактор это про стейтлессс, если. что.
Это про разработку и поддержку. А вы разбиваете приложение на 2 части БД и всё остальное. И почему то на БД эти 12 факторов не должны работать.
Egor
Ну собственно в этом и дело. Экплуатацией вы не занимаетесь, и не знакомы с очень большим количеством подводных камней в этом деле.
Везде есть камни, но бояться что сервер вырубится и транзакции слетят это тоже не дело. А контейнеризовав БД правильным образом вы бы избавились от этого страха.
Sn00part
че вы спорите )
George
> А контейнеризовав БД правильным образом вы бы избавились от этого страха. в общем случае без переписывания движка БД это невозможно
Etki
Перед тем, как утверждать что Х соответствует или не соответствует двенадцати факторам, можно сходить и прочитать их, чтобы убедиться, что они могут применяться к чему угодно
Sn00part
нет препятствий для БД в кубере, просто не всем подходит
Dmitry
Это про разработку и поддержку. А вы разбиваете приложение на 2 части БД и всё остальное. И почему то на БД эти 12 факторов не должны работать.
Может быть потому что в 12 фактроров говорится: "Запускайте приложение как один или несколько процессов не сохраняющих внутреннее состояние (stateless)" и это про стейтлесс. Вы же понимаете что БД это не стейтлесс? Давайте определимся с терминами.
Sn00part
у нас мускуль рестартится около 7 часов, его в кубер никак нельзя )
Egor
Каким образом контейнеризация спасет порванную транзакцию?
Тем что на то она и транзакция что бы не рваться.
Sn00part
а бд у редмайна 200 мегабайт в общей лсожности ее можно )