David
Вот это уже интересно, но в QBEC меня больше всего порадовала возможность, что я могу работать с helm-charts без каких либо тарболов, то есть я могу подключить их в виде git submodule, затем через std.native('expandHelmTemplate') отрендерить чарт в переменную и дальше наложить любые мутации на него.
Это в свою очень помогло:
1) деплоить без тилера
2) не иметь чарт музеума
3) изменять официальные чарты на лету (было особенно
актуально при обновлении на 1.16)
4) всё изменения декларативно хранить в репозитории и описывать для каждого энвайромента
5) разделить зоны ответственности, например я могу задеплоить RBAC и CRD ресурсы из чарта прометеуса, предварительно просмотрев их, а остальную часть чарта делегировать человеку который занимается мониторингом
Кул.
Тиллера у нас нет давно, мы его вкомпилили в werf, вместе с helm, и больше не имеем этой проблемы. Возможность “изменять чарты на лету” – очень интересно, подумаем об этом.
𝚔𝚟𝚊𝚙𝚜
David
Про tiller тут написано кратко: https://werf.io/documentation/reference/deploy_process/differences_with_helm.html#builtin-helm-client-and-tiller .
David
Ну и добро пожаловать в группу, конечно: https://t.me/werf_ru
David
И звездочки, даммы и господа, звездочки! Не забываем ставить звездочки! ))
Sn00part
А монетизировать будете?
Sn00part
Платный саппорт? Расширенная версия за бабки?
David
Нет, такая задача не стоит. Будет всегда бесплатным и открытым.
David
Платный саппорт будет, расширенной версии НЕ будет. Еще будет платное обучение.
Sn00part
Это пока у инвесторов ваших есть интерес ))
David
Я наш инвестор.
Sn00part
У меня есть команда на саппорт 24х7 если интересно, давайте обсудим )
David
Не понимаю, о чем речь, но мы ушли в личку.
Sergey
Sn00part
Дорого! )
G72K
George
я так понимаю, что werf, как и docker может понять какие файлы изменились, а потом это объединить в некий пакет, который и будет помечен определенным хэшом
G72K
David
Да, все так. Только у нас еще есть интеграция с гитом клевая и мы автоматом… а вот уже и написали.
Dmitry
Всегда готов! 😁
David
https://werf.io/documentation/configuration/stapel_image/git_directive.html – тут подробней.
George
конкретная проблема с докером заключается в двух вещах, как я себе вижу:
1. докер не знает - действительно ли в пайплайне идемпотентная команда или нет. Докер тупо считает, что если текст команды не изменился - можно переиспользовать кэш (с учетом тех соображений, которые @yamlcoder говорил про кэши). На самом деле это не так. Может я хочу при каждой сборке apt update делать - приходится костылить истории с —build-args и передачей туда времени
2. если я делаю так RUN blablabla RUN blablabla COPY x1 COPY x2, то докИр инвалидирует все последющие слои. Скажем, х1 изменился, а х2 - нет. Результат - COPY x2 будет принципиально новым слоем. Решения тупо нет, т.к. надо выпрыгивать из текущей парадигмы хранения слоев
George
я честно наелся этого, т.к. приходится билдить большие образа по 5ГиБ. И не говорите мне, что это плохо - это явно лучше, чем инит-контейнер, которые выкачивает блоб в 3ГиГ из внешнего хранилища
George
место на диске все равно будет расходоваться
David
George
> Нужна возможность в оверлейных FS делать дерево.
скорее независимое хранение каждого слоя отдельно (тогда проблема как бы рассасывается)
George
https://github.com/openSUSE/umoci/issues/256 - вот интересная дискуссия по топику, там же представители нвидия с теми же проблемами, что и у нас
David
George
если б это было так - одинаковые слои между разными образами могли шариться (COPY один и тот же большой файл), но это не так
George
насчет солвинга дерева - согласен, тоже пролблема
David
В слой, кроме файлов, входит еще информация о “родителе”. То, что вы хотите – наличие более одного “родителя” у слоя. Этот как раз и есть дерево.
George
я вообще не хочу родителя у слоя. Отдельно слои как бинарные артефакты, отдельно манифест, который их собирает в образ послойно в виде линейной последовательности
George
ну, это начинается метафизика, так-то
David
Понял мысль.
David
Проглядел issue, там еще глубже пошли и дошли до block level deduplication…
Sn00part
И получается ostree, а не контейнер)
David
Мне кажется, что эти проблемы не настолько болящие, чтобы в них серьезно инвестировать. Как будто есть множество более актуальных проблем. Ушел работать)
Rokker
За пару дней не нашёл решение проблемы (с тем что получаю много socket errors при rollout). Задал вопрос, на so. Может кому пригодиться https://stackoverflow.com/questions/58932219/how-to-avoid-a-socket-read-errors-during-kubernetes-deployment
V
Ребят я все ещё не могу убедить себя что идея запускать production stateful сервиси(типа баз данных, или file storage) это реально оправдано?
Появляются дополнительные обертки чтобы оно лучше и нативнее работало в кубере, усложняется система бекапов.
Я пока вижу мало примеров если это не dev среда.
Кто то своей практикой может поделится?
V
У меня команда наоборот видет в этом благо, и называют инструменты типа ansible/salt/puppet костылем так как ещё не переехали всё в кубер
Ivan
V
Sergei
у вас команда теплое с мягким путает
V
Ну я знаю как хранить бд на таких системах но я не вижу особой практики в этом все равно pod прибивать надо(в большинстве случаев) , но при этом какой-то прям пользы я пока мало испытываю.
Я сейчас пытаюсь понять как мигрировать
LinkedIn/Ambry + zookeeper + Helix, pulsar + Bookkeeper запихнуть в кубер и до сих пор испытываю чувство вины за попытки это обуздать, и найти хоть что-то вменяемое почему так ну вообще не надо.
Один из доводов которая команда пользуется это, что всегда можно видеть все сервисы через kubectl get something
V
у вас команда теплое с мягким путает
Как это понять? ну и при этом, @distol кинул масла в огонь своим видео, где он практически убрал НО из фразы "stateful запускать можно, НО"
И вот все, теперь то авторитетов не переспоришь.
Sergei
Sergei
Ivan
Причем тут кубер и софт для управления конфигурацией?
я предполагаю, что.. в альтернативности сценариев использования.
можно бахнуть плейбук на анзибле который раскатает БД
а можно бахнуть докер-композ/манифест, и спуллится готовый образ. только переменные передать и готово
Dmitry
Sergei
V
V
Просто получается немного не правильная практика вырабатывается, на dev и pre-prod в кубере не жалко разворачивать а вот в проде сразу против или ещё что-то.
Dmitry
V
И почему-то чем больше кластер тем какой-то интуиттвнее страшнее, на stage всего три ноды postgres, а на проде уже 30.
Dmitry
V
NM
V
V
Есть некоторые read only
George
George
возможность факапа выше
George
George
ибо там изоляция нагрузок друг от друга.... так себе.. пока firecracker не завезли
V
скорее - оркестрации, а не виртуализации
Ну не именно виртуализация, типа у нас ведь ноды не режутся на ресурсы и поэтому получается на одной ноде без кубера бывает по 5 сервисов. И вот отчасти это тоже оправдание что в кубере типа можно запустить все без конфликтов портов и версий
Dmitry
Dmitry
Мне кажется вы уже поздно спахватились, у вас уже базы в проде на кубе, вы хотите от туда их вытаскивать? Или новые не затаскивать?
V
V
Вот например pulsar +zk +bookkeeper его скоро в прод тащить и очень всем хочется этот стек в прод в кубер
Sergei
пишите оператор сразу, или тестируйте этот https://github.com/sky-big/pulsar-operator
George
Dmitry
Это касается и новых сервисов.
тут было много срачей по поводу базы в кубе, можете почитать, оценить аргументы обеих сторон и решить для себя. Вот например: https://t.me/kubernetes_ru/204650
Как мне кажется все сводится к тому, что нужно смотреть на конкретный кейс.
George
тут опять эти споры про базы в кубе. Я лично для себя решил , если тебе приходится прибивать под с базой к ноде через афинити, выставлять максимальный лимит по памяти чтобы его oom не убил, прописывать tollerations, чтобы на эту ноду не залетали другие поды, прокидывать локальные разделы, держать специальные настройки sysctl для этой ноды (кстати чем? , получается тоже костылями через init контейнеры + hostPath и какие нибудь админ capability для ядра , если мы договорились кроме куба ничего не юзать), делать какие-то исключения в psp, а значит ещё и держать это все в отдельном неймспейсе. То на фиг оно мне вообще сдалось. Ну а если ты можешь поднять базу в кубе, и она будет соответствовать всем требованиям и тебе это удобно, то вперёд, почему и нет
+
Danila
Все сводится к тому, что исполняеме файлы БД крутить в контейнере можно, а сами данные хранить на внешнем сторадже, с оглядкой на кластеризацию, репликацию и резервирование… ну я так думаю
V
Надо попробовать другой подход практики
V
Давайте предположим что запускать в кубере ВСЁ это хорошо. Не важно какой ценой, главное запустить и практиковать
Дмитрий Харитонов
кто нибудь использует NFS Server Provisioner ?
Дмитрий Харитонов
Не сталкивались с тем что при монтировании сильно тупит работа с диском, хотя из самой поды раздел быстро работает