David
Вот это уже интересно, но в QBEC меня больше всего порадовала возможность, что я могу работать с helm-charts без каких либо тарболов, то есть я могу подключить их в виде git submodule, затем через std.native('expandHelmTemplate') отрендерить чарт в переменную и дальше наложить любые мутации на него. Это в свою очень помогло: 1) деплоить без тилера 2) не иметь чарт музеума 3) изменять официальные чарты на лету (было особенно актуально при обновлении на 1.16) 4) всё изменения декларативно хранить в репозитории и описывать для каждого энвайромента 5) разделить зоны ответственности, например я могу задеплоить RBAC и CRD ресурсы из чарта прометеуса, предварительно просмотрев их, а остальную часть чарта делегировать человеку который занимается мониторингом
Кул. Тиллера у нас нет давно, мы его вкомпилили в werf, вместе с helm, и больше не имеем этой проблемы. Возможность “изменять чарты на лету” – очень интересно, подумаем об этом.
David
Про tiller тут написано кратко: https://werf.io/documentation/reference/deploy_process/differences_with_helm.html#builtin-helm-client-and-tiller .
David
Ну и добро пожаловать в группу, конечно: https://t.me/werf_ru
David
И звездочки, даммы и господа, звездочки! Не забываем ставить звездочки! ))
Sn00part
А монетизировать будете?
Sn00part
Платный саппорт? Расширенная версия за бабки?
David
Нет, такая задача не стоит. Будет всегда бесплатным и открытым.
David
Платный саппорт будет, расширенной версии НЕ будет. Еще будет платное обучение.
Sn00part
Это пока у инвесторов ваших есть интерес ))
David
Я наш инвестор.
Sn00part
У меня есть команда на саппорт 24х7 если интересно, давайте обсудим )
David
Не понимаю, о чем речь, но мы ушли в личку.
Sn00part
Дорого! )
G72K
Не, каждое уникальное состояние каждого стейджа может быть запушено только один раз. Там контрольная сумма используется.
Как уникальное состояние помогает переиспользовать кеш? Новый билд на новом комите скажем
George
я так понимаю, что werf, как и docker может понять какие файлы изменились, а потом это объединить в некий пакет, который и будет помечен определенным хэшом
Dmitry
Как уникальное состояние помогает переиспользовать кеш? Новый билд на новом комите скажем
werf использует git маппинги с указанием stage dependencies. Если файлы, соответствующие stage dependencies данного маппинга не менялись между коммитами, stage из кеша берется
G72K
Не опоздал, как оказалось кэш kaniko плохо работает с ARG/VAR при staging building
Buildkit тоже так себе, полон багов был полгода назад
David
Да, все так. Только у нас еще есть интеграция с гитом клевая и мы автоматом… а вот уже и написали.
Dmitry
Всегда готов! 😁
David
https://werf.io/documentation/configuration/stapel_image/git_directive.html – тут подробней.
George
конкретная проблема с докером заключается в двух вещах, как я себе вижу: 1. докер не знает - действительно ли в пайплайне идемпотентная команда или нет. Докер тупо считает, что если текст команды не изменился - можно переиспользовать кэш (с учетом тех соображений, которые @yamlcoder говорил про кэши). На самом деле это не так. Может я хочу при каждой сборке apt update делать - приходится костылить истории с —build-args и передачей туда времени 2. если я делаю так RUN blablabla RUN blablabla COPY x1 COPY x2, то докИр инвалидирует все последющие слои. Скажем, х1 изменился, а х2 - нет. Результат - COPY x2 будет принципиально новым слоем. Решения тупо нет, т.к. надо выпрыгивать из текущей парадигмы хранения слоев
George
я честно наелся этого, т.к. приходится билдить большие образа по 5ГиБ. И не говорите мне, что это плохо - это явно лучше, чем инит-контейнер, которые выкачивает блоб в 3ГиГ из внешнего хранилища
George
место на диске все равно будет расходоваться
George
> Нужна возможность в оверлейных FS делать дерево. скорее независимое хранение каждого слоя отдельно (тогда проблема как бы рассасывается)
George
https://github.com/openSUSE/umoci/issues/256 - вот интересная дискуссия по топику, там же представители нвидия с теми же проблемами, что и у нас
David
> Нужна возможность в оверлейных FS делать дерево. скорее независимое хранение каждого слоя отдельно (тогда проблема как бы рассасывается)
Каждый слой хранится итак отдельно, проблема в том, что чтобы смонтировать его нужно солвить дерево.
George
если б это было так - одинаковые слои между разными образами могли шариться (COPY один и тот же большой файл), но это не так
George
насчет солвинга дерева - согласен, тоже пролблема
David
В слой, кроме файлов, входит еще информация о “родителе”. То, что вы хотите – наличие более одного “родителя” у слоя. Этот как раз и есть дерево.
George
я вообще не хочу родителя у слоя. Отдельно слои как бинарные артефакты, отдельно манифест, который их собирает в образ послойно в виде линейной последовательности
George
ну, это начинается метафизика, так-то
David
Понял мысль.
David
Проглядел issue, там еще глубже пошли и дошли до block level deduplication…
Sn00part
И получается ostree, а не контейнер)
David
Мне кажется, что эти проблемы не настолько болящие, чтобы в них серьезно инвестировать. Как будто есть множество более актуальных проблем. Ушел работать)
Rokker
За пару дней не нашёл решение проблемы (с тем что получаю много socket errors при rollout). Задал вопрос, на so. Может кому пригодиться https://stackoverflow.com/questions/58932219/how-to-avoid-a-socket-read-errors-during-kubernetes-deployment
V
Ребят я все ещё не могу убедить себя что идея запускать production stateful сервиси(типа баз данных, или file storage) это реально оправдано? Появляются дополнительные обертки чтобы оно лучше и нативнее работало в кубере, усложняется система бекапов. Я пока вижу мало примеров если это не dev среда. Кто то своей практикой может поделится?
V
У меня команда наоборот видет в этом благо, и называют инструменты типа ansible/salt/puppet костылем так как ещё не переехали всё в кубер
V
stateful наверно?
Да исправил
Sergei
у вас команда теплое с мягким путает
Ivan
Ребят я все ещё не могу убедить себя что идея запускать production stateful сервиси(типа баз данных, или file storage) это реально оправдано? Появляются дополнительные обертки чтобы оно лучше и нативнее работало в кубере, усложняется система бекапов. Я пока вижу мало примеров если это не dev среда. Кто то своей практикой может поделится?
я успел пощупать прод, правда со свормом в качестве оркестратора. там был стейтфул, но.. на костылях. тачки со стейтами были прибиты к хостам, на которых хранились их стейты) по мне - вполне рабочая схема, если пространство хранения организовано разумно и правильно. чтоб не случилось неконсистентных состояний в тех же БД я вот пока не знаю как правилньо хранить БД на таких распределенных системах, поэтому для меня лучший рецепт - это использовать/делать управляемые экземпляры БД
V
Ну я знаю как хранить бд на таких системах но я не вижу особой практики в этом все равно pod прибивать надо(в большинстве случаев) , но при этом какой-то прям пользы я пока мало испытываю. Я сейчас пытаюсь понять как мигрировать LinkedIn/Ambry + zookeeper + Helix, pulsar + Bookkeeper запихнуть в кубер и до сих пор испытываю чувство вины за попытки это обуздать, и найти хоть что-то вменяемое почему так ну вообще не надо. Один из доводов которая команда пользуется это, что всегда можно видеть все сервисы через kubectl get something
V
у вас команда теплое с мягким путает
Как это понять? ну и при этом, @distol кинул масла в огонь своим видео, где он практически убрал НО из фразы "stateful запускать можно, НО" И вот все, теперь то авторитетов не переспоришь.
Ivan
Причем тут кубер и софт для управления конфигурацией?
я предполагаю, что.. в альтернативности сценариев использования. можно бахнуть плейбук на анзибле который раскатает БД а можно бахнуть докер-композ/манифест, и спуллится готовый образ. только переменные передать и готово
V
Наверное, потому что оно работает
Да работает но все равно сейчас идёт миграция полная поэтому расматриваеься вариант чтобы сделать bootstrap сразу в k8s.
V
Просто получается немного не правильная практика вырабатывается, на dev и pre-prod в кубере не жалко разворачивать а вот в проде сразу против или ещё что-то.
V
И почему-то чем больше кластер тем какой-то интуиттвнее страшнее, на stage всего три ноды postgres, а на проде уже 30.
V
Вопрос этот решить просто. Посмотреть реально ли это оправдано. Если не оправдано, написать аргументировано команде, почему это так.
Так я собираю аргументы. У нас просто чистый baremetal к тому же. Поэтому k8s типа используется уже как виртуализация своего рода
V
Зачем так много ? По регионам число нод ?
Там мульти мастер через шарды сделано
V
Есть некоторые read only
George
возможность факапа выше
George
ибо там изоляция нагрузок друг от друга.... так себе.. пока firecracker не завезли
V
скорее - оркестрации, а не виртуализации
Ну не именно виртуализация, типа у нас ведь ноды не режутся на ресурсы и поэтому получается на одной ноде без кубера бывает по 5 сервисов. И вот отчасти это тоже оправдание что в кубере типа можно запустить все без конфликтов портов и версий
Dmitry
Мне кажется вы уже поздно спахватились, у вас уже базы в проде на кубе, вы хотите от туда их вытаскивать? Или новые не затаскивать?
V
Вот например pulsar +zk +bookkeeper его скоро в прод тащить и очень всем хочется этот стек в прод в кубер
Sergei
пишите оператор сразу, или тестируйте этот https://github.com/sky-big/pulsar-operator
Dmitry
Это касается и новых сервисов.
тут было много срачей по поводу базы в кубе, можете почитать, оценить аргументы обеих сторон и решить для себя. Вот например: https://t.me/kubernetes_ru/204650 Как мне кажется все сводится к тому, что нужно смотреть на конкретный кейс.
Danila
Все сводится к тому, что исполняеме файлы БД крутить в контейнере можно, а сами данные хранить на внешнем сторадже, с оглядкой на кластеризацию, репликацию и резервирование… ну я так думаю
V
Надо попробовать другой подход практики
V
Давайте предположим что запускать в кубере ВСЁ это хорошо. Не важно какой ценой, главное запустить и практиковать
Дмитрий Харитонов
кто нибудь использует NFS Server Provisioner ?
Дмитрий Харитонов
Не сталкивались с тем что при монтировании сильно тупит работа с диском, хотя из самой поды раздел быстро работает