Aragaer
то есть, буквально, "не фейлится громко, если текущая версия уже есть в репе". Это не очень хорошо, потому что мастер расходится с пакетом
не совсем. Последняя правка номера версии совпадает с пакетом. Мастер расходится с последней правкой номера версии.
Nikolay Markov
ну ты же спрашиваешь советов и рекомендаций, как сделать :) И вот кажется хороший совет - следуйте Conventional Commits и делайте авто-бамп версии, пусть все роботы делают
если бы можно было сделать "как посоны обычно ща делают" - я бы так и запилил :) а тут приходится костылить. Вот я и советуюсь, какие костыли лучше в данном случае
Oleg
если бы можно было сделать "как посоны обычно ща делают" - я бы так и запилил :) а тут приходится костылить. Вот я и советуюсь, какие костыли лучше в данном случае
Сделай отдельную джобу "релиз", которая будет показывать последнюю версию, где ты в текстбоксе можешь ввести новую версию, джоба будет делать коммит и собирать чейнджлог, например
Nikolay Markov
там начинаются еще отдельные танцы с бубном с проектами на poetry
Oleg
Не требуй от людей в их MR/PR обновлять версии
Nikolay Markov
Не требуй от людей в их MR/PR обновлять версии
мне очень не нравится, что CI/CD имеет права на запись и применяет их
Aragaer
есть еще вариант - использовать форматы версий с указанием дополнительной информации, например a.b.c+git_hash
Aragaer
в файле это храниться не будет, будет только засовываться в пакет
Oleg
мне очень не нравится, что CI/CD имеет права на запись и применяет их
Ну, это лучше, чем иметь в офисе каску "релиз менеджер", и только тот, кто сейчас в каске, может создавать MR "bump version"
Oleg
Не вижу проблемы, если это триггерить руками
Nikolay Markov
Не вижу проблемы, если это триггерить руками
это становится проблемой, когда пакетов много разных, и бамп версии одного может обязательно подразумевать бамп версии другого
Nikolay Markov
а тут надо руками помнить, где что делать, чтобы не поломался стейджинг или даже прод
Oleg
это становится проблемой, когда пакетов много разных, и бамп версии одного может обязательно подразумевать бамп версии другого
Ну так вот у тебя и будет три джобы для трех пакетов, каждая из этих релиз-джобов триггерится только руками
Oleg
И каска релиз менеджера просто значит только человек в каске может триггерить их
Nikolay Markov
Ну так вот у тебя и будет три джобы для трех пакетов, каждая из этих релиз-джобов триггерится только руками
я выше написал, почему мне не очень нравится такой вариант. Потому что при таком подходе этой джобе нужны права на запись в репу, чтобы она бампала версию в файле и коммитила это обратно
Oleg
я выше написал, почему мне не очень нравится такой вариант. Потому что при таком подходе этой джобе нужны права на запись в репу, чтобы она бампала версию в файле и коммитила это обратно
Да. Ну я не вижу большой проблемы в этом, ну будет бампить версию и коммитить, ну ок, это лучше, чем давать то же самое делать человеку
Oleg
Все еще хуже, чем полностью автоматический процесс, когда версия авто-вычисляется по коммитам, но лучше чем все руками
Nikolay Markov
Да. Ну я не вижу большой проблемы в этом, ну будет бампить версию и коммитить, ну ок, это лучше, чем давать то же самое делать человеку
ну как сказать... у тебя есть maintenance-юзер, который есть на любом сервере, у которого есть права на чтение и запись (и даже администрирование, чтобы вебхуки!) любой репы
Nikolay Markov
то есть любой с этими кредами становится сразу богом
Oleg
ну как сказать... у тебя есть maintenance-юзер, который есть на любом сервере, у которого есть права на чтение и запись (и даже администрирование, чтобы вебхуки!) любой репы
Ну да, ок. В чем проблема? :) Если доверяете команде, то вся команда имеет права на администрирование всех репозиториев
Oleg
Если не доверяете, то поменяйте праоль и доверьте его только выделенному человеку
Oleg
У нас команда из ~10 человек и у все в нашу группу Гитлаба права Owner. Т.е. кто угодно может поменять что угодно, ну и ок
Nikolay Markov
Ну да, ок. В чем проблема? :) Если доверяете команде, то вся команда имеет права на администрирование всех репозиториев
ну это просто сесурити-дыра. Я не то чтобы сторонник драконовских мер, но чем меньше возможностей у обычных разрабов и дата-сотонистов квсе сломать - тем лучше по итогу
Oleg
И credentials от божественных faceless аккаунтов лежат на вики-страничке, куда имеют доступ 5 человек, которым это нужно
Oleg
ну это просто сесурити-дыра. Я не то чтобы сторонник драконовских мер, но чем меньше возможностей у обычных разрабов и дата-сотонистов квсе сломать - тем лучше по итогу
Ну так эта дыра не имеет отношения к процессу релиза и версий :) У вас же CI пушит, собственно, собранные пакеты в PyPi или в прод? И вас это не смущает? А пушить коммиты в репозиторий смущает?
Oleg
Положите эту джобу, умеющую пушить в репозиторий, рядом с джобой, которая пушит в продакшн и навесьте точно такой же замок на нее, как на продакшн-джобу
Anonymous
ребят как это в читаемый вид привести
Oleg
А потом уже в следующем спринте разбирайтесь, надо ли ограничивать права еще больше
Nikolay Markov
CI работает нормально как раз тогда, когда у людей отсуюствуют варианты выстрелить себе в ногу и сломать его, сделав что-то типа пуша в мастер или ручной заливки в прод от faceless-юзера
Anonymous
headers = { 'method':'GET', 'authority':'vincheck.info', 'scheme':'https', 'path':'/check/report-summary.php', 'upgrade-insecure-requests':'1', 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36', 'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'sec-fetch-site':'same-origin', 'sec-fetch-mode':'navigate', 'sec-fetch-dest':'document', 'referer':'https://vincheck.info/check/vin-check-progress.php', 'accept-encoding':'gzip, deflate, br', 'accept-language':'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7', 'cookie':'cf_chl_1=faf55a94c891231;PHPSESSID=7gj669oeg3lerstsin975cgfo2;gridcookie=grid;_ga=GA1.2.1028253036.1590397403;__cfduid=dccef4168114d8591f750d14cc8430a481593347750;exp=v1;r_url=%5Be1009%5DNA;_gid=GA1.2.369491899.1594812719;cf_clearance=cd681e9b47efb45066f0eca95423d2d11f14e2a6-1594814828-0-1zfc3779a6z7f5b7adfze7f329a3-150;_gat=1;vin=LAEMBZ464DG100091' } page_3 = session.get("https://vincheck.info/check/report-summary.php",headers = headers).text print(page_3)
Oleg
ребят как это в читаемый вид привести
никак -_- Хоть бы написали, что это, откуда
Maxim
бнопня, похоже, какая-то
Oleg
CI работает нормально как раз тогда, когда у людей отсуюствуют варианты выстрелить себе в ногу и сломать его, сделав что-то типа пуша в мастер или ручной заливки в прод от faceless-юзера
Так повторю вопрос - как в прод то вливаете? Если руками на машине разработчика - то извините, но у вас проблемы. Если CI пушит - то это одного порядка вещи с коммитами в репозиторий
Nikolay Markov
Так повторю вопрос - как в прод то вливаете? Если руками на машине разработчика - то извините, но у вас проблемы. Если CI пушит - то это одного порядка вещи с коммитами в репозиторий
ну вот я не согласен, что одного порядка. Публиковать пакет в прод и возможность от этого юзера поменять код и залить в репу - это две большие разницы. Собственно, даже на гитхабе поэтому deployment-ключи - это вообще отдельный раздел
Oleg
ну вот я не согласен, что одного порядка. Публиковать пакет в прод и возможность от этого юзера поменять код и залить в репу - это две большие разницы. Собственно, даже на гитхабе поэтому deployment-ключи - это вообще отдельный раздел
насколько "большие" и в чью сторону разница? Мне кажется, что возможность запушить в публичный PyPi\прод это примерно вершина привилегий, если это делается, то все остальное - ерунда.
Oleg
и если у вас есть джоба, которая пушит в прод, то говорить "ой, мы не можем делать джобу, пушашую коммит в репозиторий, несекьюрно" - ребят, что-то у вас не так явно
Nikolay Markov
и если у вас есть джоба, которая пушит в прод, то говорить "ой, мы не можем делать джобу, пушашую коммит в репозиторий, несекьюрно" - ребят, что-то у вас не так явно
смотри. Пуш в прод - это автоматическое действие, которое полностью прозрачно - всегда видно, что/кто и как стриггерило джобу, все такое. Коммит в код от faceless-юзера - это абсолютно анонимная возможность делать вообще что угодно. Можно залить говнокод - и git blame не поможет. Можно впихнуть бэкдор - и никто этого не заметит.
Oleg
смотри. Пуш в прод - это автоматическое действие, которое полностью прозрачно - всегда видно, что/кто и как стриггерило джобу, все такое. Коммит в код от faceless-юзера - это абсолютно анонимная возможность делать вообще что угодно. Можно залить говнокод - и git blame не поможет. Можно впихнуть бэкдор - и никто этого не заметит.
Пуш в прод осуществляется по неким credentials, так? Если у Алисы есть эти credentials (токен ли, логин-пароль ли, неважно), то она может со своей машины запушить в прод любой говнокод. Так? Коммит в репозиторий осуществляется по неким crendentials... и далее по тексту.. Так?
Oleg
Если мы инкапсулируем эти credentials, что они не видны, но при этом пользователь может затриггерить джобу (не зная credentials) - то все прозрачно и все видно, кто стриггерил
Tishka17
Перед пушем в прод сборку надо на препроде проверить
Oleg
Я все еще в упор не вижу разницы
Tishka17
1. Смерджил 2. Собрал 3. Сохранил артефакт 4. Проверил артефакт 5. Выкатил в прод
Oleg
Перед пушем в прод сборку надо на препроде проверить
Ну если мы говорим про злую Алису, то имея на руках credentials, она может и в прод говнокод запушить, и в репозиторий говнокод запушить. Нет разницы)
Nikolay Markov
Пуш в прод осуществляется по неким credentials, так? Если у Алисы есть эти credentials (токен ли, логин-пароль ли, неважно), то она может со своей машины запушить в прод любой говнокод. Так? Коммит в репозиторий осуществляется по неким crendentials... и далее по тексту.. Так?
если Алиса соберет полностью свой пакет, ухитрится при этом не сломать автоматический бамп версии, стырит креденшлы из jenkins secrets (SHA256, если правильно помню), а еще и получит доступ к kubectl create - тогда проблемы уже серьезные, да. Но это крайне маловероятно. Намного менее вероятно, чем заливка бэкдора через maintenance-юзера
Oleg
Одного порядка вещи
Oleg
Если у вас один юзер на все и все знают его пароль - ну сделайте второго юзера чисто для пушей и никому не давайте пароль, пусть он только в secrets и лежит
Nikolay Markov
Стоп-стоп, вот на моменте "credentials jenkins secrets" стоп. Ваш SSH ключ faceless юзера, у которого есть права на пуш в реопзиторий - это такой же jenkins secrets.
> Ваш SSH ключ faceless юзера, у которого есть права на пуш в реопзиторий - это такой же jenkins secrets. нет, вообще нет. Для того, чтобы что-то делать от faceless-юзера - достаточно получить доступ на любой сервер, где он есть с его приватным ключом. Для того, чтобы что-то делать через jenkins secrets - надо взломать jenkins secrets
Oleg
Проблема не в наличии faceless юзера как такого. Если у вас всемогущий юзер, от которого все знают пароли (уже знаю, и он уже всемогущий), и вы почему-то боитесь сделать его чуть более всемогущим - ну так сделайте второго юзера, который может одну вещь (пушить в реп)
Oleg
А иначе там на машине и остальные секреты также будут
Tishka17
Я чёт не понял какую мы проблему уже решаем
Tishka17
Нужен секретный секрет - ну путь ген дир сам пушит
Nikolay Markov
а откуда он "там будет есть", если вы будете после окончания джобы подчищать все секреты с машины?
это зависит от того, как менеджится сам юзер. Проблема в том, что менеджим его не мы
Oleg
with (jenkinsCredentials('push_prod_user', user: $user, pass: $pass)) { pushToKubernetes($user, $password) } with (jenkinsCredentials('push_repo_user')) { git.push($user, $password) }
Oleg
нет разницы :)
Oleg
ну нету разницы, я не знаю, как еще объяснить
Oleg
это зависит от того, как менеджится сам юзер. Проблема в том, что менеджим его не мы
Сделайте себе в вашем гитлабе\гитхабе\битбакете нового юзера, назовите его ciPusherVerySecretAccount, дайте ему права на пуш. Никому не говорите пароль. Добавьте в Jenkins Secrets. Используйте эти credentials для пуша
Oleg
Ровно также как вы сделали для пуша в прод в ваш k8s
Nikolay Markov
ну есть она, есть. возможность анонимно изменить код сильно вероятнее, чем возможность в обход всех валидаций пропихнуть в прод то, чего там не должно быть
Oleg
да откуда эта возможность будет, если credentials за тем же замком, что пуш в прод?
Oleg
Т.е. да, всезнающий админ может, но вы же этого не боитесь, раз этот же админ может и в прод запушить
Oleg
А девелопер не может, девелопер не знает credentials
Oleg
И джоба же не "напишите произвольный код, который будет выполнен из под рута", а "релиз с версией 1.2.3", которая выполняет фиксированное действие
Oleg
которое прошло код-ревью и секьюрити-ревью, если нужно
Oleg
Так я выше говорил - если вы боитесь, то положите ее за тот же замок, что и пуш в прод, ибо это одного порядка действия
Oleg
Но я бы не хотел работать в вашей команде, где вы так не доверяете разработчикам, честно :(
Andrey
Вопрос: есть функция, допустим от трех аргументов. И есть список из трех значений, последовательно представляющий эти аргументы. Как идиоматичнее поступить - либо следать исходную функцию принимающую один аргумент - список, и внутри разбирать его по индексам? Или есть какой-нибудь красивый синтаксический сахар, чтобы функцию от 3 аргументов применить к списку из 3 значений?
Nikolay Markov
управление юзерами, в том числе отладочным, и управление кредами для деплоя - не очень связанные вещи
Andrey
а это не наоборот ли?
Oleg
ну если у вас def func(arg1, arg2, arg3):... и myArgs = [1,2,3], то вроде все так, func(*myArgs)
Andrey
пасиб, щас попробую
Oleg
>Или есть какой-нибудь красивый синтаксический сахар, чтобы функцию от 3 аргументов применить к списку из 3 значений? Вроде именно оно :)