Это чаты ?

Это вызов админов

Это чаты ?

алло! Меня как слышно!?

салют

Парни, как локально разрабатывать, если хочется CI через гитлаб и использовать сервисы/контейнеры?

переформулируй вопрос

Постараюсь) будт нестыковки в изложении

Нужно сделать CI. Хочется чтоб можно было удобно тестировать - то бишь базу данных подменять. Кажется надо CI на контейнерах, но кубернетес не нужен при этом, по крайней мере пока

Кажется, что гитлаб решает много задач из коробки и вполне хороший вариант

Там установка конейнеров вынесена в абстракцию сервис - которую в ямлике указываем

но совершенно не понятно как при таком раскладе удобно разрабатывать. Проверять результат, не запуская пайплайн.

1. чтобы было удобно тестировать, нужно написать тесты. изучаем типы тестов 2. гитлаб ничего не решает. это кронтаб на стероидах, что ему скажешь, то и сделает. изучаем гитлаб 3. хочется в контейнеры - не вопрос, изучаем контейнеризацию, и зачем оно вообще нужно 4. разрабатывать удобно в Sublime Text 2 5. проверять результат, не запуская пайплайн можно тестами (см п. 1)

короче, вопросы у тебя некорректные

первична разработка, от неё зависит CI

Нужно сделать CI. Хочется чтоб можно было удобно тестировать - то бишь базу данных подменять. Кажется надо CI на контейнерах, но кубернетес не нужен при этом, по крайней мере пока

для моков база вообще может быть не нужна, контейнеры тоже юнит-тесты можно прогнать, скормив им моки хоть в виде массивов/объектов, которые инклудятся из файлов, где описаны в json или как угодно в принципе, для юнит-тестов база и не должна быть нужна, потому что добавляется точка отказа и к тому же это уже превращается в integration тест имхо

Привет! Опубликовал перевод главы книги SIte Reliability Engineering о SLO. Много полезных вещей говорят. http://bit.ly/2MhBrPb

Да! Я за удобство интеграционных тестов сетую. Контейнеры, с моей колокольни, оч удобно использовать для локальной разработки, чтоб комп не засорять))

Привет! Опубликовал перевод главы книги SIte Reliability Engineering о SLO. Много полезных вещей говорят. http://bit.ly/2MhBrPb

сорри если пропустил, а предыдущие, следующие главы где посмотреть?

сорри если пропустил, а предыдущие, следующие главы где посмотреть?

Есть опубликованная глава 6 о мониторинге распределённых систем http://bit.ly/2vYzvB6. Чтобы следить за выходом переводов можно подписаться на мой канал @monitorim_it

Привет, может мне кто объяснить - я не понимаю Почему while read line do echo $line done < file.txt проходит все шаги и выводит в stdout все echo Но стоит добавить ssh и изменить цикл таким образом while read line do echo $line ssh user@host -t "command" done < file.txt то он завершается на первом шаге В file.txt записаны ip-адреса - в каждой строке 1

попробуй ssh строчку в скобки обрамить, такое сталкивался с этим, но уже и не помню как решал идеально конечно ansible заюзать

да благодарю ) уже с помощью опции -n решил

команда в скобках просто откроет отдельную shell сессию

ансибл да , но чтобы он на машинки попал, нужен пользователь, которого там нет ) поэтому таким вот нехитрым способом делал стартовый скрипт

да благодарю ) уже с помощью опции -n решил

Parallel ssh также удобен для таких целей

> Ну что ты, братишка, притих? А вы бы еще в 4 утра задали такой вопрос

> Ну что ты, братишка, притих? А вы бы еще в 4 утра задали такой вопрос

если братишка притих, значит братишка спит

притих, братишка? а я тебе покушать принес

какой только умственно-отсталый копирайтер это писал

?

тоже

так думаю

ансибл да , но чтобы он на машинки попал, нужен пользователь, которого там нет ) поэтому таким вот нехитрым способом делал стартовый скрипт

Mussh, python ну и в ансибл можно указать какой пароль юзать для соединения

вообще-то нет

коллега, вы не правы. Там именно прав текущему пользователю не хватает.

коллега, вы не правы. Там именно прав текущему пользователю не хватает.

В каком дистрибутиве? Я вчера проверил на новом пользователе , не воспроизводится.

я думаю, rhel и debian-based дистрибы так себя ведут

я такое видел на centos и debian

sudo grep /path/to/* тут несколько уровней: 1) grep сам глоббинг не делает (и sudo) 2) глоббинг делает bash 3) башу для этого нужны права на листинг /path/to 4) если у баша глоббинг не получается, он передаёт /path/to/* как аргумент команде, то есть sudo, а тот дальше в grep

sudo grep /path/to/* тут несколько уровней: 1) grep сам глоббинг не делает (и sudo) 2) глоббинг делает bash 3) башу для этого нужны права на листинг /path/to 4) если у баша глоббинг не получается, он передаёт /path/to/* как аргумент команде, то есть sudo, а тот дальше в grep

тут надо смотреть уже настройку конкретного случая в общем случае такое видел только в фряхе, юзвер в линухе во многих случаях даже к etc имеет право на листинг директории Пример ubuntu@ubuntu-tpl:~$ sudo grep -s root /etc/*| grep pass /etc/overlayroot.conf:# * you can pass the same 'overlayroot=' parameters on the kernel /etc/passwd:root:x:0:0:root:/root:/bin/bash /etc/passwd-:root:x:0:0:root:/root:/bin/bash```Я вообще про то, что такие вопросы на собеседовании некорректныеubuntu@ubuntu-tpl:~$ grep -s root /etc/*| grep pass /etc/overlayroot.conf:# * you can pass the same 'overlayroot=' parameters on the kernel /etc/passwd:root:x:0:0:root:/root:/bin/bash /etc/passwd-:root:x:0:0:root:/root:/bin/bash ```

да, тут догадаться трудно, если сам не сталкивался.

даже если знаешь про глоббинг и тд

да, тут догадаться трудно, если сам не сталкивался.

в линухе это уже давно редкость, во фряхе будет тоже по другому там на etc у юзвера прав листинга нет, как и в соляре

часто вижу такое на клиентских серваках, где любители безопасности зарубают листинг /var/log например

#вопрос кто знает бесплатные бэкап утилиты под linux c возможностью шифрования и инкрементальных бэкапов? Кроме duplicity, этот вариант я уже пробовал и возможно на нём останусь.

часто вижу такое на клиентских серваках, где любители безопасности зарубают листинг /var/log например

тогда тут не совсем директория листинг а права на чтения на директории для other

#вопрос кто знает бесплатные бэкап утилиты под linux c возможностью шифрования и инкрементальных бэкапов? Кроме duplicity, этот вариант я уже пробовал и возможно на нём останусь.

Bacula (Bareos)

спс, смотрю

#вопрос кто знает бесплатные бэкап утилиты под linux c возможностью шифрования и инкрементальных бэкапов? Кроме duplicity, этот вариант я уже пробовал и возможно на нём останусь.

https://github.com/jvinet/packrat

сомнительный проект, не обновлялся 4 года, да ещё и на bash

спасибо, тоже посмотрю

Bacula (Bareos)

как-то сложно. А оно может просто демоном работать, без всяких баз данных и тд?

Нет, в базе хранится файловая система для дисков бэкапов, шедулеры и т.д

Зато удобная и гибкая система

у меня простой usecase: список того, что надо бэкапить, и примонтированный storage для бэкапов. Бэкапы выкладываются в публичное облако, отсюда требование для шифрования и инкрементальности.

bacula, я так понимаю, это распределённая система, а у меня один сервак и всё простенько

Тогда да, duplicity. Был его какой-то аналог ещё, но не помню название. А что бэкапите? Файло?

файло, да

там, где не файло (базы, спец софт) - делаю бэкапы отдельно, а потом бэкапы пропускаю через тот же duplicity

Тогда да, duplicity. Был его какой-то аналог ещё, но не помню название. А что бэкапите? Файло?

Restic, borgbackup

Мужики, добродня. Рисую архитектуру деплоя, сомневаюсь в решении. Планируется сборка дженкинсом, им-же генерация композа и доставка апликухи в сворм. Используются докер сикреты, и хочу прикрутить AWS Secret Manager под секреты. Дабы дженкинс запускал питон скрипт с бото3 и генерил для энва с параметров композ с правильными секретами и пр. Пока что вижу только 1 минус, что роль с доступом к секретам будет на весь инстанс с дженкинсом, а не чисто на джобу. У кого-нибудь есть опыт реализации подобного? Поделитесь опытом?

отделяйте хранение секретов от CI/CD

дженкинс и так себя ничего не будет хранить. секреты идут сквозь него не задерживаясь от AWS Secret Manager до Swarm

вообще отделяйте, чтоб ничего не проходило

а как-же в динамике подтягивать пароли всякие?

не хардкодить-же

нет. Храните секреты в vault, в AWS Secret Manager, или ещё где

просто дженкинсу эти секреты зачем знать?

или использовать их как-то

хм. судя по всему идет намек на то, чтобы сама приложуха ломилась за ними?

да

в до-докерные времена это делалось через instance role. На стороне CI у вас делается образ вмки, этот образ запускается в кластере с этой ролью, а у роли есть доступ к нужному месту с секретами

сейчас то же самое можно сделать и в swarm

а хороший вариант. в этом случае доступ до секретов будет только от таргета. Выглядит хорошо. Но это добавляет изолированный участок автоматизации, которые требует своего контроля и мониторинга. В идеале интегрированный в CI/CD на результат деплоя стэка.

да, зато у вас будет более унифицированный процес деплоя для разных окружений. Поскольку секреты хранятся рядом с окружением, у вас в jenkins просто меняется конечная точка для пуша новых образов.

мне нравится идея. но. для организации непрерывного и прогнозируемого процесса деплоя нужно будет согласовывать действия дженкинса и таргета. Как вижу сейчас: - дженкинс закидывает готовый для работы композ и создает СНС сообщение с энвом, таргетом и урлом обратной связи (например на input, который будет ждать) - таргет подписанный на СНС читает, понимает какой энв и безусловно прогоняет пересборку секретов с AWS Secret Manager (плохо, что нельзя подменить сикреты если они подмонтированы, придется делать сине-зеленую схему или по-проще что) - таргет забирает композ и результат деплоя отдает дженкинсу. Круто. Мощно. Но ради того, чтобы дженкинс не имел доступа до секретов это не выглядит профитно. Что касается универсальности - тут можно не переживать. У меня пайплайны везде. Универсальность ими и обеспечивается.

я не понимаю, как сейчас вам наличие секретов помогает дженкинсу. Вы секреты хардкодите в артефакты билда?

сейчас разрабы сикреты делают руками на сворме

что вообще не феншуй

ну вот эту часть и улучшайте,jenkins не надо трогать тогда

я не говорил, что там вообще CI/CD есть и дженкинс участвует. Пока рисую архитектуру

обычно когда секреты проходят через jenkins это выглядит как запихивание паролей в файлы конфигурации. Этот шаг легко заменяется: вместо инструкции "используй пароль 123qwe для базы" пишем инструкцию "возьми пароль для базы из s3://.../../.. (ну или vault, или secret manager)" при этом в инфраструктуре пробрасываем роли для инстансов приложения, чтоб доступ к секретам был. всё остальное, типа обратной связи - не меняется и переход не влияет на общую архитектуру CI/CD

#вопрос кто знает бесплатные бэкап утилиты под linux c возможностью шифрования и инкрементальных бэкапов? Кроме duplicity, этот вариант я уже пробовал и возможно на нём останусь.

Bacula

спс, уже советовали