#!/usr/bin/env bash Есть 5 однотипных скриптов на башике. Отличаются они лишь набором команд, которые нужно выполнить - COMMANDS_TO_RUN Можно ли как то избавиться от дублирования и вынести из этих скриптов всю остальную логику, кроме COMMANDS_TO_RUN ? Т.е. хотелось бы избавиться от дублирования

#!/usr/bin/env bash Есть 5 однотипных скриптов на башике. Отличаются они лишь набором команд, которые нужно выполнить - COMMANDS_TO_RUN Можно ли как то избавиться от дублирования и вынести из этих скриптов всю остальную логику, кроме COMMANDS_TO_RUN ? Т.е. хотелось бы избавиться от дублирования

Ansible + cron?

скрипты для обычного ангулар проекта на баше) Ansible - оверхед думаю

импортить дублирующийся код через source?

мб нужно что-то типо такого 2_install.sh: bash ./templates/header.sh ... echo install && yarn install ... bash ./templates/footer.sh ---- 4_script.sh: bash ./templates/header.sh ... echo script && yarn run test ... bash ./templates/footer.sh

импортить дублирующийся код через source?

не подскажешь чем отличается source от bash ? т.е. source script.sh bash script.sh ./script.sh

мб нужно что-то типо такого 2_install.sh: bash ./templates/header.sh ... echo install && yarn install ... bash ./templates/footer.sh ---- 4_script.sh: bash ./templates/header.sh ... echo script && yarn run test ... bash ./templates/footer.sh

Так это....оч похоже на ансибл) тоже топаешь в темплейты, тоже выполняешь таски...

не подскажешь чем отличается source от bash ? т.е. source script.sh bash script.sh ./script.sh

bash запускает скрипт в отдельном процессе, а соурс как часть текущего скрипта

типа как cat + eval

ну не знаю) ковырять энсибл для фронтендера это чересчур)) мне докера и баша пока хватает :D

типа как cat + eval

ок понял, благодарю

Тебе только главный шедулер написать, а окружение можно тянуть через --limit например. Пихаеш в крон и вуаля

мне и так уже на работе в девопсы предлагали свичнуться, мол их мало у нас, а если и в энсибл еще смогу, так и без моего согласия переведут )))

Фронтендер в devops?

Жди бяды

мне и так уже на работе в девопсы предлагали свичнуться, мол их мало у нас, а если и в энсибл еще смогу, так и без моего согласия переведут )))

Дак вроде же и так синьор девопс??

Фронтендер в devops?

Какой чат, такие и предложения) этож чат с уклоном в девопс)

Привет! Есть стадия build в которой модифицируется файл index.html. Хочу передать этот файл в следущую стадию docker_build. Передаю как авртефакт. Но в тоге после сборки образа, там лежит не модицированный. Подскажите как правильно скормить Dockerfile мой файл?

как копируете?

Привет! Есть стадия build в которой модифицируется файл index.html. Хочу передать этот файл в следущую стадию docker_build. Передаю как авртефакт. Но в тоге после сборки образа, там лежит не модицированный. Подскажите как правильно скормить Dockerfile мой файл?

Какой ci используешь?

Какой ci используешь?

Gitlab CI

Gitlab CI

Передаешь артефактом?

dapp

Покажи ci.yml

ты понел)0

Передаешь артефактом?

Увидел что артефактом)

Передаешь артефактом?

artifacts: paths: - index.html

Но ci все равно покажи

как копируете?

Там все банально FROM nginx:latest COPY index.html /usr/share/nginx/html/ CMD ["nginx", "-g", "daemon off;"]

как решить проблему рассинхронизации данных в микросервисной архитектуре? существует сервис А с локальной базой данных A' - сервис пользователей существует сервис B с локальной базой данных B' - сервис аватарок пользователей бизнес-логика следующая: - в сервисе A, в бд A', создается новый пользователь - после успешного создания пользователя, получаем его id - в сервисе B создаем, в бд B', создаем аватарку, привязывая id пользователя к ней при хорошем стечении обстоятельств все хорошо. но могут возникать следующие случаи: 1. - в A -> A' создается запись, получаем id - запрос в сервис B не состоялся - сервис B возвращает 500 ошибку 2. - в A -> A' создается запись, получаем id - делаем запрос в сервис B - B не может записать данные в B' - база данных остановлена 3. - в A -> A' создается запись, получаем id - сервис A аварийно завершил работу, и не успел обратиться в сервис B по итогу бизнес-логика не завершена полностью. A -> A' содержит пользователя, но в B -> B' для него нет аватарки.

Но ci все равно покажи

Dockerfile выше кидал

Для начала нужен depends на предидущий шаг.

test: stage: test dependencies: - build

В твоём случае билд зависим на пакинг

как решить проблему рассинхронизации данных в микросервисной архитектуре? существует сервис А с локальной базой данных A' - сервис пользователей существует сервис B с локальной базой данных B' - сервис аватарок пользователей бизнес-логика следующая: - в сервисе A, в бд A', создается новый пользователь - после успешного создания пользователя, получаем его id - в сервисе B создаем, в бд B', создаем аватарку, привязывая id пользователя к ней при хорошем стечении обстоятельств все хорошо. но могут возникать следующие случаи: 1. - в A -> A' создается запись, получаем id - запрос в сервис B не состоялся - сервис B возвращает 500 ошибку 2. - в A -> A' создается запись, получаем id - делаем запрос в сервис B - B не может записать данные в B' - база данных остановлена 3. - в A -> A' создается запись, получаем id - сервис A аварийно завершил работу, и не успел обратиться в сервис B по итогу бизнес-логика не завершена полностью. A -> A' содержит пользователя, но в B -> B' для него нет аватарки.

хэндлить эти кейсы, делать очереди. с 3им кейсом без вариков, имхо

Пока каждый стейдж он работает с чистым репо. И потому у тебя в билде не правленный индекс

@EdgarSedov спасибо. можно подробный план действий по построению очередей?

как решить проблему рассинхронизации данных в микросервисной архитектуре? существует сервис А с локальной базой данных A' - сервис пользователей существует сервис B с локальной базой данных B' - сервис аватарок пользователей бизнес-логика следующая: - в сервисе A, в бд A', создается новый пользователь - после успешного создания пользователя, получаем его id - в сервисе B создаем, в бд B', создаем аватарку, привязывая id пользователя к ней при хорошем стечении обстоятельств все хорошо. но могут возникать следующие случаи: 1. - в A -> A' создается запись, получаем id - запрос в сервис B не состоялся - сервис B возвращает 500 ошибку 2. - в A -> A' создается запись, получаем id - делаем запрос в сервис B - B не может записать данные в B' - база данных остановлена 3. - в A -> A' создается запись, получаем id - сервис A аварийно завершил работу, и не успел обратиться в сервис B по итогу бизнес-логика не завершена полностью. A -> A' содержит пользователя, но в B -> B' для него нет аватарки.

надо просто сделать чтобы кейсы не возникали)

чаще всего, наверное, такого происходить не будет, но всегда есть риск )

Dockerfile выше кидал

https://docs.gitlab.com/ce/ci/yaml/README.html#dependencies

@EdgarSedov спасибо. можно подробный план действий по построению очередей?

ну вот создал ты юзера в а. добавляешь в очередь задание на создание автарки в сервисе б. в задании хендлишь фейлы, и перезапускаешь его через некоторое время, например

@EdgarSedov а если в момент перезапуска задания, в сервисе A пользователя заблокировали, и аватарка ему больше не нужна?

@EdgarSedov а если в момент перезапуска задания, в сервисе A пользователя заблокировали, и аватарка ему больше не нужна?

еще одно задание на удаление автарки

в теории, можешь конечно почекать очередь на невыполненные задания, но это гемор, имхо

https://docs.gitlab.com/ce/ci/yaml/README.html#dependencies

Понял! Спасибо, попробуем

Там все банально FROM nginx:latest COPY index.html /usr/share/nginx/html/ CMD ["nginx", "-g", "daemon off;"]

А вообще надо делать прямее

Просто контейнер с nginx. Не клади туда индекс

Простого монитоуй ему волюм, на который клади индекс

А то контейнер ради одного файла - оверкилл

А вообще надо делать прямее

Да мне нужно просто показать hello world и все

@EdgarSedov не могу придумать каких-то изъянов ) это должно работать, спасибо

А то контейнер ради одного файла - оверкилл

Слушай, шас попробовал перезапустить пайплайн. Все равно забирает изнаяальную версию из репозитрия

@EdgarSedov не могу придумать каких-то изъянов ) это должно работать, спасибо

изъяны могут появляться при параллельной обработке. Например, первый воркер взял задание на добавление аватарки, но не успел добавить, а второй уже взял на удаление

в таком случае должен быть какой-то сбобрщик мусора бесхозных данных. но эти данные могут начать использоваться в других записях еще до выполнения этого сборщика

обычно это хендлится локами

а как это? ) блокировками на уровне бд?

Слушай, шас попробовал перезапустить пайплайн. Все равно забирает изнаяальную версию из репозитрия

Я ща с телефоном и не вспомню, по этому для дебага сделай ls -lah на сборке- посмотрим какие папки/файлы ему доступны

как решить проблему рассинхронизации данных в микросервисной архитектуре? существует сервис А с локальной базой данных A' - сервис пользователей существует сервис B с локальной базой данных B' - сервис аватарок пользователей бизнес-логика следующая: - в сервисе A, в бд A', создается новый пользователь - после успешного создания пользователя, получаем его id - в сервисе B создаем, в бд B', создаем аватарку, привязывая id пользователя к ней при хорошем стечении обстоятельств все хорошо. но могут возникать следующие случаи: 1. - в A -> A' создается запись, получаем id - запрос в сервис B не состоялся - сервис B возвращает 500 ошибку 2. - в A -> A' создается запись, получаем id - делаем запрос в сервис B - B не может записать данные в B' - база данных остановлена 3. - в A -> A' создается запись, получаем id - сервис A аварийно завершил работу, и не успел обратиться в сервис B по итогу бизнес-логика не завершена полностью. A -> A' содержит пользователя, но в B -> B' для него нет аватарки.

https://habr.com/post/413817/ там конешно избыточно но можно подчерпнуть идеи

спасибо, буду читать

Я ща с телефоном и не вспомню, по этому для дебага сделай ls -lah на сборке- посмотрим какие папки/файлы ему доступны

Ок.Да смотрел уже. Все имеется. cat index.html показывает все правильно. Но во время сборки все равно копирует дефолтный из репозитория

Ок.Да смотрел уже. Все имеется. cat index.html показывает все правильно. Но во время сборки все равно копирует дефолтный из репозитория

Вот не может быть. Ты делаешь кат на файл- катается нужный. А когда копируешь - уже не тот? Все в одном стейдже?

Вот не может быть. Ты делаешь кат на файл- катается нужный. А когда копируешь - уже не тот? Все в одном стейдже?

Да

а скачай артефакт и глянь какой он там

а скачай артефакт и глянь какой он там

Качал. Артефакт который и должен быть

Качал. Артефакт который и должен быть

build лог этой стадии можно весь

build лог этой стадии можно весь

https://pastebin.com/EE4XLdwZ

build лог этой стадии можно весь

а как проверяйте образ ?

я думаю вы забываете делать docker pull image

т.к. у вас одинаковое имя образа

я думаю вы забываете делать docker pull image

docker image build --pull -t "$IMAGE_NAME:$BUILD_TAG" -t $IMAGE_NAME .

docker image build --pull -t "$IMAGE_NAME:$BUILD_TAG" -t $IMAGE_NAME .

по логам имедж обновляется в речестри.

на той машине где вы проверяйте перед запуском сделайте docker pull

docker кеширует образы и не обновляет пока его явно не попросить об этом

docker кеширует образы и не обновляет пока его явно не попросить об этом

Я в конце делаю docker image rm -f $(docker image inspect -f '{{.Id}}' "$IMAGE_NAME:$BUILD_TAG")

и что. я сейчас говорю не про сборку. сборка работает на все 100

https://pastebin.com/EE4XLdwZ 63 строка образ обновился

192.168.0.30:5000/root/hello-world:master

так как вы проверяйте ? комманду плиз

https://pastebin.com/EE4XLdwZ 63 строка образ обновился

Вообщем сейчас понял что проблема не с dockerfile. Тема такая. У меня 2 ветки: Master и Developer Когда идет пуш в Master, в реджистри по итогу 2 образа заливается. Один с тегом latest. а другой с тегом master. В Developer похожая ситуация, только один образ заливается с тегом developer

приветствую всех. подскажите, умеет ли MTMproxy работать через другой прокси ? или только iptables извращаться ?