Alexander
юниты подходят для любых джобов
Не для любых, а для типовых. Запуск любой программы оборачивать в service довольно странно. Как и иметь лишние прослойки, вроде, запуска деплоилки внутри service. Если хочешь запускать сервис типовым образом: опиши запуск в юните и дергай юнит из деплоилки.
George
George
типа одноразовые
George
например еще несомненный плюс юнита (любого) - помимо того, что screen-tmux не нужны, если он долго работает - ты гарантированно (почти) получишь его логи в journald
George
но, конечно, ЗАПУСК всего в них странно засовывать. Ну, например, служебные команды ad-hoc типа fdisk/ps aux и прочее - странно совать в юниты, да, согласен
George
и, да, юнит может дергать юнит (внезапно)
Alexander
есть transient юниты
transient service юниты не одноразовые, а динамически создаваемые. Они все равно для типовых вещей, а не для задач, запускаемых единожды.
Alexander
Про какой-нибудь scope-юнит еще можно согласиться, если нужна управляемость со стороны systemd.
George
George
как обновление системы
George
Alexander
разных версий одного кода
Ну тогда пусть логика про версии будет в деплоилке, а в service-е будет только то, что не зависит от версии и не вызывает внутри себя деплоилку.
Alexander
Я же не против того, чтобы resque запускался systemd-ой :)
George
от задачи зависит, но скорее соглашусь
Alexander
Там же написано, storage-class не из поддержимаемых (перечисленных в списке).
Alexander
> aws: error: argument --storage-class: Invalid choice, valid choices are:
>
> STANDARD | REDUCED_REDUNDANCY
> STANDARD_IA | ONEZONE_IA
> INTELLIGENT_TIERING | GLACIER
Andrii
Хотя, то, что ты делаешь — это отвратительное извращение, но Type=oneshot в секции [Service] должно помочь тебе. Но я бы посоветовал не запускать из юнитов сервисы через капистрану (спасибо, что хотя бы на локалхосте, но это все равно странно).
подскажите, как тогда лучше сделать старт/стоп процессов resque, если resque сейчас запускается вот так
desc "Start Resque workers"
task :start do
for_each_workers do |role, workers|
on roles(role) do
create_pid_path
worker_id = 1
workers.each_pair do |queue, number_of_workers|
info "Starting #{number_of_workers} worker(s) with QUEUE: #{queue}"
number_of_workers.times do
pid = "#{fetch(:resque_pid_path)}/resque_work_#{worker_id}.pid"
within current_path do
execute :nohup, %{#{SSHKit.config.command_map[:rake]} RACK_ENV=#{rails_env} RAILS_ENV=#{rails_env} #{fetch(:resque_extra_env)} QUEUE="#{queue}" PIDFILE=#{pid} BACKGROUND=yes #{"VERBOSE=1 " if fetch(:resque_verbose)}INTERVAL=#{fetch(:interval)} #{"environment " if fetch(:resque_environment_task)}resque:work #{output_redirection}}
end
worker_id += 1
end
end
end
end
end
т.е. pid файлы создаются при старте/рестарте через capistrano resque_work_1.pid resque_work_2.pid resque_work_3.pid и т.д., а если я буду запускать руками команду в systemd
bundle exec rake COUNT=5 QUEUE=sms PIDFILE=tmp/pids/resque.pid BACKGROUND=yes INTERVAL=5 resque:workers
то у меня запускается 5 процессов resque c одним pid файлом в tmp/pids/resque.pid и у меня получается разнобой с pid файлами
George
forking поставить. вроде так
Dmitriy
Ребята, хочу подсветить тут конфу одну в минске
Dmitriy
https://delex-conf.com
DevOps and TestAutomation Conference.
14-15.02.2020 - Минск, Беларусь
конференция об DevOps практиках, автоматизациии тестирования, ТестОпс.
1.5 дня конференци с happy-hour и 32 докладчиками, в первую очередь направленные на senior аудиторию, без менеджерских и junior докладов.
SIEM, AWS миграции, секьюрити и аудит процессы, мультиакканутность и так далее.
Доклады имеют пересечение с процессами автоматизации и тестовыми инфраструтурами.
🏳️ Phil
Я разрешил
Andrii
forking поставить. вроде так
я использую type=forking
[Unit]
Description=Resque Service
[Service]
Type=forking
PIDFile=/home/deploy/shared/tmp/pids/resque_work_1.pid
User=deploy
WorkingDirectory=/home/deploy/current
Environment="RAILS_ENV=stage"
ExecStart=/home/deploy/.rbenv/shims/bundle exec rake COUNT=5 QUEUE=sms PIDFILE=tmp/pids/resque_work_1.pid BACKGROUND=yes INTERVAL=5 resque:workers
[Install]
WantedBy=multi-user.target
в итоге я получаю
systemctl status resque.service
● resque.service - Resque Service
Loaded: loaded (/etc/systemd/system/resque.service; disabled; vendor preset: enabled)
Active: active (running) since Tue 2019-12-24 12:49:24 UTC; 3min 16s ago
Process: 1713 ExecStart=/home/deploy/.rbenv/shims/bundle exec rake COUNT=5 QUEUE=metro PIDFILE=tmp/pids/resque_work_1.pid BACKGROUND=yes INTERVAL=5 resque:workers (code=exited, status=0/SUCCESS)
Main PID: 1965 (ruby)
Tasks: 31 (limit: 4704)
CGroup: /system.slice/resque.service
├─1881 resque-1.27.4: Waiting for metro
├─1892 resque-1.27.4: Waiting for metro
├─1905 resque-1.27.4: Waiting for metro
├─1937 resque-1.27.4: Waiting for metro
└─1965 resque-1.27.4: Waiting for metro
но pid файл 1, а процессов 5
Andrii
можно конечно отдельно создать каждый процесс resque service и потом через target запускать
[Unit]
Wants=resque1.service resque2.service resque3.service
но проблема с pid файлами все равно сохраняется, через capistrano оно в разнобой берет очереди и запускает, а через systemd будет прописан pid и будут не состыковки при передеплое
George
George
ты что хочешь получить, а еще я не понимаю как капистрана работает
George
> но pid файл 1, а процессов 5
тебе пид для чего нужен? Чтобы системди мониторил сервис? Или чтобы они коммуницировали друг с другом?
George
у меня строгое ощущение, что ты не понимаешь как системди работает - честно, это не проблема. Посидеть и разобраться. Тем более с хорошими коллегами )
George
лет 10 назад я тоже.... офигел бы
Andrii
George
🤦♂️ а для чего - я объяснил
Жук
используй сокет, люк
George
если очень хочется - можно даже шаблонизированные системди юниты писать
George
https://fedoramagazine.org/systemd-template-unit-files/
George
типо так. Оно может тебе помочь из одного шаблона хоть 5, хоть 10, хоть 20 рескью запускать. Но все равно не понимаю как тебе это поможет
Alexander
George
Ivan
приветствую коллеги.
кто нибудь настраивал триггеры в гитлабе?
https://gitlab.mtsai.tk/help/ci/multi_project_pipelines.md#mirroring-status-from-triggered-pipeline
Ivan
у меня джоба падает в пендинг и дальше тишина. не могу понять чего нехватает
Ivan
до этого дёргал пайплайн через апи
https://gitlab.mtsai.tk/help/ci/triggers/README.md#ci-job-token
работало прекрасно
Ivan
гитлаб 12.5.0-ee
Ivan
Plan: Premium
Alexander
Dmitrii
Вадим
Может, еще подходящих раннеров нет
Ivan
Посмотри на concurrent в настройках раннера
Вадим
Может, еще подходящих раннеров нет
смотри, вот такая проблема периодически случается
при этом гитлаб не дает знать, почему чтото фейлится (или я не знаю, как искать)
в .gitlab-ci.yml может быть указано, что сначала должна выполниться зависимость из dependencies, или должен стоять какойнибудь tag: java на раннере и т.п., и это не даст джобе отправиться на раннер
Yevhenii
Sorry
Dimitri
Народ есть вопрос может ктото сталкивался с ситуацией когда в docker-контейнер при запуске нужно притащить файл с aws S3 bucket
Vovan
George
George
Если авторизация - тащишь aws cli клиент и качаешь
Dimitri
да но что делать с ажторизацией
Dimitri
авторизацией
M
Хардкодь гыгы
Navern
Alexander
Dimitri
д но если я правил'но понимаю Докер контейнер это независимая машина это значит что для неё нужно передавать кредантиалс индивидуально !
Navern
Dimitri
инстанс профайл той мавины на которой он бежит ?
Dimitri
сорри машины
Dimitri
на которой бежит Докер !
Navern
Dimitri
ок а если елси ето eks
George
George
мы в пайплайне тупо скачиваем файлы и запекаем в докер образ
George
таким образом в докер образе не остается никаких креденшиалз от амазона
George
если пояснишь задачу более подробно, то можно будет придумать решение
Dimitri
отлично есть Джоб который создаёт докер имедж И есть второй джоб который его запускает и передаёт те параметры с которыми я должен скачать с s3 и запустить в eks! поетому это нужно сделать в самом докер имедже
George
TL;DR
Dimitri
а по русски !
George
George
И ее тогда не нужно "запекать" в образ ?
Navern
Navern
Думаю там тожн можно чтото намутить
Navern
Судя по всему у тебя там есть ноды, так что чтото подобнон инстанс профайлу можно намутить
amdmax
а есть кто юзает okd + Istio ?
хотим такое у себя начать пользовать(задумались о внедрении)
George
@kubernetes_ru