Alexander
юниты подходят для любых джобов
Не для любых, а для типовых. Запуск любой программы оборачивать в service довольно странно. Как и иметь лишние прослойки, вроде, запуска деплоилки внутри service. Если хочешь запускать сервис типовым образом: опиши запуск в юните и дергай юнит из деплоилки.
George
типа одноразовые
George
например еще несомненный плюс юнита (любого) - помимо того, что screen-tmux не нужны, если он долго работает - ты гарантированно (почти) получишь его логи в journald
George
но, конечно, ЗАПУСК всего в них странно засовывать. Ну, например, служебные команды ad-hoc типа fdisk/ps aux и прочее - странно совать в юниты, да, согласен
George
и, да, юнит может дергать юнит (внезапно)
Alexander
есть transient юниты
transient service юниты не одноразовые, а динамически создаваемые. Они все равно для типовых вещей, а не для задач, запускаемых единожды.
Alexander
Про какой-нибудь scope-юнит еще можно согласиться, если нужна управляемость со стороны systemd.
George
как обновление системы
Alexander
деплой задача повторяемая, так-то
Деплой одного и того же кода? :)
George
Деплой одного и того же кода? :)
разных версий одного кода
Alexander
разных версий одного кода
Ну тогда пусть логика про версии будет в деплоилке, а в service-е будет только то, что не зависит от версии и не вызывает внутри себя деплоилку.
Alexander
Я же не против того, чтобы resque запускался systemd-ой :)
George
от задачи зависит, но скорее соглашусь
Alexander
Там же написано, storage-class не из поддержимаемых (перечисленных в списке).
Alexander
> aws: error: argument --storage-class: Invalid choice, valid choices are: > > STANDARD | REDUCED_REDUNDANCY > STANDARD_IA | ONEZONE_IA > INTELLIGENT_TIERING | GLACIER
Andrii
Хотя, то, что ты делаешь — это отвратительное извращение, но Type=oneshot в секции [Service] должно помочь тебе. Но я бы посоветовал не запускать из юнитов сервисы через капистрану (спасибо, что хотя бы на локалхосте, но это все равно странно).
подскажите, как тогда лучше сделать старт/стоп процессов resque, если resque сейчас запускается вот так desc "Start Resque workers" task :start do for_each_workers do |role, workers| on roles(role) do create_pid_path worker_id = 1 workers.each_pair do |queue, number_of_workers| info "Starting #{number_of_workers} worker(s) with QUEUE: #{queue}" number_of_workers.times do pid = "#{fetch(:resque_pid_path)}/resque_work_#{worker_id}.pid" within current_path do execute :nohup, %{#{SSHKit.config.command_map[:rake]} RACK_ENV=#{rails_env} RAILS_ENV=#{rails_env} #{fetch(:resque_extra_env)} QUEUE="#{queue}" PIDFILE=#{pid} BACKGROUND=yes #{"VERBOSE=1 " if fetch(:resque_verbose)}INTERVAL=#{fetch(:interval)} #{"environment " if fetch(:resque_environment_task)}resque:work #{output_redirection}} end worker_id += 1 end end end end end т.е. pid файлы создаются при старте/рестарте через capistrano resque_work_1.pid resque_work_2.pid resque_work_3.pid и т.д., а если я буду запускать руками команду в systemd bundle exec rake COUNT=5 QUEUE=sms PIDFILE=tmp/pids/resque.pid BACKGROUND=yes INTERVAL=5 resque:workers то у меня запускается 5 процессов resque c одним pid файлом в tmp/pids/resque.pid и у меня получается разнобой с pid файлами
George
forking поставить. вроде так
Dmitriy
Ребята, хочу подсветить тут конфу одну в минске
Dmitriy
https://delex-conf.com DevOps and TestAutomation Conference. 14-15.02.2020 - Минск, Беларусь конференция об DevOps практиках, автоматизациии тестирования, ТестОпс. 1.5 дня конференци с happy-hour и 32 докладчиками, в первую очередь направленные на senior аудиторию, без менеджерских и junior докладов. SIEM, AWS миграции, секьюрити и аудит процессы, мультиакканутность и так далее. Доклады имеют пересечение с процессами автоматизации и тестовыми инфраструтурами.
🏳️ Phil
Я разрешил
Andrii
forking поставить. вроде так
я использую type=forking [Unit] Description=Resque Service [Service] Type=forking PIDFile=/home/deploy/shared/tmp/pids/resque_work_1.pid User=deploy WorkingDirectory=/home/deploy/current Environment="RAILS_ENV=stage" ExecStart=/home/deploy/.rbenv/shims/bundle exec rake COUNT=5 QUEUE=sms PIDFILE=tmp/pids/resque_work_1.pid BACKGROUND=yes INTERVAL=5 resque:workers [Install] WantedBy=multi-user.target в итоге я получаю systemctl status resque.service ● resque.service - Resque Service Loaded: loaded (/etc/systemd/system/resque.service; disabled; vendor preset: enabled) Active: active (running) since Tue 2019-12-24 12:49:24 UTC; 3min 16s ago Process: 1713 ExecStart=/home/deploy/.rbenv/shims/bundle exec rake COUNT=5 QUEUE=metro PIDFILE=tmp/pids/resque_work_1.pid BACKGROUND=yes INTERVAL=5 resque:workers (code=exited, status=0/SUCCESS) Main PID: 1965 (ruby) Tasks: 31 (limit: 4704) CGroup: /system.slice/resque.service ├─1881 resque-1.27.4: Waiting for metro ├─1892 resque-1.27.4: Waiting for metro ├─1905 resque-1.27.4: Waiting for metro ├─1937 resque-1.27.4: Waiting for metro └─1965 resque-1.27.4: Waiting for metro но pid файл 1, а процессов 5
Andrii
можно конечно отдельно создать каждый процесс resque service и потом через target запускать [Unit] Wants=resque1.service resque2.service resque3.service но проблема с pid файлами все равно сохраняется, через capistrano оно в разнобой берет очереди и запускает, а через systemd будет прописан pid и будут не состыковки при передеплое
George
ты что хочешь получить, а еще я не понимаю как капистрана работает
George
> но pid файл 1, а процессов 5 тебе пид для чего нужен? Чтобы системди мониторил сервис? Или чтобы они коммуницировали друг с другом?
George
у меня строгое ощущение, что ты не понимаешь как системди работает - честно, это не проблема. Посидеть и разобраться. Тем более с хорошими коллегами )
George
лет 10 назад я тоже.... офигел бы
George
хотелось бы их коммуницировать друг с другом
опция PIDFILE в системди юните не для этого
George
🤦‍♂️ а для чего - я объяснил
Жук
используй сокет, люк
George
если очень хочется - можно даже шаблонизированные системди юниты писать
George
https://fedoramagazine.org/systemd-template-unit-files/
George
типо так. Оно может тебе помочь из одного шаблона хоть 5, хоть 10, хоть 20 рескью запускать. Но все равно не понимаю как тебе это поможет
Alexander
подскажите, как тогда лучше сделать старт/стоп процессов resque, если resque сейчас запускается вот так desc "Start Resque workers" task :start do for_each_workers do |role, workers| on roles(role) do create_pid_path worker_id = 1 workers.each_pair do |queue, number_of_workers| info "Starting #{number_of_workers} worker(s) with QUEUE: #{queue}" number_of_workers.times do pid = "#{fetch(:resque_pid_path)}/resque_work_#{worker_id}.pid" within current_path do execute :nohup, %{#{SSHKit.config.command_map[:rake]} RACK_ENV=#{rails_env} RAILS_ENV=#{rails_env} #{fetch(:resque_extra_env)} QUEUE="#{queue}" PIDFILE=#{pid} BACKGROUND=yes #{"VERBOSE=1 " if fetch(:resque_verbose)}INTERVAL=#{fetch(:interval)} #{"environment " if fetch(:resque_environment_task)}resque:work #{output_redirection}} end worker_id += 1 end end end end end т.е. pid файлы создаются при старте/рестарте через capistrano resque_work_1.pid resque_work_2.pid resque_work_3.pid и т.д., а если я буду запускать руками команду в systemd bundle exec rake COUNT=5 QUEUE=sms PIDFILE=tmp/pids/resque.pid BACKGROUND=yes INTERVAL=5 resque:workers то у меня запускается 5 процессов resque c одним pid файлом в tmp/pids/resque.pid и у меня получается разнобой с pid файлами
Думаю, тебе нужен вот этот механизм, если хочешь иметь возможность рулить инстансами по отдельности http://0pointer.de/blog/projects/instances.html
Ivan
приветствую коллеги. кто нибудь настраивал триггеры в гитлабе? https://gitlab.mtsai.tk/help/ci/multi_project_pipelines.md#mirroring-status-from-triggered-pipeline
Ivan
у меня джоба падает в пендинг и дальше тишина. не могу понять чего нехватает
Ivan
до этого дёргал пайплайн через апи https://gitlab.mtsai.tk/help/ci/triggers/README.md#ci-job-token работало прекрасно
Ivan
гитлаб 12.5.0-ee
Ivan
Plan: Premium
Вадим
Может, еще подходящих раннеров нет
Ivan
Ранеры заняты другими джобами
вообще не заняты другие же джобы выполняются
Ivan
Посмотри на concurrent в настройках раннера
Вадим
Может, еще подходящих раннеров нет
смотри, вот такая проблема периодически случается при этом гитлаб не дает знать, почему чтото фейлится (или я не знаю, как искать) в .gitlab-ci.yml может быть указано, что сначала должна выполниться зависимость из dependencies, или должен стоять какойнибудь tag: java на раннере и т.п., и это не даст джобе отправиться на раннер
Yevhenii
Sorry
Dimitri
Народ есть вопрос может ктото сталкивался с ситуацией когда в docker-контейнер при запуске нужно притащить файл с aws S3 bucket
George
Если авторизация - тащишь aws cli клиент и качаешь
Dimitri
да но что делать с ажторизацией
Dimitri
авторизацией
M
Хардкодь гыгы
Alexander
да но что делать с ажторизацией
Переменные окружения
Dimitri
д но если я правил'но понимаю Докер контейнер это независимая машина это значит что для неё нужно передавать кредантиалс индивидуально !
Dimitri
инстанс профайл той мавины на которой он бежит ?
Dimitri
сорри машины
Dimitri
на которой бежит Докер !
Navern
инстанс профайл той мавины на которой он бежит ?
на том хосте, где запускается контейнер
Dimitri
ок а если елси ето eks
George
мы в пайплайне тупо скачиваем файлы и запекаем в докер образ
George
таким образом в докер образе не остается никаких креденшиалз от амазона
George
если пояснишь задачу более подробно, то можно будет придумать решение
Dimitri
отлично есть Джоб который создаёт докер имедж И есть второй джоб который его запускает и передаёт те параметры с которыми я должен скачать с s3 и запустить в eks! поетому это нужно сделать в самом докер имедже
George
TL;DR
Dimitri
а по русски !
George
И ее тогда не нужно "запекать" в образ ?
Navern
Думаю там тожн можно чтото намутить
Navern
Судя по всему у тебя там есть ноды, так что чтото подобнон инстанс профайлу можно намутить
amdmax
а есть кто юзает okd + Istio ? хотим такое у себя начать пользовать(задумались о внедрении)
George
@kubernetes_ru