Dmitry
Интересно. Типо прокинули сокет докера. Решили задачу. А потом пришли безопасники, и решаем задачу заново
Igor
Igor
Зато в чате апрувнут подход)
Егор
Егор
Igor
Так у гитлабы есть services же, если им пользуешься
Igor
Он сам поднимет че надо и в одну сеть запихает
Igor
https://docs.gitlab.com/ee/ci/docker/using_docker_images.html#what-is-a-service
Igor
Или железно нужен композ?
Igor
Просто это звучит как задача обычной CI'ки, а не локальностей (там уже композ ок)
Егор
Или железно нужен композ?
Нет. Не обязательно. Но как мне всё окружение поднять локально тогда. Если решение предложите — не вопрос. При этом не хочется в двух местах правки потом вносить. Т.е. хочется, чтобы в CI и локально всё запускалось одинаково и тестилось одинаково
Igor
Я, к примеру, на CI через services, а локально держу minikube с нужными уже сервисами
Igor
Не то чтоб эти сервисы часто меняются)
Егор
Igor
Дык указываешь в конфигах че поднимать, в них и версии указываешь тегами)
Igor
Если этот сервис поднимается хелмом, то там еще проще - просто values подменять или upgrade
Igor
С чего им быть разными?
Егор
Потому что есть человеческий фактор
Igor
Ну вот поэтому лучше оставить это для CI и сидеть себе пушить в тестовую ветку)
Igor
А алертики по фейлам спокойно себе в слаку придут
Егор
Егор
Ладно. Я вашу позицию понял. Она другая.
Igor
Позиция в том, что можно ошибиться с тегом сервисов локально?)
Igor
Можно хоть декларативно это держать у себя, не принципиально
Igor
Человеческий фактор тут легко обходится
Igor
https://medium.com/@umutuluer/how-to-test-gitlab-ci-locally-f9e6cef4f054
Igor
Ну, можешь локально раннер запустить и юзать тот же конфиг
Егор
Привет. Подскажите, как вы решаете вопрос с интеграционниками сервисов/воркеров, в которых используются тяжёлые ml-модели? Такие репки клонятся очень по долгу. Например, сейчас измерили и офигели. 6 минут. Это жесть. А каждый раз так ждать офигеешь.
Евгений
Евгений
Вы хотите object storage
Евгений
Из гита дольше, если вы не пуллите с —depth 1
Igor
С гитом чем больше история, тем дольше будет пулл
Igor
LFS как обходняк
Евгений
Да, в прочем, если пуллите через ssh, то даже с depth будет грустно
Егор
Т.е. выхода нет, верно понимаю?
Dmitry
ещё есть вариант с кешем и git --reference
но это чаще для монореп юзается. для ml... ну, не знаю...
Егор
Егор
docker-executor в gitlab
Dmitry
ну, так или иначе вам надо доставить данные в раннер.
их надо или откуда-то скачать, или заюзать локальный кэш. а как доставить кэш в раннер - уже вам решать. я с гитлабом не работал, не нравится он мне...
Andrii
всем привет, попросили скачать репорты из амазоновского бакета и дали такие доступы
AWS Access Key: ***
Home Folder: ***
Bucket Name: ***
Bucket Secret: ***
Region: вроде бы eu-west-1
я поставил awscli, сделал aws configure
[default]
region = eu-west-1
[default]
aws_secret_access_key = Bucket Secret
aws_access_key_id = AWS Access Key
пробую посмотреть
aws s3 ls s3://Bucket Name/Home Folder
An error occurred (AccessDenied) when calling the ListObjectsV2 operation: Access Denied
aws s3 ls s3://Bucket Name
An error occurred (AccessDenied) when calling the ListObjectsV2 operation: Access Denied
мне не хватает aws_secret_access_key или я что-то не так делаю?
Евгений
Это у вас коллеги попросили?
Andrii
Евгений
Тогда ответ на вопрос "я что-то не так делаю" — спрашиваете анонимусов в интернете, а тех, кто дал задание
Евгений
Скорее всего awscli поругался бф на некорректный формат токена, если бы вы что-то сделали не так. Но это не точно
Pavel
Евгений
Но концептуально логично джуну спрашивать в своей команде, а не у непонятных людей в интернете, серьёзно. Если вас бросают и говорят "плывите сосиски", то это фигня, а не ментерство. А если вы стесняйтесь спросить, то это необходимо изживать, очень помешает в дальнейшей работе
Pavel
Вот хз, может префиксный ключ какойнить)
Pavel
Может один ключ дали от аккаунта, другой префиксный
Pavel
Тут надо у коллег узнавать
Pavel
Ну и, регион точно тот?
Pavel
Хотя в aws s3 я точно не помню, играет ли он роль.. поидее не должен
Евгений
Pavel
А, стоп, он же там лс делает конечно регион нужен
Евгений
Objects that belong to a bucket that you create in a specific AWS Region never leave that Region, unless you explicitly transfer them to another Region. For example, objects that are stored in the Europe (Ireland) Region never leave it.
Pavel
Во, посему регион нужон!
Егор
Подскажите, почему раннеры гитлаба обращаются к гитлабу как к серверу, а не наоборот. Кажется, что гитлаб — ключевое звено и именно он должен задачи раздавать.
Alexander
Адаптивный Рекомбинатор
а бридж или докер сеть не катит?
Andrii
нее, это пока на одном хосте тестируем, потом на разных хостах будут контйенеры и их надо будет объеденить
Dmitry
Евгений
Grek 🇺🇦
ребят, кто-то использует cloud-init с ubuntu 20.04?
у меня он тупо не запускается при запуске системы, отрабатывает если запустить вручную
на 16.04 работает сразу - установил, ребутнул - вижу что уже ищет датасорсы
Евгений
Grek 🇺🇦
как минимум нет лога cloud-init)
Andrii
Andrii
А зачем? Выделите каждой ноде по подсети и маршрутизируйте роутером + айптибейлзом на самих нодах.
на тесте у себя проверил и там все ок
docker run --rm --name hhh -it busybox sh
docker run --rm --name elk -it busybox sh
traceroute hhh
traceroute to hhh (10.32.0.2), 30 hops max, 46 byte packets
1 hhh.weave.local (10.32.0.2) 0.009 ms 0.007 ms 0.007 ms
traceroute elk
traceroute to elk (10.32.0.1), 30 hops max, 46 byte packets
1 elk.weave.local (10.32.0.1) 0.016 ms 0.009 ms 0.007 ms
и пинги
ping elk
PING elk (10.32.0.1): 56 data bytes
64 bytes from 10.32.0.1: seq=0 ttl=64 time=0.045 ms
64 bytes from 10.32.0.1: seq=1 ttl=64 time=0.072 ms
^C
--- elk ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.045/0.058/0.072 ms
ping hhh
PING hhh (10.32.0.2): 56 data bytes
64 bytes from 10.32.0.2: seq=0 ttl=64 time=0.107 ms
64 bytes from 10.32.0.2: seq=1 ttl=64 time=0.062 ms
64 bytes from 10.32.0.2: seq=2 ttl=64 time=0.066 ms
64 bytes from 10.32.0.2: seq=3 ttl=64 time=0.060 ms
^C
--- hhh ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.060/0.073/0.107 ms
Dmitry
Andrii
Dmitry
Евгений