Dmitry
Интересно. Типо прокинули сокет докера. Решили задачу. А потом пришли безопасники, и решаем задачу заново
Igor
Интересно. Типо прокинули сокет докера. Решили задачу. А потом пришли безопасники, и решаем задачу заново
Ну, можешь предложить человеку поднимать виртуалку на каждый такой чих, почему нет)
Igor
Зато в чате апрувнут подход)
Егор
Егор
Так? https://gallardo994.xyz/screenshots/Code_2021-02-01_17-38-29-799794e6-7b03-43ec-9f6b-6823ab305be6.png
Сервисы описаны в композе. Там и поднимаются
Igor
Так у гитлабы есть services же, если им пользуешься
Igor
Он сам поднимет че надо и в одну сеть запихает
Igor
https://docs.gitlab.com/ee/ci/docker/using_docker_images.html#what-is-a-service
Егор
Так у гитлабы есть services же, если им пользуешься
А как я локально буду тестировать? У меня же локально гитлаба нет. Поэтому я использую композ.
Igor
Или железно нужен композ?
Igor
Просто это звучит как задача обычной CI'ки, а не локальностей (там уже композ ок)
Егор
Или железно нужен композ?
Нет. Не обязательно. Но как мне всё окружение поднять локально тогда. Если решение предложите — не вопрос. При этом не хочется в двух местах правки потом вносить. Т.е. хочется, чтобы в CI и локально всё запускалось одинаково и тестилось одинаково
Igor
Я, к примеру, на CI через services, а локально держу minikube с нужными уже сервисами
Igor
Не то чтоб эти сервисы часто меняются)
Igor
Дык указываешь в конфигах че поднимать, в них и версии указываешь тегами)
Igor
Если этот сервис поднимается хелмом, то там еще проще - просто values подменять или upgrade
Егор
Дык указываешь в конфигах че поднимать, в них и версии указываешь тегами)
И у тебя получается в CI — одни версии, а вминикубе — другие. И начинается котовасия
Igor
С чего им быть разными?
Егор
Потому что есть человеческий фактор
Igor
Ну вот поэтому лучше оставить это для CI и сидеть себе пушить в тестовую ветку)
Igor
А алертики по фейлам спокойно себе в слаку придут
Егор
Ну вот поэтому лучше оставить это для CI и сидеть себе пушить в тестовую ветку)
Так я хочу локально у себя тесты запускать, а не в гитлабе.
Егор
Ладно. Я вашу позицию понял. Она другая.
Igor
Позиция в том, что можно ошибиться с тегом сервисов локально?)
Igor
Можно хоть декларативно это держать у себя, не принципиально
Igor
Человеческий фактор тут легко обходится
Егор
Позиция в том, что можно ошибиться с тегом сервисов локально?)
Позиция в том, что я не хочу в двух местах хранить версии, чтобы был рассинхрон того, что происходит в гитлабе и локально.
Igor
https://medium.com/@umutuluer/how-to-test-gitlab-ci-locally-f9e6cef4f054
Igor
Ну, можешь локально раннер запустить и юзать тот же конфиг
Егор
Привет. Подскажите, как вы решаете вопрос с интеграционниками сервисов/воркеров, в которых используются тяжёлые ml-модели? Такие репки клонятся очень по долгу. Например, сейчас измерили и офигели. 6 минут. Это жесть. А каждый раз так ждать офигеешь.
Евгений
Вы хотите object storage
Егор
А зачем в репозитории хранить МОДЕЛЬ?
А что поменяется, если будет object storage? Всё равно же это всё тянуться будет, не?
Евгений
Из гита дольше, если вы не пуллите с —depth 1
Igor
С гитом чем больше история, тем дольше будет пулл
Igor
LFS как обходняк
Евгений
Да, в прочем, если пуллите через ssh, то даже с depth будет грустно
Егор
Т.е. выхода нет, верно понимаю?
Dmitry
ещё есть вариант с кешем и git --reference но это чаще для монореп юзается. для ml... ну, не знаю...
Егор
docker-executor в gitlab
Dmitry
ну, так или иначе вам надо доставить данные в раннер. их надо или откуда-то скачать, или заюзать локальный кэш. а как доставить кэш в раннер - уже вам решать. я с гитлабом не работал, не нравится он мне...
Andrii
всем привет, попросили скачать репорты из амазоновского бакета и дали такие доступы AWS Access Key: *** Home Folder: *** Bucket Name: *** Bucket Secret: *** Region: вроде бы eu-west-1 я поставил awscli, сделал aws configure [default] region = eu-west-1 [default] aws_secret_access_key = Bucket Secret aws_access_key_id = AWS Access Key пробую посмотреть aws s3 ls s3://Bucket Name/Home Folder An error occurred (AccessDenied) when calling the ListObjectsV2 operation: Access Denied aws s3 ls s3://Bucket Name An error occurred (AccessDenied) when calling the ListObjectsV2 operation: Access Denied мне не хватает aws_secret_access_key или я что-то не так делаю?
Евгений
Это у вас коллеги попросили?
Andrii
Это у вас коллеги попросили?
да, попросили помочь)
Евгений
Тогда ответ на вопрос "я что-то не так делаю" — спрашиваете анонимусов в интернете, а тех, кто дал задание
Andrii
Тогда ответ на вопрос "я что-то не так делаю" — спрашиваете анонимусов в интернете, а тех, кто дал задание
говорят этих данных должно хватать и с правами все ок, вот я и засомневался, надо запрашивать aws_secret_access_key или я не так сделал?
Евгений
Скорее всего awscli поругался бф на некорректный формат токена, если бы вы что-то сделали не так. Но это не точно
Евгений
Но концептуально логично джуну спрашивать в своей команде, а не у непонятных людей в интернете, серьёзно. Если вас бросают и говорят "плывите сосиски", то это фигня, а не ментерство. А если вы стесняйтесь спросить, то это необходимо изживать, очень помешает в дальнейшей работе
Евгений
Сикрет кей нужен
А бакет сикрет это што?
Pavel
Вот хз, может префиксный ключ какойнить)
Pavel
Может один ключ дали от аккаунта, другой префиксный
Pavel
Тут надо у коллег узнавать
Pavel
Ну и, регион точно тот?
Pavel
Хотя в aws s3 я точно не помню, играет ли он роль.. поидее не должен
Евгений
Pavel
Зона не играет, а регион играет, разве нет?
Я точно не помню, имел ввиду я конечно же регион
Pavel
А, стоп, он же там лс делает конечно регион нужен
Евгений
Objects that belong to a bucket that you create in a specific AWS Region never leave that Region, unless you explicitly transfer them to another Region. For example, objects that are stored in the Europe (Ireland) Region never leave it.
Pavel
Во, посему регион нужон!
Егор
Подскажите, почему раннеры гитлаба обращаются к гитлабу как к серверу, а не наоборот. Кажется, что гитлаб — ключевое звено и именно он должен задачи раздавать.
Евгений
Подскажите, почему раннеры гитлаба обращаются к гитлабу как к серверу, а не наоборот. Кажется, что гитлаб — ключевое звено и именно он должен задачи раздавать.
Потому что так проще "искать" раннеры, серверу не нужно знать их список, который может быть большой и часто менятся, достаточно знать только адрес сервера
Andrii
всем привет, хочу объеденить докер контейнеры в сеть, нашел утилиту weave, вроде бы ничего сложного, установил ее запускаю weave launch && eval $(weave env) и пробую запустить два тестовых контейнера sudo docker run --rm --name 222 -it busybox sh sudo docker run --rm --name 111 -it busybox sh пробую ping 222 c контейнера 111 и откуда-то берется не понятный айпи ping 222 PING 222 (62.75.*.*): 56 data bytes 64 bytes from 62.75.*.*: seq=0 ttl=61 time=0.348 ms 64 bytes from 62.75.*.* seq=1 ttl=61 time=0.309 ms ^C --- 222 ping statistics --- 2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 0.309/0.328/0.348 ms и даже пингуется любое слово ping dfsdfasfasfasf PING dfsdfasfasfasf (62.75.*.*): 56 data bytes 64 bytes from 62.75.*.*: seq=0 ttl=61 time=0.322 ms 64 bytes from 62.75.*.*: seq=1 ttl=61 time=0.310 ms 64 bytes from 62.75.*.*: seq=2 ttl=61 time=0.327 ms ^C --- dfsdfasfasfasf ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.310/0.319/0.327 ms откуда он может браться? как исправить что бы пинги ходили через хостовую машину?
Адаптивный Рекомбинатор
а бридж или докер сеть не катит?
Andrii
нее, это пока на одном хосте тестируем, потом на разных хостах будут контйенеры и их надо будет объеденить
Евгений
всем привет, хочу объеденить докер контейнеры в сеть, нашел утилиту weave, вроде бы ничего сложного, установил ее запускаю weave launch && eval $(weave env) и пробую запустить два тестовых контейнера sudo docker run --rm --name 222 -it busybox sh sudo docker run --rm --name 111 -it busybox sh пробую ping 222 c контейнера 111 и откуда-то берется не понятный айпи ping 222 PING 222 (62.75.*.*): 56 data bytes 64 bytes from 62.75.*.*: seq=0 ttl=61 time=0.348 ms 64 bytes from 62.75.*.* seq=1 ttl=61 time=0.309 ms ^C --- 222 ping statistics --- 2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 0.309/0.328/0.348 ms и даже пингуется любое слово ping dfsdfasfasfasf PING dfsdfasfasfasf (62.75.*.*): 56 data bytes 64 bytes from 62.75.*.*: seq=0 ttl=61 time=0.322 ms 64 bytes from 62.75.*.*: seq=1 ttl=61 time=0.310 ms 64 bytes from 62.75.*.*: seq=2 ttl=61 time=0.327 ms ^C --- dfsdfasfasfasf ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.310/0.319/0.327 ms откуда он может браться? как исправить что бы пинги ходили через хостовую машину?
А зачем? Выделите каждой ноде по подсети и маршрутизируйте роутером + айптибейлзом на самих нодах.
Grek 🇺🇦
ребят, кто-то использует cloud-init с ubuntu 20.04? у меня он тупо не запускается при запуске системы, отрабатывает если запустить вручную на 16.04 работает сразу - установил, ребутнул - вижу что уже ищет датасорсы
Grek 🇺🇦
как минимум нет лога cloud-init)
Andrii
так может сразу взять оркестратор? k8s, nomad, docker swarm?
пока отказались, хотят все через ansible делать
Andrii
А зачем? Выделите каждой ноде по подсети и маршрутизируйте роутером + айптибейлзом на самих нодах.
на тесте у себя проверил и там все ок docker run --rm --name hhh -it busybox sh docker run --rm --name elk -it busybox sh traceroute hhh traceroute to hhh (10.32.0.2), 30 hops max, 46 byte packets 1 hhh.weave.local (10.32.0.2) 0.009 ms 0.007 ms 0.007 ms traceroute elk traceroute to elk (10.32.0.1), 30 hops max, 46 byte packets 1 elk.weave.local (10.32.0.1) 0.016 ms 0.009 ms 0.007 ms и пинги ping elk PING elk (10.32.0.1): 56 data bytes 64 bytes from 10.32.0.1: seq=0 ttl=64 time=0.045 ms 64 bytes from 10.32.0.1: seq=1 ttl=64 time=0.072 ms ^C --- elk ping statistics --- 2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 0.045/0.058/0.072 ms ping hhh PING hhh (10.32.0.2): 56 data bytes 64 bytes from 10.32.0.2: seq=0 ttl=64 time=0.107 ms 64 bytes from 10.32.0.2: seq=1 ttl=64 time=0.062 ms 64 bytes from 10.32.0.2: seq=2 ttl=64 time=0.066 ms 64 bytes from 10.32.0.2: seq=3 ttl=64 time=0.060 ms ^C --- hhh ping statistics --- 4 packets transmitted, 4 packets received, 0% packet loss round-trip min/avg/max = 0.060/0.073/0.107 ms
Dmitry
пока отказались, хотят все через ansible делать
ну будете пилить свой оркестратор только на ansible =) /Спойлер: выйдет плохо/
Andrii
ну будете пилить свой оркестратор только на ansible =) /Спойлер: выйдет плохо/
согласен, но пока никак не получается их переубедить
Dmitry
нее, это пока на одном хосте тестируем, потом на разных хостах будут контйенеры и их надо будет объеденить
можете выделить по подсети каждой ноде, и маршруты настройть. Тем же ansible'ом