мы заворачиваем обученные данные прямо в докер, это весьма удобно, отказоустойчиво и быстро

И в итоге образы весят по 1-2 Гб ?

даже порой больше

там на самом деле более важный вопрос - как часто вы будете перекатываться

Понял. И чтобы сервисы из докера видели файлы скачанные из внешних источников, надо, к примеру, использовать VOLUME в Dockerfile?

volume при запуске контейнера

там на самом деле более важный вопрос - как часто вы будете перекатываться

Ну, понятно, там от нейронок зависит Не совсем понимаю что это означает, но... Насколько понимаю я (если имеется в виду обновления/изменения), не очень часто )

именно обновления

volume при запуске контейнера

Понял, спасибо )

потому что это все придеться перезакачивать каждый раз

потому что это все придеться перезакачивать каждый раз

если подключается как volume, то нет Вон тот же hdfs можно по NFS монтировать

Хм... Ну.. Тогда все же я думаю будет удобнее мне скачивать из вне для начала, а уже когда все будет готово, то можно в докер внутрь запихать, чтоб клиент не мучался

данные можно динамически изменять без перезапуска контейнера и пересборки образа

если подключается как volume, то нет Вон тот же hdfs можно по NFS монтировать

монтировать по nfs это фейспальм

давно не получали локи на сисколлах?

данные можно динамически изменять без перезапуска контейнера и пересборки образа

я с нейронками не сталкивался, но догадываюсь что там как и у нас нет понятия «изменить», а есть понятие «пересчитать заного»

так что все равно придеться решать кейс доставки их до хранилища

монтировать по nfs это фейспальм

вполне себе нормальная практика, смотря для чего конечно локи скорей всего из-за неправильной архитектуры приложения, если много процессов работает с 1 файлом, например

вполне себе нормальная практика, смотря для чего конечно локи скорей всего из-за неправильной архитектуры приложения, если много процессов работает с 1 файлом, например

а вот и не угодали

вот сеть моргнет, и у вас висящий сисколл с неприбивающимся процессом по девятке

я работаю с AWS EFS, это сетевая FS от амазона, проблем с ней почти нет, последний раз было что-то с локами около полугода назад

вот сеть моргнет, и у вас висящий сисколл с неприбивающимся процессом по девятке

так таймауты выставляются, плюс последняя версия NFS 4 сильно лучше старых

я работаю с AWS EFS, это сетевая FS от амазона, проблем с ней почти нет, последний раз было что-то с локами около полугода назад

это если вы можете гарантировать стабильность(а стабильность это чаще исключение из правил), и если модуль в ядре для этого драйвера fs может отдать на лаг io error

я не говорю, что nfs - это серебряная пуля, это один из широко используемых стандартов в индустрии есть еще всякие iscsi nas и т.п.

Ну... Хорошо. В общем, у меня есть обученная нейронка, есть к нему веса (Если грубо, то это большая матрица из чиселок, весит почти 600 Мб). Надо все это завернуть в докер и поднять его в облаке. Вопрос в том, надо ли веса запихивать в образ докера или нет?

у тебя вариантов два 1. хранить веса в сторедже типа S3. Внутри твоего контейнера несколько ручек, которые позволяют обновлять веса, и подгружать определенную версию 2. хранить веса в докер образе. При появлении новой модели выпускать новый образ с новой версией. Его и деплоить

как бы зависит от постановки задачи. Как часто тебе нужно катить новую версию модели, нужен ли откат, умеет ли контейнер переобучаться или только использует предрасчитанные веса

Понял. И чтобы сервисы из докера видели файлы скачанные из внешних источников, надо, к примеру, использовать VOLUME в Dockerfile?

VOLUME внутри докерфайл это до некоторой степени фикция. Во-первых, это аннотация для пользователя докер образа. Во-вторых, эта директива создает БЕЗЫМЯННЫЙ volume. От которого толку пока ты что-то явно не напишешь - НОЛЬ

Новые версии не слишком часто, откаты пока не важны, использует только предрасчитанные веса

Новые версии не слишком часто, откаты пока не важны, использует только предрасчитанные веса

образ в текущий момент времени будет один запущен?

в смысле - одной версии?

Да

тогда вообще забей и вшивай веса внутрь образа

Понял, спасибо всем большое! ) И еще, есть у кого может ссылка рядом с примером из практики как все это сделать от и до для нейронных сетей? Я просто гуглю и там два варианта: либо это использование уже сгенеренных образов, либо создание что-то вроде почтового сервиса с подключением БД

ээээ. не понимаю

я вообще все модели собирал из базового alpine. Путем доустановки всего необходимого ПО

Ну... Скажу так, читать про докер я начал часа 3 назад ) В теории что да как я вроде понял, на практике, не очень понимаю как это устроено

кратко - докер - это типа git, но для бинарных файлов

образ = набор слоев файловых систем.

То есть получается sudo docker run ... *** поместит все файлы из папки *** в образ, а при запуске образа выполнятся все инструкции из Dockerfile?

почти

на основе докерфайла "копмилится" имейдж

Страшные вещи, как docker composer пока не считаю )

Понял, спасибо

То есть получается sudo docker run ... *** поместит все файлы из папки *** в образ, а при запуске образа выполнятся все инструкции из Dockerfile?

docker build собирает образ

а docker run уже запускает этот имейдж

docker run запускает его в рантайм

Ой, да, перепутал

причем ты можешь выбрать какую программу запустить из образа путем переопределения entrypoint ИЛИ cmd, ИЛИ обоих параметров

Ага, видел про CMD, спасибо

там много нюансов )

entrypoint не переопределяется же

при запуске

кратко: - может взорваться где угодно - entrypoint обычно для постоянной части (например, полный путь к бинарю) - cmd - преимущественно для переменной части (например, аргументы и ключи)

entrypoint не переопределяется же

ты не прав. Есть отдельный ключ коммандной строки docker run

"Note: you can override the ENTRYPOINT setting using --entrypoint, but this can only set the binary to exec (no sh -c will be used)." не стоит так делать

"Note: you can override the ENTRYPOINT setting using --entrypoint, but this can only set the binary to exec (no sh -c will be used)." не стоит так делать

к сожалению, ИНОГДА приходится

например, при глубокой отладке docker образов

какае-то не правильная отладка у вас

и как после такой отладки убиваете контейнер ?

киллом ?

киллом ?

docker run -it --rm --entrypoint /bin/bash nginx

например, удобно чтобы доустановить пакеты ) и проверить сразу работоспособность

https://github.com/pyouroboros/ouroboros

Юзал кто?

Кто использовал dnsmasq, посмотрите, изнутри контейнера разве не должен грепаться DNS-сервер локальный?

https://pastebin.com/DkcETPJ4

Три новых юзера, на ботов прям смахивают))

Три новых юзера, на ботов прям смахивают))

когда насосдавал контейнеров без указания имени

)

когда насосдавал контейнеров без указания имени

?

Привет! Подскажите пожалуйста, как я могу обновить только последний слой образа? Проблема в том, что мне нужно обновить requirements.txt, но проект целиком билдить нельзя (это займет очень много времени). Может быть как-то можно установить pip3 пакет, чтобы они сохранились после перезапуска образа? Спасибо

Привет! Подскажите пожалуйста, как я могу обновить только последний слой образа? Проблема в том, что мне нужно обновить requirements.txt, но проект целиком билдить нельзя (это займет очень много времени). Может быть как-то можно установить pip3 пакет, чтобы они сохранились после перезапуска образа? Спасибо

Dockerfile покажи)

FROM ubuntu:18.04 ENV LANG C.UTF-8 ENV PYTHONUNBUFFERED 1 ENV C_FORCE_ROOT true # Install dependencies RUN apt-get update \ && apt-get install -y git \ && apt-get install -y python3-dev python3-pip \ && apt-get install -y binutils libproj-dev gdal-bin \ && cd /usr/local/bin \ && ln -s /usr/bin/python3 python \ && pip3 install --upgrade pip RUN git clone https://git.skewed.de/count0/graph-tool.git # graph-tool compile dependencies RUN apt-get update \ && apt-get install -y gcc libboost-all-dev \ && apt-get install -y autotools-dev automake pkg-config \ && apt-get install -y libcgal-dev libcairo2-dev cairomm-1.0 \ && apt-get install -y python3-cairo-dev libsparsehash-dev RUN pip install numpy scipy # graph-tool compile RUN cd graph-tool && ./autogen.sh && ./configure && make && make install # Project specific setups RUN mkdir /code WORKDIR /code ADD . /code RUN pip3 install -r requirements.txt

кошерный докерфайл. при изменении файлов в рабочей папке изменятся только два последних слоя.

вопрос решён?

Ну если раньше докер собирался и остался кэш - то можно и заново запустить )

кошерный докерфайл. при изменении файлов в рабочей папке изменятся только два последних слоя.

то есть мне нужно билдить?

Ну если раньше докер собирался и остался кэш - то можно и заново запустить )

он начинает тащить убунту и я боюсь

это говно компилируется 2 дня

он начинает тащить убунту и я боюсь

Арча не боишься? ) > tiagopeixoto/graph-tool Arch GNU/Linux container with graph-tool installed

Арча не боишься? ) > tiagopeixoto/graph-tool Arch GNU/Linux container with graph-tool installed

да я и так на арче, только крутиться то это будет на убунте

это говно компилируется 2 дня

какой командой запускаешь сборку? у тебя кэш должен сохраняться с предыдущих раз.

и не уверен, что нужный софт есть на в этом пакете (последня функция появилась только в гите совсем недавно, а без нее кладбище гроб)

какой командой запускаешь сборку? у тебя кэш должен сохраняться с предыдущих раз.

вероятно я чистил кэш через docker system prune запускаю через sudo docker-compose build

Я что-то запутался, разве прун чистит сборочный кэш? ?

Мне всегда казалось, что надо флаг при сборке указать...

$ docker system prune WARNING! This will remove: - all stopped containers - all networks not used by at least one container - all dangling images - all dangling build cache

Я что-то запутался, разве прун чистит сборочный кэш? ?

да

Ооо, видать где-то в последней добавили