боты не умеют работать

Хочешь присесть на бутылку за отмыв и обналы?)

эти не приседают. они делятся.

а ткните где про вольюмы прочитать. Точнее почему легально volumes: - .:/app - /app/node_modules И как это работает

а ткните где про вольюмы прочитать. Точнее почему легально volumes: - .:/app - /app/node_modules И как это работает

а что в доке докера непонятно ?

а ткните где про вольюмы прочитать. Точнее почему легально volumes: - .:/app - /app/node_modules И как это работает

Работает как линуксовый mount

а что в доке докера непонятно ?

ну мало что, понятно когда прокидываем файлы в контейнер, понятно когда делаем вольюм для данных наших. Но не понятно как работает эта строчка /app/node_modules

изначально мы маунтим целую папку, в которой и лежит нод_модулс, а потом еще как-то подмаунчиваем безымянный вольюм

что-то такое

шарятся файлы в app и папка app/node_modules

шарятся файлы в app и папка app/node_modules

так вот папка с нодой - нет, она просто где-то как вольюм

так вот папка с нодой - нет, она просто где-то как вольюм

а цель упражнения-то какая ?

ну вообще была проблема с нодой, контейнер линуксовый, а хост макось. И бинарники с папки нод_модули не работали. В итоге нужно чтобы эта папка была сбилжена с помощью докера

нашел в инете такой метод

но не понял с маунтами

Я бы предложил не мучаться с непонятными конструкциями и маунтить docker_volume:/path/on/the/container таким образом node-modules у вас будут линуксовые и сохраняться между запусками. Просто и без изысков.

Альтернатива - забить на node-modules и каждый раз собирать их заново.

покажи dockerfile/docker-compose - и пару слов - чего именно ты хочешь этим добиться.

http://jdlm.info/articles/2016/03/06/lessons-building-node-app-docker.html

The node_modules Volume Trick

The node_modules Volume Trick

Описанный trick - требует одной архитектуры/OS на стороне docker и ОС предлагаю просто замаунтить docker-volume - будет удобно и практично.

The node_modules Volume Trick

то есть написать volumes: - .:/home/app/chat - node_modules:/home/app/chat/node_modules

покажи dockerfile/docker-compose - и пару слов - чего именно ты хочешь этим добиться.

Сори, вклинюсь в беседу. Для меня тож актуально. Суть достаточно проста, надо кешировать директорию node_modules между билдами. Билд может менять эту директорию, главное не качать в нее все зависимости заново при каждом билде. Потому что их обычно ооочень много и качаются они долго. И вот тож сижу, не могу понять, как работает строка - /app/node_modules предполагаю что создает из директории /app/node_modules вольюм и за счет кеша слоев его переиспользует. Но это так, полет фантазии и предположений

Это было бы просто решить, если бы при docker build можно было маунтить вольюмы. Но пока, на сколько я знаю, этого делать нельзя.

Сори, вклинюсь в беседу. Для меня тож актуально. Суть достаточно проста, надо кешировать директорию node_modules между билдами. Билд может менять эту директорию, главное не качать в нее все зависимости заново при каждом билде. Потому что их обычно ооочень много и качаются они долго. И вот тож сижу, не могу понять, как работает строка - /app/node_modules предполагаю что создает из директории /app/node_modules вольюм и за счет кеша слоев его переиспользует. Но это так, полет фантазии и предположений

Я не могу понять зачем он это делает. Это какая-то хрень. У меня делается просто: ADD package*.js* RUN apt* &&\ npm install &&\ apt purge &&\ apt autoremove если package.json не меняется - run не выполняется. решает кучу случаев. хочется замапить node_modules - ради бога.

Я не могу понять зачем он это делает. Это какая-то хрень. У меня делается просто: ADD package*.js* RUN apt* &&\ npm install &&\ apt purge &&\ apt autoremove если package.json не меняется - run не выполняется. решает кучу случаев. хочется замапить node_modules - ради бога.

Скок у тебя сборка идет? Вот этот самый npm install там же качается куча дерьма, долго и уныло. У меня есть проекты где node_modules весит по 300-400мб =\

add применяется для разархивации вроде, зачем его использовать как copy?

Скок у тебя сборка идет? Вот этот самый npm install там же качается куча дерьма, долго и уныло. У меня есть проекты где node_modules весит по 300-400мб =\

сейчас на самом тяжелом проекте, включая 10 npm build - 10 минут а вообще - вот: https://medium.com/devschacht/praveen-durairaj-an-exhaustive-guide-to-writing-dockerfiles-for-node-js-web-apps-7b033bcc0b4f#3f9b

сейчас на самом тяжелом проекте, включая 10 npm build - 10 минут а вообще - вот: https://medium.com/devschacht/praveen-durairaj-an-exhaustive-guide-to-writing-dockerfiles-for-node-js-web-apps-7b033bcc0b4f#3f9b

10 минут? А фронты не ноют что долго?)

add применяется для разархивации вроде, зачем его использовать как copy?

да, copy правильнее использовать.

ADD test.tar.gz /add # Will untar the file into the test directory COPY test.tar.gz /copy # Will copy the file directly

10 минут? А фронты не ноют что долго?)

а package.json часто меняется ?

а package.json часто меняется ?

у меня чот да, частенько

локально у них всё быстро, а что там с CI/CD - другая история

локально у них всё быстро, а что там с CI/CD - другая история

у меня просто политика такая что все изменения идут через CI. по этому каждый коммит который нужно вылить на тест идет через долгий и унылый билд

у меня просто политика такая что все изменения идут через CI. по этому каждый коммит который нужно вылить на тест идет через долгий и унылый билд

Стоп. локально ты подобрал набор package.json ? всё работает ? залил в ci /

сейчас на самом тяжелом проекте, включая 10 npm build - 10 минут а вообще - вот: https://medium.com/devschacht/praveen-durairaj-an-exhaustive-guide-to-writing-dockerfiles-for-node-js-web-apps-7b033bcc0b4f#3f9b

в доке тож node_modules перекачиваются каждый раз

ну и какая тебе разница сколько оно выкатывается, если ты всё уже проверил.

ну и какая тебе разница сколько оно выкатывается, если ты всё уже проверил.

То что разрабы проверили у себя на тачке никого особо не волнует. Они должны выкатить это на тест. А для теста должны собрать через CI docker образ.

А на тест они не редко катят например feature бранчу. По этому собирать приходится достаточно часто

То что разрабы проверили у себя на тачке никого особо не волнует. Они должны выкатить это на тест. А для теста должны собрать через CI docker образ.

ну собирается он полчаса. тебе-то какая разница ?

ну собирается он полчаса. тебе-то какая разница ?

ну пока оно собирается, разрабы как процессор ждущий IO. Вроде занят, но ниче не делает ?

я просто не могу понять твой поинт - зачем тебе быстреею

я просто не могу понять твой поинт - зачем тебе быстреею

Чтобы быстрее катить на тест, чтобы быстрее релизить и тд и тп

чем быстрее выкатят на тест, тем быстрее найдут баги, и выкатят правки. Ну кароч, имхо очевидно.

ну хз, у своих я вот частого изменения package.json не вижу. обычно - выкатили фичу - новый p*.js* потом пара багфиксов с тем же p*.js*

тебя именно стадия build интересует ? CI/CD какой ? Не dind ?

ну хз, у своих я вот частого изменения package.json не вижу. обычно - выкатили фичу - новый p*.js* потом пара багфиксов с тем же p*.js*

А я правильно понимаю что если package.json не изменился, то docker это поймет даже после COPY package*.json ./ и не будет пересобирать этот слой?

А я правильно понимаю что если package.json не изменился, то docker это поймет даже после COPY package*.json ./ и не будет пересобирать этот слой?

да

у меня так.

тебя именно стадия build интересует ? CI/CD какой ? Не dind ?

билд именно. commit -> build -> deploy to test

да

а это варик тогда, спасибо!

билд именно. commit -> build -> deploy to test

nodejs бывают 2х типов - компилируем статику и используем multistage у нас серверное приложение и node_modules нужно сохранить.

nodejs бывают 2х типов - компилируем статику и используем multistage у нас серверное приложение и node_modules нужно сохранить.

ааа, понял вопрос. Не, у меня чисто статика с add serve, т.е. вообще никакого серверного js.

ааа, понял вопрос. Не, у меня чисто статика с add serve, т.е. вообще никакого серверного js.

тогда используй Dockerfile из статьи.

docker идеально для nodejs, go... но java проекты хавают столько оперативки это ппц.

docker идеально для nodejs, go... но java проекты хавают столько оперативки это ппц.

А какая разница в докере она жрет оперативу или на хосте?)

там в джаве кстати ключик появился чтобы она брала настройки памяти из cgroups. Хз на сколько оно рабочее, но выглядит удобно

и будет java cpu мучать и запускать garbage collector cleanup каждую наносекунду

и будет java cpu мучать и запускать garbage collector cleanup каждую наносекунду

почему?

такое приложение монолит java, 100 потоков, и жрет память...

такое приложение монолит java, 100 потоков, и жрет память...

ну так и в чем разница, в докере оно упадет или на хосте?

такое приложение монолит java, 100 потоков, и жрет память...

resident или virtual память ?

xmx - The flag Xmx specifies the maximum memory allocation pool for a Java virtual machine (JVM), while Xms specifies the initial memory allocation pool.

xmx - The flag Xmx specifies the maximum memory allocation pool for a Java virtual machine (JVM), while Xms specifies the initial memory allocation pool.

между тем, у меня всякая java жрёт virtual память, пока ей некий env параметр не подставишь. если подходит под твою проблему - параметр напишу.

найди плиз может поможет

найди плиз может поможет

повторю вопрос еще раз - какую именно память жрёт java

смотрел профайлером там гиг уходит на простые типы типа: int, int[], byte, byte[]....

скрин из top давай посмотрим. лучше с хоста

это на работе, дома нету доступа

смотрел профайлером там гиг уходит на простые типы типа: int, int[], byte, byte[]....

причем тут докер? Ей не велика разница где память жрать, в докере или на хосте

память бывает 3х типов: virtual resident shared ну это то, что в top отражается, не будем к словам придираться. ну будет понимание проблемы - хайлайть.

может лучше с утечками разобраться ? ну или рестартовать его раз в N-времени ?

так это снова не про докер ?

так это снова не про докер ?

а слово маштабировать? ?

а слово маштабировать? ?

а каких именно ресурсов вам не хватает ?

а слово маштабировать? ?

Ну опять же. Наклепай 10 процессов джавы да живи с ними ? Я не понимаю, какой у тебя вопрос. Ну течет она, она везде течь будет если приложение такое. Докер тебе только может дать возможность перезапускать приложение при превышении лимитов. Но имхо это подорожник

а каких именно ресурсов вам не хватает ?

В общем, Иван, определись - что тебе именно нужно. Масштабировать тебе скорее всего не нужно. Если нужно - ты должен понять - почему именно нужно и что именно ты должен масштабировать. Пока у тебя облако в штанах.

то, что ты тут написал https://t.me/docker_ru/82680 это хрень именно то самое облако - у тебя утечки памяти и это причина масштабироваться ? ну тогда иди в кубернетес. Но я бы сначала с утечками разобрался. Варианты решения выше описаны

вернемся к нод модулям, как докер монтирует в смонтированное?))

вернемся к нод модулям, как докер монтирует в смонтированное?))

переформулируй, плиз.

вернемся к нод модулям, как докер монтирует в смонтированное?))

а мы уже разобрались. Он не монтирует. Он кеширует слой и если у тебя package.json не изменился то node_modules не будет пересобрана

И вот Vasiliy скинул прям готовую статью по этому поводу: https://medium.com/devschacht/praveen-durairaj-an-exhaustive-guide-to-writing-dockerfiles-for-node-js-web-apps-7b033bcc0b4f

docker идеально для nodejs, go... но java проекты хавают столько оперативки это ппц.

Сколько?

volume: .:/app x.conf:/app/x.conf /app/node_modules db-data:/db/data db-data:

а мы уже разобрались. Он не монтирует. Он кеширует слой и если у тебя package.json не изменился то node_modules не будет пересобрана

не-не, там был клёвый вопрос - как подмонтировать node_modules на этапе build, чтобы скачанные и собранные модули закешировались но походу - никак.

не-не, там был клёвый вопрос - как подмонтировать node_modules на этапе build, чтобы скачанные и собранные модули закешировались но походу - никак.

ага, нельзя монтировать вольюмы на этапе билда

вопрос - можно ли volume подцепить на ранней стадии и воспользоваться этим ..

ага, нельзя монтировать вольюмы на этапе билда

вот точно ?

вот точно ?

стопудова https://github.com/moby/moby/issues/14080

Вот это очевиднее: https://github.com/moby/moby/issues/17745

Вот это очевиднее: https://github.com/moby/moby/issues/17745

не совсем понял на что ты ссылаешься. Можешь конкретный коммент ?