а чем кстати плохо делать контейнер с установленным npm + модулями и при сборке запускать его подсовывая свежий код? (при условии конечно что версии не меняют 5 раз за день)

а чем кстати плохо делать контейнер с установленным npm + модулями и при сборке запускать его подсовывая свежий код? (при условии конечно что версии не меняют 5 раз за день)

да в целом наверное ни чем, просто доп репозиторий клепать под каждый проект. Просто надеялся что как-то смогу добраться до кэша докера

На локалке он же эти шаги не повторяет если уже делал, я так понимаю берет из предыдущего образа

Есть гитлаб-раннер в контейнере. Проект в докерфайлом, npm i в нем занимает довольно много времени. Можно ли как-то заставить раннер кэшить эту стадию билда? Он как будто затирает между пайплайнами кэш докера.

В доке гитлаба же есть пример как быть, если у тебя кэш докера затирается. https://docs.gitlab.com/ee/ci/docker/using_docker_build.html#using-docker-caching

да в целом наверное ни чем, просто доп репозиторий клепать под каждый проект. Просто надеялся что как-то смогу добраться до кэша докера

Ну я не как совет, а как вопрос теоритеческий. Просто сам столкнулся с ситуацией когда gulp чтоб отработать минуту, тянет зависимости минут 5-10. Поэтому зафигачил образ с всем этим внутри, ну и указал ранеру брать его для этой стадии. Но это вроде как нифига не best practice

А кэш докера отменили? Если у тебя package.json не менялся, зачем ему зависимости то тянуть снова.

В доке гитлаба же есть пример как быть, если у тебя кэш докера затирается. https://docs.gitlab.com/ee/ci/docker/using_docker_build.html#using-docker-caching

Вернул dind, включил overlay2, добавил в docker build —pull но опять зараза все шаги повторяет

Делай docker pull image:latest и потом docker build --cache-from image:latest

Делай docker pull image:latest и потом docker build --cache-from image:latest

это не нужно, когда у тебя кеш локально уже лежит, и без —cache-from должно работать

Это понятно, но не всегда он есть, даже если был до этого. У меня кублет например регулярно кэши выпиливает с билдагентов.

Это понятно, но не всегда он есть, даже если был до этого. У меня кублет например регулярно кэши выпиливает с билдагентов.

и не всегда есть этот самый образ, из которого кеш можно тянуть)

Нету и нету, тогда просто без кеша сбилдится

Делай docker pull image:latest и потом docker build --cache-from image:latest

Он при этом лог сборки слоя должен выводить? или писать что-то типа "взял из кэша"?

ну вот у меня то докер кеш юзается между сборками

Пока выходит опять с логом. Status: Downloaded newer image for myregistry.ru:4567/group/project:dev $ docker build --cache-from myregistry.ru:4567/group/project:$CI_BUILD_REF_NAME -t myregistry.ru:4567/group/project:$CI_BUILD_REF_NAME . Sending build context to Docker daemon 33.73MB Step 1/9 : FROM node:9-alpine

и дальше такие же логи сборки

а вот врубание dind и overlay ускорило билд с 7 минут до 3 с половиной

У тебя там первым шагом в докерфайле ничего не стоит что кеш ломает?

У тебя там первым шагом в докерфайле ничего не стоит что кеш ломает?

+

но локально бы тоже ломало, но говорит локально быстро

У тебя там первым шагом в докерфайле ничего не стоит что кеш ломает?

вроде такого? ADD . /app =)))

>Sending build context to Docker daemon 33.73MB почините это немедленно

у тебя 33мб код? сомневаюсь

Ну или какой-нибудь ARG который в каждом билде CI меняется.

вроде такого? ADD . /app =)))

да что угодно, что меняется до npm i

Ну поидее как раз ./app кидается для package json

просто покажи Dockerfile, будет быстрее)

Но я сейчас рассматриваю хотя бы RUN apk add --no-cache bash make gcc g++ python linux-headers paxctl gnupg git libpng-dev вот это что бы сработало

ты не слышишь)

FROM node:9-alpine RUN apk add vips-dev fftw-dev --update-cache --repository https://dl-3.alpinelinux.org/alpine/edge/testing/ RUN apk add --no-cache bash make gcc g++ python linux-headers paxctl gnupg git libpng-dev RUN yarn global add node-gyp ADD . /app WORKDIR /app RUN yarn && yarn build #RUN apk del make gcc g++ python EXPOSE 3000 ENV NODE_ENV development CMD ["yarn", "start"]

у тебя будет до неё какой-то ARG Динамический и весь кеш сбрасывается сразу

RUN yarn на прайняк кэшем ранера решим. А вот первое добро надо как-то кэшить докером

Где админка?

скорее всего, какой-то из опов (по неопытности или намеренно) не разобрался в ситуации и вырвал из контекста мою вчерашнюю реплику мошеннику-малварьщику

RUN yarn на прайняк кэшем ранера решим. А вот первое добро надо как-то кэшить докером

а если пайплайн или конкретную джобу сделать Retry - тоже кеша не будет?

ща проверю

А что кэшить? /var/lib/docker/images?

и да, у меня в раннер проброшен /var/lib/docker, но я только просыпаюсь, сам ещё не понимаю, нафиг я его пробросил) Но факт - кеш юзается

кажись нахер оно не нужно в раннере

FROM node:9-alpine RUN apk add vips-dev fftw-dev --update-cache --repository https://dl-3.alpinelinux.org/alpine/edge/testing/ RUN apk add --no-cache bash make gcc g++ python linux-headers paxctl gnupg git libpng-dev RUN yarn global add node-gyp ADD . /app WORKDIR /app RUN yarn && yarn build #RUN apk del make gcc g++ python EXPOSE 3000 ENV NODE_ENV development CMD ["yarn", "start"]

в любом случае с этим Dockerfile Тебя кеш не спасёт, добавляй весь код уже после install && build. Сначала только ADD json+lock && install && build, а уже потом ADD . /app

Step 3/9 : RUN yarn global add node-gyp ---> Using cache ---> b183cb36a6b2 Step 4/9 : ADD . /app ---> 80d2cbc4f551 Step 5/9 : WORKDIR /app Removing intermediate container 96c006278ac7 ---> 5c4d21b47341 Step 6/9 : RUN yarn && yarn build ---> Running in bbbd1d29315e

ретрай дает кэш

>RUN yarn global add node-gyp а новый таск это не берёт из кеша, точно?

ща попробую новый создать принудительно, может он обижался както на изменения gitlab-ci.yml

>Step 4/9 : ADD . /app у тебя только тут должна быть проблема с кешем, описал выше почему

а пробовал кто mattermost?

я

>Step 4/9 : ADD . /app у тебя только тут должна быть проблема с кешем, описал выше почему

Sending build context to Docker daemon 33.71MB - а вот тут куда смотреть?

и ещё момент, кеш самого гитлаба не поможет с этим и подобным yarn global add node-gyp Он кешит только то что внутри папки /build

Sending build context to Docker daemon 33.71MB - а вот тут куда смотреть?

а откуда у тебя в репе вообще 33мб?)

я не очень понимаю что это? вес репо?

смотреть в сторону .dockerignore и не слать в контекст всю репу

я не очень понимаю что это? вес репо?

да, за минусом того, что в .dockerignore прописано. Но видать его вообще нет

нет кэш только в ретрай пашет почемуто

два подряд пуша с изменением только пробела в коде - уже не срабатывает

я

и как оно?

Хотя впервые увидел: Step 1/9 : FROM node:9-alpine 9-alpine: Pulling from library/node 605ce1bd3f31: Already exists 80491f9a9817: Already exists 31850368c53f: Already exists

и как оно?

Да как слэк, вполне себе стабильный и норм. Я боялся что у них приложуха лагать будет, но нет, вполне адекватная. Если интересуют только вебхуки то вообще один в один. Если нужны всякие другие интеграции то надо смотреть в частном порядке.

Да как слэк, вполне себе стабильный и норм. Я боялся что у них приложуха лагать будет, но нет, вполне адекватная. Если интересуют только вебхуки то вообще один в один. Если нужны всякие другие интеграции то надо смотреть в частном порядке.

Платную версию смотрел?

Платную версию смотрел?

Нет, гонял тот что с гитлабом идет, а потом перешли на платный слэк

Но только потому что ПМу видите ли маттермост был слишком сложный и не понятный. Хотя я разницы вообще не вижу, пока интеграциями не занимаешься)

два подряд пуша с изменением только пробела в коде - уже не срабатывает

что имеено? все слои?

http://ithare.com/testing-memory-allocators-ptmalloc2-tcmalloc-hoard-jemalloc-while-trying-to-simulate-real-world-loads/

ERROR: S client not available

Но только потому что ПМу видите ли маттермост был слишком сложный и не понятный. Хотя я разницы вообще не вижу, пока интеграциями не занимаешься)

Вот от этого вообще бомбит, когда инструменты выбираются от уровня сложности для всяких пмов, которые иногда даже не юзают их ?

Но только потому что ПМу видите ли маттермост был слишком сложный и не понятный. Хотя я разницы вообще не вижу, пока интеграциями не занимаешься)

туплю...что есть ПМ?

проджект менеджер

Продакт менеджер, Премьер министр

туплю...что есть ПМ?

Prometheus?

кто нибудь писал экспортер для прома на питоне?

Я уверен есть полно

Ребят привет)) есть здесь кому интересно свой сделать ит проект - сервис для инсты? Есть идея, ищу партнёра программиста. Описание, функционал могу скинуть в личку.

Ребят привет)) есть здесь кому интересно свой сделать ит проект - сервис для инсты? Есть идея, ищу партнёра программиста. Описание, функционал могу скинуть в личку.

а какова ваша роль в этом проекте?

генератор идей? супер манагер? ) классика)

Ребят привет)) есть здесь кому интересно свой сделать ит проект - сервис для инсты? Есть идея, ищу партнёра программиста. Описание, функционал могу скинуть в личку.

дай угадаю - нам же нужно забесплатно чем-то портфолио забивать, да? )

сервис для инсты... что есть инста?

дай угадаю - нам же нужно забесплатно чем-то портфолио забивать, да? )

почемуж бесплатно. когда взлетит- получишь мульоны

почемуж бесплатно. когда взлетит- получишь мульоны

?

если инстаграм, то нахер нужен еще один автопостер и МЛ/МФ?

сервис для инсты... что есть инста?

ща бы в 2018 хвастаться, что ты типа не знаешь ничего про инстаграм)

ща бы в 2018 хвастаться, что ты типа не знаешь ничего про инстаграм)

я уточнить, может чего еще появилось

обычно читаешь тз от подобных и рождается всего один вопрос- "а зачем мне в этой схеме ты"

я уточнить, может чего еще появилось

говорят у китайцев есть свой аналог

говорят у китайцев есть свой аналог

Дзан Янг CEO?

?

Доброго времени суток друзья. Как передавать переменные между Jobs в gitlab CI

нет такого функционала

А можно ли в временный файл записать а потом открыть с другого Job

А можно ли в временный файл записать а потом открыть с другого Job

ну через artifacts по идее да.

Может кто знает, толкувую веб админку для openvpn easy-rsa, в осовмно для генерации и отзыва ключей...

Может кто знает, толкувую веб админку для openvpn easy-rsa, в осовмно для генерации и отзыва ключей...

не веб, но softether решит эти проблемы.

Всем утро доброе Кто подскажет как правильно почистить базу Zabbix на PostgresSQL?

https://github.com/mattiasgeniar/zabbix-orphaned-data-cleanup Оно на мускуль, но на скуле, может пригодится

не веб, но softether решит эти проблемы.

та у меня все настроено, и все работает… просто на отдельной тачке стоит ca и для еникей нужно админку сделать, что бы в консоль не лазили

Посоны, есть ли аналог WSGIScriptAlias для gunicorn или nginx? нужно сделать перенаправление всего приложения с / на /app