George
т.е. по сути - ты придумал себе усложнение системы на ровном месте
Max
я имел ввиду когда одна нода скачала на сетевой диск образ, и он юзается всеми остальными нодами)
George
повторюсь - положить докер кэш ВСЕХ нод на сетевое хранилище НА одно место (каталог, раздел и т.п.) - ЭТО ОЧЕНЬ ПЛОХАЯ идея
Max
ладно, пока писал, подумал что можно сделать везде imagePullPolicy: Never и делать docker pull скриптом
George
не поможет
George
у тебя кэш каждого докер демона уникален и прибит гвоздями к нему
Anton
чем отличается локальный реджистри от сетевой фс в контексте проблемы? много пространства в рам на тачках съедается при запуске 40гб образа? нельзя кэш докера монтировать на локальный сторейдж?
Max
чем отличается локальный реджистри от сетевой фс в контексте проблемы? много пространства в рам на тачках съедается при запуске 40гб образа? нельзя кэш докера монтировать на локальный сторейдж?
проблема в том что я не хочу лишние 20-30гб оперативы тратить на хранение таких образов, из которых файлов в оперативку подгружается достаточно мало при запуске контейнера
Max
"чем отличается локальный реджистри от сетевой фс в контексте проблемы?" тем что в случае с локальным registry каждый раз в озу ноды будет скачиваться целиком весь docker image, весом в 20-30гб
Max
> много пространства в рам на тачках съедается при запуске 40гб образа? 400мб
Max
> нельзя кэш докера монтировать на локальный сторейдж? Пытаюсь разобраться как работают layers в докере, ответьте мне на такой вопрос: Можно ли неизменяемую часть образа подгружать с сетевого хранилища, а временный слой, изменяемый, который удаляется вместе с контейнером, размещать в tmpfs?
Andrey
тачки вообще без дисков? или диск/диски есть, просто с них не хочется грузиться?
George
в вольюм клади изменяемые данные
Сергей
господа, подскажите пожалуйста как можно обновить инфу о ноде в кубике? развернул кластер с нодами 4 CPU 8 MEM, сейчас увеличил до 8 CPU, 16 MEM, но в kubectl describe инфа соот-но не обновилась, так и осталось 4 - 8. как привести информацию внутри кубика к реальным данным?
Max
в вольюм клади изменяемые данные
извиняюсь, видимо некорректно задал вопрос. Мне не нужно сохранять изменения в контейнере, наши контейнеры stateless и ничего никуда не пишут
Сергей
ноду ребутал?
ну вот пока нет, я думал может без ребута как-то можно обойтись
George
ты можешь именно данные класть в вольюм, на сетевое хранилище и шарить между контейнерами даже на разных машинах
George
образ = в идеале = это только исполняемый код
Max
если монтировать все докеровое и кубовое на диск? при перезапуске только не забывать очищать
хочется переиспользовать кэш слоев одних и тех же docker images для того чтобы они переиспользовались на всех нодах, а не под каждую ноду отдельный сетевой диск под его собственный кэш докера
George
теоретически ты вообще можешь в образ засунуть только скрипт старта приложения, а ВСЕ остальное (включая код) - засунуть в вольюм
George
у тебя лейерс сейчас только мешают
George
пойми - тебе их качать некуда
George
ты себе создаешь проблему "а где мне разместить кэш докера на бездисковой системе, чтоб все было хорошо"
George
я предлагаю тебе проблему решить радикально
Max
хм, значит мне нужно кардинально пересмотреть наш процесс CI/CD
George
да
George
именно
Max
Потому как с layers крайне удобно рассылать по кластерам маленькие диффы по 200-300мб
George
т.е. запечь все в докер образ - круто, когда у тебя стендэлоун машинки и кэширование норм работает - мы так ML модели дистрибутируем
Сергей
ноду ребутал?
так и чего, без ребута не обойтись?
George
но в твоем случае дифф ты можешь лить напрямую на сетевой сторидж
George
откуда его LTSP ноды всосут
Сергей
ну, эм, а тебе жалко?
да в общем-то нет
Max
но в твоем случае дифф ты можешь лить напрямую на сетевой сторидж
хм, а что для этого лучше использовать? чтобы централизированно было) неужто git?)
George
хм, а что для этого лучше использовать? чтобы централизированно было) неужто git?)
это уже не столь важно - важно то, что у тебя это хранилище должно быть доступно и нодам, и сборщику "образов"
George
на самом деле я б может в своем проекте и НЕ ИСПОЛЬЗОВАЛ докер регистри, но есть нюанс - что передавать образы через docker save | ssh docker load - еще хуже. Нет докачки измененных слоев. Либо все, либо ничего. rsync - варик в ключе докачки tar.gz при обрыве связи, но у него та же проблема - он передаст докер образ целиком, без измененных слоев
George
варик - сохранять образа в OCI формат послойно (тем же SKOPEO, например) и каждый слой отдельно синхронизировать. Но это вообще дичь. Поэтому - мой выбор - докер регистри с образами
George
" он передаст докер образ целиком, без измененных слоев"
NM
фигово, много чего переделывать придется...
Vadim
https://www.projectatomic.io/blog/2015/05/building-and-running-live-atomic/ выглядит намного внятнее чем запихивать всю систему в докер образ - хотя бы не придется возиться со слоями - и откат разумный
Max
Опишу мой юзкейс подробнее: Чистый игровой сервер скачивается с помощью утилиты steamcmd, если папка пустая, оно скачивает полностью 18гб файлов, если в текущей папке уже есть файлы, то оно докачивает новые/изменившиеся, таким образом обновляя файлы игрового сервера до последней версии. И обновления эти иногда довольно часто выпускаются, может за день несколько прилететь. После того как обновились файлы игрового сервера, нам нужно перезапустить наши билд таски, которые поверх чистого сервера делают изменения, собирают наши плагины из исходников, делают прочую магию. Далее мы должны как можно скорее залить изменения (диффы) на все наши кластера по разным материкам. Почему быстрее? Да потому что клиент игры обновляется вместе с сервером и более не может коннектиться на старую версию игрового сервера
Arumato
Кто в бэке джаву юзает?
Arumato
короче вопросик надо менять application.config для запущенных подов думаем через волюм подключать application.config и потом этот файл просто редактировать, и после этого как можно перезупустить контейнер под подом?
Arumato
кроме убивать и уменьшать реплику на 0 и обратно увелечивать есть еще варианты?
Vadim
кроме убивать и уменьшать реплику на 0 и обратно увелечивать есть еще варианты?
при замене файла в конфигмапе можно через inotify узнать что он изменился https://docs.oracle.com/javase/tutorial/essential/io/notification.html
Vadim
кроме того https://github.com/mfojtik/k8s-trigger-controller и https://github.com/jimmidyson/configmap-reload
Valentin
всем привет, подскажите как сделать RunOnce контейнер?
Евгений
https://habr.com/ru/post/445030/
Текст невнятный, там не объясняется чем номад лучше. Только невнятный аргумент, что проще. Но непонятно насколько это правда: когда говорят, что k8s сложный, то подразумевают, что сетевые блок девайсы и оверлейная сеть это больно. И если от последнего в сабже можно отказаться, то в номаде нет
Max
Опишу мой юзкейс подробнее: Чистый игровой сервер скачивается с помощью утилиты steamcmd, если папка пустая, оно скачивает полностью 18гб файлов, если в текущей папке уже есть файлы, то оно докачивает новые/изменившиеся, таким образом обновляя файлы игрового сервера до последней версии. И обновления эти иногда довольно часто выпускаются, может за день несколько прилететь. После того как обновились файлы игрового сервера, нам нужно перезапустить наши билд таски, которые поверх чистого сервера делают изменения, собирают наши плагины из исходников, делают прочую магию. Далее мы должны как можно скорее залить изменения (диффы) на все наши кластера по разным материкам. Почему быстрее? Да потому что клиент игры обновляется вместе с сервером и более не может коннектиться на старую версию игрового сервера
и тут такая проблемка, у меня БАЗОВЫЙ образ, который содержит оригинальный игровой сервер, может использоваться в нескольких других образах, с разными дополнениями поверх него. и используя слои в docker images получается суперудобно и не хочется от этого избавляться
Anonymous
Kubernetes Dashboard
Не могу найти где тут задавать Env
Anonymous
Как бы специально спрашивал и вот ищу. ENV которые я задал изначально при деплойменте есть
Dmitrii
У деплоя edit нажать и поменять, он рестартанет контейнер.
George
но те же слои не очень удобны, когда у тебя может обновиться ЛЮБОЙ слой... А по факту докер сбрасывает и его, и все последующие
Max
но те же слои не очень удобны, когда у тебя может обновиться ЛЮБОЙ слой... А по факту докер сбрасывает и его, и все последующие
да и мне иногда очень удобно указать другую версию образа, если мы выкатили херовый апдейт
Max
собственно поэтому мы и юзаем докер
G72K
Опишу мой юзкейс подробнее: Чистый игровой сервер скачивается с помощью утилиты steamcmd, если папка пустая, оно скачивает полностью 18гб файлов, если в текущей папке уже есть файлы, то оно докачивает новые/изменившиеся, таким образом обновляя файлы игрового сервера до последней версии. И обновления эти иногда довольно часто выпускаются, может за день несколько прилететь. После того как обновились файлы игрового сервера, нам нужно перезапустить наши билд таски, которые поверх чистого сервера делают изменения, собирают наши плагины из исходников, делают прочую магию. Далее мы должны как можно скорее залить изменения (диффы) на все наши кластера по разным материкам. Почему быстрее? Да потому что клиент игры обновляется вместе с сервером и более не может коннектиться на старую версию игрового сервера
Врят ли ваши плагины зависят от бинарников сервера, можно оптимизировать и сделать слой обновления сервера последним,а слои с вашими штуками перед ним. Тогда обновления будут минимально возможными
George
понимаю "докер как пакетный менеджер"
George
фишка в том, что если катанетесь на бездисковые машины - вам проще будет полностью пересобирать образ операционки.... если она не будет докачивать файлы игрового клиента. В общем, очень такой узкий кейсс....
Anonymous
У деплоя edit нажать и поменять, он рестартанет контейнер.
{ "kind": "Deployment", "apiVersion": "extensions/v1beta1", "metadata": { "name": "bpium", "namespace": "default", "selfLink": "/apis/extensions/v1beta1/namespaces/default/deployments/bpium", "uid": "83939de5-bc82-4620-8cf8-2a03962fd843", "resourceVersion": "792126", "generation": 1, "creationTimestamp": "2019-08-20T11:41:54Z", "labels": { "run": "bpium" }, "annotations": { "deployment.kubernetes.io/revision": "1" } }, "spec": { "replicas": 1, "selector": { "matchLabels": { "run": "bpium" } }, "template": { "metadata": { "creationTimestamp": null, "labels": { "run": "bpium" } }, "spec": { "containers": [ { "name": "bpium", "image": "cr.yandex/crpor05fn8vsmhvbe86f/bpium-server:5", "resources": {}, "terminationMessagePath": "/dev/termination-log", "terminationMessagePolicy": "File", "imagePullPolicy": "IfNotPresent" } ], "restartPolicy": "Always", "terminationGracePeriodSeconds": 30, "dnsPolicy": "ClusterFirst", "securityContext": {}, "schedulerName": "default-scheduler" } }, "strategy": { "type": "RollingUpdate", "rollingUpdate": { "maxUnavailable": "25%", "maxSurge": "25%" } }, "revisionHistoryLimit": 10, "progressDeadlineSeconds": 600 }, "status": { "observedGeneration": 1, "replicas": 1, "updatedReplicas": 1, "readyReplicas": 1, "availableReplicas": 1, "conditions": [ { "type": "Available", "status": "True", "lastUpdateTime": "2019-08-20T11:52:54Z", "lastTransitionTime": "2019-08-20T11:52:54Z", "reason": "MinimumReplicasAvailable", "message": "Deployment has minimum availability." }, { "type": "Progressing", "status": "True", "lastUpdateTime": "2019-08-20T11:52:54Z", "lastTransitionTime": "2019-08-20T11:52:54Z", "reason": "NewReplicaSetAvailable", "message": "ReplicaSet \"bpium-7774c7dd49\" has successfully progressed." } ] } }
Anonymous
Сори за длиннопост
Anonymous
Но где?
George
{ "kind": "Deployment", "apiVersion": "extensions/v1beta1", "metadata": { "name": "bpium", "namespace": "default", "selfLink": "/apis/extensions/v1beta1/namespaces/default/deployments/bpium", "uid": "83939de5-bc82-4620-8cf8-2a03962fd843", "resourceVersion": "792126", "generation": 1, "creationTimestamp": "2019-08-20T11:41:54Z", "labels": { "run": "bpium" }, "annotations": { "deployment.kubernetes.io/revision": "1" } }, "spec": { "replicas": 1, "selector": { "matchLabels": { "run": "bpium" } }, "template": { "metadata": { "creationTimestamp": null, "labels": { "run": "bpium" } }, "spec": { "containers": [ { "name": "bpium", "image": "cr.yandex/crpor05fn8vsmhvbe86f/bpium-server:5", "resources": {}, "terminationMessagePath": "/dev/termination-log", "terminationMessagePolicy": "File", "imagePullPolicy": "IfNotPresent" } ], "restartPolicy": "Always", "terminationGracePeriodSeconds": 30, "dnsPolicy": "ClusterFirst", "securityContext": {}, "schedulerName": "default-scheduler" } }, "strategy": { "type": "RollingUpdate", "rollingUpdate": { "maxUnavailable": "25%", "maxSurge": "25%" } }, "revisionHistoryLimit": 10, "progressDeadlineSeconds": 600 }, "status": { "observedGeneration": 1, "replicas": 1, "updatedReplicas": 1, "readyReplicas": 1, "availableReplicas": 1, "conditions": [ { "type": "Available", "status": "True", "lastUpdateTime": "2019-08-20T11:52:54Z", "lastTransitionTime": "2019-08-20T11:52:54Z", "reason": "MinimumReplicasAvailable", "message": "Deployment has minimum availability." }, { "type": "Progressing", "status": "True", "lastUpdateTime": "2019-08-20T11:52:54Z", "lastTransitionTime": "2019-08-20T11:52:54Z", "reason": "NewReplicaSetAvailable", "message": "ReplicaSet \"bpium-7774c7dd49\" has successfully progressed." } ] } }
их тут нет, а должны быть?
Anonymous
их тут нет, а должны быть?
В этом и проблема ))
Dmitrii
Но где?
https://kubernetes.io/docs/tasks/inject-data-application/define-environment-variable-container/
Max
фишка в том, что если катанетесь на бездисковые машины - вам проще будет полностью пересобирать образ операционки.... если она не будет докачивать файлы игрового клиента. В общем, очень такой узкий кейсс....
в таком случае мне нужно ребутать всю машину, чтобы обновить базовые файлы игрового сервера, но проблема опять же в том что апдейт выкатить нужно максимально быстро, а просто взять и ребутнуть машину я не могу, потому что там доигрываются матчи еще минут 30-40
Max
а в случае с докер образами получается что я просто новые игровые сервера запускаю с новым образом, а старые еще работают