Anton
path: /docs/reference и щас не работает кстати
Anton
вот еще бы путь работал, была бы вдвойне классная
G72K
Да не, мне б попроще . Вот скажем есть инструкция FROM Debian COPY file1 . В слое COPY записан хеш слоя Debian и хеш file1 (в build kit кажется зависимости от предыдущего слоя вообще нет) . При ребилде если хеши совпали, то слой билдить не надо. Теперь представим что у нас новая билделка. Нафига ей тянуть весь дебиан? Достаточно подтянуть его хеш и уже можно понять слой строить или нет
G72K
Так как хеш file1 по определению есть локально и его тянуть не надо )
Andrey
вот еще бы путь работал, была бы вдвойне классная
для этого надо 443 и nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
Anton
а почему так?
Anton
какая ему разница / или /docs
Sergey V
вот еще бы путь работал, была бы вдвойне классная
так path не делает то что ты хочешь. path говорит что ты попадешь в свой сервис только с локейшеном /docs/reference на входе. и он же его добавит туда куда трафик уйдет
Vadim
Так как хеш file1 по определению есть локально и его тянуть не надо )
https://github.com/moby/moby/issues/20316#issuecomment-184254155 из-за content-addressable storage теперь так просто не прокатит
Andrey
какая ему разница / или /docs
потому что. посмотри, что тебе бэкенд отдаёт
Vadim
но если точно знать всю цепочку базовых имаджей то можно - https://github.com/moby/moby/issues/20316#issuecomment-358260810
Sergey V
а точно. Вот туп то под вечер.
https://kubernetes.github.io/ingress-nginx/examples/rewrite/
G72K
Я просто использую docker staging building, если стейджей несколько, повторяющиеся части в Dockerfile можно добавлять автоматически хоть тем же Makefile
Дело не в организации докерыайла. А в том что на свежем докер билдере надо вытянуть весь образ (скажем от предыдущего билда), чтобы понять, что ничего строить не надо :)
Anton
да, смотрю уже на реврайт
Vadim
аа, даже одного базового имаджа достаточно
Vadim
в общем случае наверное будет трудно решить правда
G72K
но если точно знать всю цепочку базовых имаджей то можно - https://github.com/moby/moby/issues/20316#issuecomment-358260810
Про это знаю,в этом то и проблема. Чтобы этот cache from заработал, надо все эти образы в билдилку локально подтянуть через docker pull ,а там гигабайты,а облака медленные
Vadim
ну а прошлый артефакт есть? Можно брать base image из него, тегать локально как FROM - и вуаля
G72K
Ничего не вуаля, этот FROM весь и стянется :)
Vadim
ну да, ему нужно убедится что ничего там в начале не поменялось, не знаю как это обойти
G72K
Тянуть метадату слоя отдельно от блоба с его содержимым
G72K
В регистри оно уже так отдельно и хранится
G72K
Но ни одна билдилка не делает по умному
Anton
в общем, через nginx.ingress.kubernetes.io/rewrite-target в итоге заработало, всем спасибо. Правда kubernets.io так и не заработал на 100% (загружался с поломанным CSS), но заработало то, что нужно было.
Vadim
Но ни одна билдилка не делает по умному
много мороки, придется при каждом билде переиндексировать практически всю регистри, да и выигрыш сомнителен - тащить из билда в билд CVEшки из базовых имаджей не всегда нужно
Meiram
Гитлаб раннеры на проде это нормально или лучше через ансибл/ssh ?
Alexey
лучше ансибл
Alexey
как по мне
Alexey
в гите только не критичный код
Eugene
Гитлаб раннеры на проде это нормально или лучше через ансибл/ssh ?
Я делаю так. У меня есть management сеть, где находятся всякие CI/CD тулзовины и эта сеть имеет доступ к другим энвайронментам включая прод. Так, "раннер" запускается в management сети и делает все необходимое в прод сети. Это все обвешано логгингом...
Anonymous
Добрый день, коллеги. Такой вопрос какой вариант storage в основном вы используете. В интернете многие используют или gluster или ceph. У меня тоже стоял gluster, но не понравился что есть зависимость от LVM. Поэтому буду рад увидеть что бы посоветовали сделать.
Anton
используем ceph pvc
Yuri
aws: ebs/nfs
Anton
нужная бодрая сетка))
Anonymous
aws: ebs/nfs
жаль что не в aws у нас ((
Anonymous
А кто-то работал "cloud_provider: vsphere" ?
G72K
много мороки, придется при каждом билде переиндексировать практически всю регистри, да и выигрыш сомнителен - тащить из билда в билд CVEшки из базовых имаджей не всегда нужно
Зачем переиндексировать? Вот тот самый --cache-from мог бы скакачиваттэь только метадату слоев ,по ней и локальному контексту уже достаточно,чтобы понять билдить или нет. Если билдить, то качаем сами слои раз уж деваться некуда. Поведение относительно CVE и прочего не меняется, это исключительно оптимизация без видимых последствий в результате (кроме скорости)
uncleroot
А кто-то работал "cloud_provider: vsphere" ?
в смысле vSphere Integrated Containers? или что другое?
Anonymous
Anonymous
то есть при создание PVC оно в твоем Datastore создает прямиком vmdk
Anonymous
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/index.html
Vadim
Зачем переиндексировать? Вот тот самый --cache-from мог бы скакачиваттэь только метадату слоев ,по ней и локальному контексту уже достаточно,чтобы понять билдить или нет. Если билдить, то качаем сами слои раз уж деваться некуда. Поведение относительно CVE и прочего не меняется, это исключительно оптимизация без видимых последствий в результате (кроме скорости)
--cache-from требует предыдущего имаджа - а если его не указывать то приходится искать его в регистри, что нетривиально. Кроме того, базовый имадж уже мог обновить тег, потому нужно искать куда он указывал во время прошлого билда => тащить старые пакеты из прошлого базового имаджа (иначе кэширования не будет)
uncleroot
то есть при создание PVC оно в твоем Datastore создает прямиком vmdk
щупали на лабе, но так и не поняли, нужно оно нам или нет
Андрей
привет всем, а кто-нибудь настраивал cert-manager, есть под рукой какой-нибудь мануал адекватный? у меня вроде все завелось, все работает, сертификаты автоматом пытаются создаться, даже поды с токенами стартуют и урлы проверки создают (которые доступны снаружи), но все равно failed :(
Anonymous
Спасибо за информацию
Андрей
https://docs.cert-manager.io/en/latest/tutorials/acme/quick-start/index.html#step-5-deploy-cert-manager
именно это и делал, все по этой странице )
Андрей
в логах вижу "..due to error processing: http-01 self check failed for domain ..."
Андрей
при этом если самому достать из ingress урл - доступно все
Sergey V
А анешний днс домен смотрит на нужный ингрес?
Андрей
да, проверил снаружи сети, корректно отрабатывает все
Sergey V
Kubectl describe cert certname, там может инфа
Андрей
Kubectl describe cert certname, там может инфа
тоэе ничего, максимум что смущает, если перейти по ссылке url (где инфа по выдаче), там будет identifiers: [ {type: "dns", вот этот dns меня смущает
G72K
--cache-from требует предыдущего имаджа - а если его не указывать то приходится искать его в регистри, что нетривиально. Кроме того, базовый имадж уже мог обновить тег, потому нужно искать куда он указывал во время прошлого билда => тащить старые пакеты из прошлого базового имаджа (иначе кэширования не будет)
Так я не хочу кеширования больше чем есть сейчас, я хочу просто чтобы решение "кешировать или нет" принималось без скачивания гигабайтов . Мне не надо автомагии, я рад --cache-from указывать ,чему я не рад ,так это что мне эти образы целиком скачивать на мой локальный докер надо ,только чтобы сказать "получилось переиспользовать кеши везде, ничего не билдим"
Lucky SB
в логах вижу "..due to error processing: http-01 self check failed for domain ..."
небось кластер нейм с доменом совпадает. и резолвится имя по разному изнутри и снаружи
Андрей
небось кластер нейм с доменом совпадает. и резолвится имя по разному изнутри и снаружи
а сам кластер нейм проверить где? вообще не должен, домен отдельно кидали
G72K
Пример как вендоры (OpenShift) делают из поделки надёжный продукт для реального использования: https://github.com/kubernetes/kubernetes/issues/71305#issuecomment-521978797
Андрей
Андрей
проще всего в конфигмапе core-dns
неа, точно не совпадают
Владимир
Подскажите как в чарте указать что мне нужно по одному поду на каждой ноде?
Владимир
Получается это мне вместо deployment надо на daemonset перейти?
Владимир
чарт содержит сейчас два деплоймента, один обрабатывает изображения, другой это nginx с настройками кэширования
Владимир
второй я так понимаю на daemonset перевести?
Lucky SB
Получается это мне вместо deployment надо на daemonset перейти?
или читать про аффинити-антиаффинити, если нет задачи запустить под одному поду на КАЖДОЙ ноде, а тольк разнести поды по разным узлам
Lucky SB
второй я так понимаю на daemonset перевести?
вам должно быть виднее, какая архитектура должна быть у вашего приложения. но с моей точки зрения совсем непонятно зачем nginx и кешированием нужен на кажом узле
Владимир
хмм, хотелось более предсказуемо нагрузку делить если новые ноды будут вводиться
Владимир
а сейчас получается что если один nginx на одной ноде то весь трафик через него идет
Vadim
думаю тут лучше подойдет HPA для nginx деплоймента + кастомные метрики
Jain
Добрый день, тут ктонибудь OpenEBS пробовал? Это нормально что он такой ... медленный (на INTEL SSDSC2BB240G4 всего Read; 68.9MiB/s , Write: 136MiB/s)