Andrey
проще в гитлабе, можно и отдельно с управлялкой завести
Марат
Harbor как вириант, видел пользуют
Andrey
Harbor как вириант, видел пользуют
то еще удовольствие, особенно с сертификатами его
Sasha
Да я пока велосипеды собираю, мне интересно было как, потому что на глаза информация не попадала, и казалось что кроме приватного хаба должно было быть что-то ещё.
Марат
сам не играл, только видел что есть активные пользователи
George
пользовались. Но там больше приятно с инженерами говорить, чем с ТП
George
😂😂😂
Марат
все на cri?
Alexey
смотреть в логи кублета. ловить контейнер docker ps -a с nginx-proxy и смотреть почему не может стартовать. может в логах контейнера чего есть.
Спасибо, причина была в увеличении числа cpu. Удалил /var/lib/kubelet/cpu_manager_state со старыми значениями и все завелось.
Lucky SB
Да я пока велосипеды собираю, мне интересно было как, потому что на глаза информация не попадала, и казалось что кроме приватного хаба должно было быть что-то ещё.
подумай логически. вот есть у тебя процесс модный. devops ci/cd называется. собираешь ты образ контейнера на специальном сервере - бильд-бокс называется. а запускать его тебе надо много где - у девов, на тестах, на проде. и все это разные сервера, и как тебе проще всего передать этот образ с бильд-бокса на неопределенное количество серверов ?
Lucky SB
А можно в двух словах почему это простреливание? Сейчас планируем миграцию на кубер и как переходный вариант как раз emptydir для логов и sidecar с fluentbit. Но хочется понять что нас ждёт на этот переходный период :)
Потому что в итоге будет больно и что-нибудь отвалится. в контейнере некому ротировать твои логи. Так что они могут легко сожрать все пространство, которое по дефолту выделяется под эфемерный сторадж в кублетах. вставлять fluentbit как сайдкар в каждый под — вообще дичь полная. ты хотя бы почитай про сбор логов... запускают демонсет со сборщиком, который на каждом узле забирает логи у всех контейнеров (через файлы, или через journald) - как настроишь и отправляет их в еластик или в graylog или на марс
NM
Как будто в докере нет save и load
в докере есть докер 😉 а он нафиг не нужен этот сервис
NM
да это не лечится - но к этому надо придти чтобы взглянуть на мир по новому
NM
вот именно. Предполагается что есть магия. а когда начинаешь вникать вылезают костыли
Тут ты прав да. Но магами становаятся не сразу а поборясь с демонами 😉
NM
балабол ты.
Ага - я просто 5ю бету поставил dashboard и мучаю ее. КРивая она еще
NM
Кстати кто будет ставить - там ошибка в описании - слои не подгружаются правильно
NM
Если вот эту хрень комментировать начинаются проблемы с NoSchedule - в beta4 все работает : #tolerations: # - key: node-role.kubernetes.io/master # effect: NoSchedule
NM
Причем тут подман вообще? Он же с кубером не взаимодействует никак
он взаимодействует через crio а там уже хоть crictl или kubectl
NM
Но вы правы - как обычно в доке написано одно https://developers.redhat.com/blog/2019/01/29/podman-kubernetes-yaml/ а по факту не все превращается в то что можно скормить kubelet
Игорь
он взаимодействует через crio а там уже хоть crictl или kubectl
cri-o использует код из подмана (libpod), а не сам подман
NM
cri-o использует код из подмана (libpod), а не сам подман
да это понятно, меня магия как сказал коллега выше интересует типа этой пробую пока : podman generate kube demo > demo.yml
NM
с точки зрения безопасности. А с точки зрения логики поближе к тем местам, где будут использовать.
В том то и дело что с podman у вас получается безопасная разработк - локально под пользователем делает образ. То есть убивается 2 зайца сразу и на выхлопе rootless + dockerless
Lucky SB
с точки зрения безопасности. А с точки зрения логики поближе к тем местам, где будут использовать.
ты щас бред сказал. а все от того, что неправильную терминологию используешь и выражаешь свои мысли так, что собеседники тебя понять не могут. ну ладно я, я же телепат со стажем.... и могу нателепатить, что изначально ты спрашивал про то - обязательно ли отсылать образы в общий регистри докера, или можно поднять свой собственный регистри и хранить свои образы там.... а то некоторые начали втирать, что регистри вообще не нужен и образы можно архивами магическим образом по серверам раскладывать. так вот - конечно можно поднять собственный регистри. самый простой способ - использовать свой gitlab-ce и встроенный в него регистри. более сложные варианты - отдельный софт, который умеет разный фишки типа сканирования образов на уязвимости, цифровые подписи и прочая-прочая
Eduard
NM
ты щас бред сказал. а все от того, что неправильную терминологию используешь и выражаешь свои мысли так, что собеседники тебя понять не могут. ну ладно я, я же телепат со стажем.... и могу нателепатить, что изначально ты спрашивал про то - обязательно ли отсылать образы в общий регистри докера, или можно поднять свой собственный регистри и хранить свои образы там.... а то некоторые начали втирать, что регистри вообще не нужен и образы можно архивами магическим образом по серверам раскладывать. так вот - конечно можно поднять собственный регистри. самый простой способ - использовать свой gitlab-ce и встроенный в него регистри. более сложные варианты - отдельный софт, который умеет разный фишки типа сканирования образов на уязвимости, цифровые подписи и прочая-прочая
Так ведь и есть - регистри не нужен и от него и ушли в разработке. Есть podman + buildah - они уже есть в 7-ке CentOS ну где то с 7.4 версии не говоря уже о бубунту. Вопрос в том зачем регистри поднимать если локально все можно хранить ? Как телепат со стажем тоже не могу понять мысль в лишних сервисах - если RedHat уже придумала новую схему разработки без докера вообще. И никаких заморочек ссертификатами и прочими атрибутами для registry - ведь есть тестовое namespace в кубере где админ делает доступ по RBAC для разрабов + kubelet-ом они загоняют свои наработки в кубер. Зачем тогда registry если это мешает процессу разработки ?
NM
Jfrog {Artifactory,XRay}, рекомендую с точки зрения функционала
Артифакты в кубере и есть и будут 😉
Игорь
Lucky SB
Так ведь и есть - регистри не нужен и от него и ушли в разработке. Есть podman + buildah - они уже есть в 7-ке CentOS ну где то с 7.4 версии не говоря уже о бубунту. Вопрос в том зачем регистри поднимать если локально все можно хранить ? Как телепат со стажем тоже не могу понять мысль в лишних сервисах - если RedHat уже придумала новую схему разработки без докера вообще. И никаких заморочек ссертификатами и прочими атрибутами для registry - ведь есть тестовое namespace в кубере где админ делает доступ по RBAC для разрабов + kubelet-ом они загоняют свои наработки в кубер. Зачем тогда registry если это мешает процессу разработки ?
вы погромист ? Чего вы тут про разработку задвигаете ? ответье на пару простых вопросов... хранить все локально - что это за локально ? где конкретно оно находится ? Для нового узла в кластере где это локально ? kubelet-ом они загоняют свои наработки в кубер Чем-чем загоняют ? они - это разрабы ?
Отделение Bereke Bank
Какой ужас
NM
Какой ужас
Ужас был с докером да. Никакой безопасности и вечные траблы с registry.
NM
че за tower ?
хм... ну это top of ansible 😉
Отделение Bereke Bank
Даже не знаю что хуже. Проблема с регистри или разрабы с доступом в кластер 🤔
Lucky SB
хм... ну это top of ansible 😉
после мерджа идет push - куда идет push ?
V 🏴‍☠️
Ужас был с докером да. Никакой безопасности и вечные траблы с registry.
То есть программист, который может любой контейнер запушить в кластер - это очень безопасно?
NM
он не может запушить сам - только после aproved devops + review и только с четким namespace + rbac + остальные свойства deployment ограничивают его в тестовой среде кластера.
Alexey
Джентельмены, может есть у кого-то ссылка на статью/описание, как helm работает в деталях? Особенно интересует, как мержатся конфиги в случае расхождения числа реплик, например (через --set указываем одно, в конфигмапе второе, в кластере по факту третье).
NM
куда идет push ?
Идет в свое namespace конечно в кластере тестировщиков после мержа и прочего
NM
push Чего ? я знаю git push, docker push kubelet push не знаю
по разному - иногда слой конкретный (ID) иногда конейнер. Ну нет там kubelet push - посмотрите описание любого yaml файла - kubelet apply - f задание и пушится. Это очень удобно иметь версионность и историю пушинга в кластер по разрабам и более безопаснее чем docker push. Много требований по ИБ решается
Alexey
Псалмы ищите?
Да хоть что бы)
Lucky SB
пример с конкретными командами можешь показать ? каким образом разраб узнает какой слой из своего образа надо взять, и каким образом этот слой попадает на ВСЕ узлы кластера
Lucky SB
и откуда у разраба уверенность, что на всех узлах есть все необходимые слои
NM
Всё таки наверное kubectl, а не kubelet
Ну да и через kubectl apply -f и через kubelet (на API команды если к systemD и локального чекания по собранным контейнерам)
Lucky SB
всего то пару тройку команд приведи
NM
Это точно куб, а не опеншифт?
раньше да был опешифт - оттуда и взял наработки в куб через kubectl 😉
NM
не kubelet, а kubectl ?
в первом случает kubectl если в кластер kubectl create -f файлик_образа.yml
Lucky SB
Пока у меня складывается впечатление, что люди не смогли купить сертификат для docker registry И поэтому сделали своё регистри, из слоев и палок
V 🏴‍☠️
Погоди файлик образа
V 🏴‍☠️
Как это - файлик образа.ямл?