NM
А потом гугл после хз сколько лет с боргом сделал куб с нуля с подами - и у вас даже мысли не появилось подумать почему?
@gecube написал выше - что мы получили только косточку 😉 у нас половины того что разработала в части кластеризации по Borg Google.
Dmytro
я про фаеркрекер и контейнерд писал
Значит перепутал, виноват
NM
Вот немного вброшу про алокацию IP : Learning from our experiences with Borg, we decided that Kubernetes would allocate an IP address per pod, thus aligning network identity (IP address) with application identity. This makes it much easier to run off-the-shelf software on Kubernetes: applications are free to use static well-known ports (e.g., 80 for HTTP traffic), and existing, familiar tools can be used for things like network segmentation, bandwidth throttling, and management. All of the popular cloud platforms provide networking underlays that enable IP-per-pod; on bare metal, one can use an SDN (Software Defined Network) overlay or configure L3 routing to handle multiple IPs per machine.
NM
И как следствие - мы работаем только с верхушкой айсберга в попытках кластеризовать приложение 😉 The vector makes it very hard to support jobs that span multiple clusters in a layer above Borg.
Dmytro
Чегой то ? Группа же по куберу: Общаемся на темы, посвященные Kubernetes, конфигурации и возможностям. Новости, вопросы, идеи и т.д.
Я за конструктивное общение. А претензии почему в поде больше одного контейнера это жалобы уровня почему http stateless
NM
То что у нас есть только половина из перечисленного что умеет Borg: The following partial list gives an idea of their range and variety: 1 Naming and service discovery (the Borg Name Service, or BNS). 2 Master election, using Chubby.2 3 Application-aware load balancing. 4 Horizontal (number of instances) and vertical (size of an instance) autoscaling. 5 Rollout tools that manage the careful deployment of new binaries and configuration data. 6 Workflow tools (e.g., to allow running multijob analysis pipelines with interdependencies between the stages). 7 Monitoring tools to gather information about containers, aggregate it, present it on dashboards, and use it to trigger alerts.
Artyom
А вообще это рептилоиды, масоны и скрытая правда
Artyom
Я к тому, что гугл может ещё шире на этот вопрос смотрит
Artyom
Даже шире концепции Borg
NM
Я за конструктивное общение. А претензии почему в поде больше одного контейнера это жалобы уровня почему http stateless
я не выставлял претензии по количеству контейнеров в pod 😉 я и говорю что нам тоже надо общаться и пояснил свою позицию - не замыкаться на pod
Nikita
господа, в ClusterRole есть apiGroups, resources, verbs. Где найти полный список всех возможных вариантов?
𝚔𝚟𝚊𝚙𝚜
А Borg на чём написан? - не на go же?
Andrey
Непривет Есть задача следующего типа: при деплое k8s secret и k8s deployment нужно расшифровывать значения в секрете и только после этого давать деплойменту этот секрет использовать в качестве env. Есть идеи? Детали: для работы с секретом надо выполняться от определённого сервисаккаунта; нужно предотвратить работу деплоймента с нерасшифрованным секретом или предыдущей его версией; желательно удалять расшифрованный секрет если удаляют оригинал. На данный момент попробовал один вариант: вместе с secret и deployment запускается job для расшифровки, а в deployment добавляется initContainer для ожидания расшифровки. Минусы: job не удаляется, не перезапускается при перезаписи секрета.
Andrei
Ребят, подскажите, плиз, а дефолтный планировщик можно как-то сконфигурить чтобы он шедулил поды в деплойменте поровну, игнорируя ресурсы? Или кастомить своим провайдером алгоритмов?
Andrey
вот да, есть идея сделать что-то наподобии sealedsecrets от bitnami, только опыта нет
Andrei
Да я уже шедулер частично сделал, а потом наткнулся на возможность подсунуть чисто алгоритм. Оператор в целом то вообще не сюда
Игорь
написать оператор?
универсальный ответ получился :)
𝚔𝚟𝚊𝚙𝚜
вот да, есть идея сделать что-то наподобии sealedsecrets от bitnami, только опыта нет
Если есть опыт с ansible посмотри на operator-sdk, имхо, это самый простой вариант
Andrei
Да нифига он не универсальный, как оператор то поможет
George
но у него есть второе дно - написать НОРМАЛЬНЫЙ оператор - сложно
Lucky SB
ага. в переводе на русский: Вы странный и хотите странного. Вот вам совочек, идите грузите камаз песком
George
а чтоб его еще вывести в продакшен. А потом у тебя кпубенейтс и 100500 несовместимых и сырых операторов
George
бинго
Andrey
Если есть опыт с ansible посмотри на operator-sdk, имхо, это самый простой вариант
какой-то был ещё machine operator в который можно кастомную логику запихнуть, забыл название и нагугглить не могу
someone
всем привет. можно как то в одном поде организовать контйнейр nginx с proxy_pass на на второй контейнер?
Andrei
Что значит "по ровну" ? ровно по какому параметру ?
Чтобы размазать равномерно по нодам. Кол-во штук/ноду. И игнорить ресурсы
someone
Можно. proxy_pass 127.0.0.1:xxx;
не совсем понимаю как. nginx слушает порт 443 и перенаправляет на localhost:8080, при этом второй контейнер не может подняться т.к port in use 8080
Andrei
Нет. Одной штуки не хватит. Я бы тогда не спрашивал
Евгений
Можно запустить n daemonset'ов :)
Евгений
Но вообще вы хотите странного
Lucky SB
Нет. Одной штуки не хватит. Я бы тогда не спрашивал
вы странный и хотите странного. почему одной штуки не хватит ? у вас там однопоточное приложение, которое больше одного запроса за раз не умеет обрабатывать ?
𝚔𝚟𝚊𝚙𝚜
ага. в переводе на русский: Вы странный и хотите странного. Вот вам совочек, идите грузите камаз песком
Ну сгененрить несколько kubernetes-ресурсов и организовать несложную логику для расшифровки секретов, по моему он для такого самое то, смотрите пример с memcached он же простой как табуретка: https://github.com/operator-framework/operator-sdk/blob/master/doc/ansible/user-guide.md
Dmytro
Как вариант в одном поде запустить несколько одинаковых контейнеров может?
𝚔𝚟𝚊𝚙𝚜
идемпотентность - наше всё
Lucky SB
не совсем понимаю как. nginx слушает порт 443 и перенаправляет на localhost:8080, при этом второй контейнер не может подняться т.к port in use 8080
ты щас глупость сказал. от того куда nginx проксирует пакеты занятость порта не зависит. у тебя сколько контейнеров в поде ?
Евгений
Да, самый важный вопрос -- зачем оно вам нужно так?
Dmytro
Но почему тогда сразу не запустить несколько процессов в одном контейнере
Dmytro
Это дичь какая-то
Угу, вопрос странный и ответ тоже
someone
ты щас глупость сказал. от того куда nginx проксирует пакеты занятость порта не зависит. у тебя сколько контейнеров в поде ?
2 контейнера. nginx поднимается первым и занимает 2 порта: 443 и 8080. приложение из второг оконтейнера пытается стартануть и пишет: Failed to bind to address http://[::]:8080: address already in use.
Andrey
Есть статьи по практикам использования Vault https://medium.com/cruise/secrets-management-3a7c47fe81b https://banzaicloud.com/blog/inject-secrets-into-pods-vault-revisited/
у меня не волт. Есть секрет с зашифрованными значениями, есть алгоритм дешифровки
Andrei
Вопрос не странный, он четкий и ответ на него тоже)
Lucky SB
Andrei
http://xyproblem.info/
Можно было точно так же ответить что не знаете
Alexander
у меня не волт. Есть секрет с зашифрованными значениями, есть алгоритм дешифровки
Ну у тебя пока не работает же. Возможно стоит посмотреть как люди пытаются сделать грамотное и безопасное решение.
Andrey
волт не подойдёт
Andrey
я знаю, потому что у меня уже он есть, я его использую.
Andrey
перехожу на google kms + workload identity в GKE
Andrey
секреты хранятся в зашифрованном виде в гите, расшифровываются в кубе с помощью сервисного аккаунта имеющего доступ к ключу
Andrei
https://github.com/kubernetes/enhancements/issues/895
Да, это видел, спасибо. Но оно, как и локальные сервисы, пока только в разработке
Andrey
о чём и речь
someone
ну так разберись почему у тебя в конфиге nginx есть строчки listen 8080; зачем твой nginx отнимает порт у приложения?
отдельно контейнер с nginx слушает порт 443. если через докер запускать. если запускается через kuber то порты которые слушает контейнер nginx: 0.0.0.0:8080 0.0.0.0:443
Lucky SB
ну если приложение не хочешь научить расшифровывать себе настройки. то сделай как банзай клауд. отдельная прога, которая все расшифрует и подсунет в переменные окружения процесса
Andrey
Да, это видел, спасибо. Но оно, как и локальные сервисы, пока только в разработке
сделай свой кастомный ресурс на подобии deployment, который будет репликами управлять
Andrei
Да зачем так сложно, нужно просто закастомить шедулер.
Andrei
Просто я когда начал свой писать, понял что придется добавлять и всю логику возни с affinity/antiaffnity/selectors А есть вот такая интересная возможность: https://books.google.ru/books?id=TmGLDwAAQBAJ&pg=PA351&lpg=PA351&dq=RegisterAlgorithmProvider&source=bl&ots=lqyOabyCaF&sig=ACfU3U1zjjKrDs0O09p-I30OYKZEym-1nA&hl=ru&sa=X&ved=2ahUKEwiy-6yij6TlAhWilIsKHc5nBAgQ6AEwA3oECAkQAQ#v=onepage&q=RegisterAlgorithmProvider&f=false
Lucky SB
отдельно контейнер с nginx слушает порт 443. если через докер запускать. если запускается через kuber то порты которые слушает контейнер nginx: 0.0.0.0:8080 0.0.0.0:443
каким образом смотришь ? заходишь в контейнер и делаешь netstat -ntpl ? показывай манифест деплоймента и конфиги nginx
Lucky SB
Ты API для ms azure пилишь ? :D
Andrey
приветствую! столкнулся со следующей проблемой: если в ингрессе указываю в правилах для хоста локейшен на новый сервис например: - host: service.example.ru http: paths: - path: / backend: serviceName: service servicePort: 80 - path: /new backend: serviceName: newservice servicePort: 80 то по какой то причине перестает работать канари ингресс который ведет на этот сервис nginx.ingress.kubernetes.io/canary: "true" nginx.ingress.kubernetes.io/canary-weight: "20" spec: rules: - host: service.example.ru http: paths: - backend: serviceName: newservice servicePort: 80 может быть кто-нибудь с таким сталкивался?
someone
Ты API для ms azure пилишь ? :D
в азуре разворачиваю
Lucky SB
netstat -ntpl покажи плиз еще из контейнера nginx
someone
netstat -ntpl покажи плиз еще из контейнера nginx
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 1/nginx: master pro tcp 0 0 0.0.0.0:443 0.0.0.0:* LISTEN 1/nginx: master pro