появилась странная идея, а можно ли кубелет садить отдельно от докеров на другом хосте например?

очень теоретически

например у меня есть арм-железки с 256мб памяти, кубелет может жрать половину этой памяти просто чтобы запуститься

а что вместо докеров? - или зачем вообще это?

а

ну это у меня теоретический интерес, как можно на малом объёме памяти жить

пришла в голову идея например докеры по tcp-сокету юзать

хотя докер-демон тоже память ест конечно

ну kubelet с докером через сокет общается - с этим проблем не должно быть

это да

и не юзать докер

особый шик - запустить кубелет на x86, а докеры на arm :D

ну вот если не юзать докер, а cri-containerd, то как оно будет?

а какой-нибудь runtime полегче

кстати kubelet еще о системе информацию какую-то собирает

вот да

повторюсь: интерес скорее теоретический

но это все мелочи, я думаю

думаю это можно как-то обработать или захакать

кстати не, не выйдет

у меня есть домашняя х86 железка и куча мелких arm-железок

как же mounts ?

а они делаются самим кубелетом?

attach/detach - кубелет этим занимается

хммм

опять же можно наверное захакать чтобы маунты были например в инит-контейнерах? :)

но предположим что у меня без маунтов

а, блин

конфигмапы это же тоже маунты

перед запуском пода кубелет подгатавливает пространство для пода (создает папочку и маунтит в нее все волюмы) потом запускает контейнер с этими щарами

+ cni тот же

ну вот типа если без конфигмапов, чисто на ENV и сети, то может взлететь кажется

хотя в поды же по-умолчанию прокидываются токены куберовские

но вроде это можно отключить

короче интересный вопрос! :)

не факт, контейнер скорее всего не взлетит если kubelet не подготовит почву для него

ну и от cni придется отказаться

ну в простейшем случае кубелет просто запускает контейнер точно так же как ты бы запустил например docker run blabla

если все волюмы отключить

если бы стояла такая задача, я бы запускал контейнеры с ssh-клиентом внутри, которые ходили бы на твои arm-железки и запускали какой-нибудь бинарник там :)

а волюмы, теоретически, можно создавать запуская кубелетом специальный привелигированный контейнер на хосте

то есть реально не имея доступа к хосту кроме сокета докера/cri

логи через stdout + не расходуется память на docker/kubelet на железке

если бы стояла такая задача, я бы запускал контейнеры с ssh-клиентом внутри, которые ходили бы на твои arm-железки и запускали какой-нибудь бинарник там :)

да нет задачи, теоретический интерес

Но по-хорошему их надо gpg шифровать и в гит, а в CI расшифровывать

Штоуууу

задача есть - теоретическая :)

тут остается классическая проблема разделения доступа, но пока что самый нормальный вариант

Штоууу

если бы стояла такая задача, я бы запускал контейнеры с ssh-клиентом внутри, которые ходили бы на твои arm-железки и запускали какой-нибудь бинарник там :)

или этот его аналог через udp, как его

mosh - во

не ну так же неинтересно!

так можно и без кубера решить вопрос

а волюмы, теоретически, можно создавать запуская кубелетом специальный привелигированный контейнер на хосте

а это еще больший костыль :)

конечно костыль

зато нативный!

если гошный бинарь запускать - то вообще норм вариант

но он же опять будет всегда жрать памяти и мы возвращаемся к той же проблеме

@Andorka а паппет агент много ram отжирает?

крон мало

не знаю, я не мерял, сколько папет агент жрёт памяти, потому что он запускается кроном раз в 30 минут

он не висит демоном

Вас забанят

Вас забанят

да ладно тебе, клёвая же тема для потрахаться с кубером :)

кстати еще вариант придумал средиректить rootfs с железки со всеми там /proc /sys и т.д. на хост с кубелетами и запустить kubelet в чруте

хз как оно работать будет, и заведется ли вообще :)

а ты хорош!

теоретически

кубелеты можно в контейнерах пускать

а? а? как вам идейка?

Боян жи

Не одобряю

но это не dind будет

а в контейнер фс маунтить с железок

ну вот вам кейс: у меня есть одна х86 железка и куча мелких дохлых армов

и если кубелет научить работать с cri удалённо, то кто мешает запустить эти кубелеты внутри контейнеров на x86?

кстати sni опять не взлетит, т.к. вся конфигурация сети через системные вызовы в ядре осуществляется

допустим я сделаю статик роуты

или ваще л2

ну то есть это ограничение можно обойти

достаточно безумная идея чтобы попробовать?

не знаю, я не мерял, сколько папет агент жрёт памяти, потому что он запускается кроном раз в 30 минут

Wat

Wat

не переводи тему!

Это утреннее обсуждение вообще легально?

пока нет :)

давайте ещё проблем которые могут возникнуть накидайте

Кроме того что ты обманываешь аписерсер и получаешь ерунду в метриках cadvisor'а?

а почему ерунду?

он же тоже по сокету общается

или нет?

блин

сложна

чота я думал что он по сокету общается, а теперь уже не уверен

если очень хочется, еще вариант swap-раздел через nbd

кубелет же будет ругаться на своп

а при чём тут своп? чота не въехал

ну его отучить одной опцией можно

Тогда своп будет юзаться не только кубелетом

а при чём тут своп? чота не въехал

что бы свободной памяти на твои железки добавить

не, это не пляски вокруг кубернетиса уже будут