Danila
Самое главное(для меня) чтобы в случае, если клиент в одном из контейнеров запустит гипотетическую хрень, которая полезет к соседям, то у приложения не получилось увидеть что-то за пределами своего контейнера(я в основном про файловую систему)
Rainbow
Самое главное(для меня) чтобы в случае, если клиент в одном из контейнеров запустит гипотетическую хрень, которая полезет к соседям, то у приложения не получилось увидеть что-то за пределами своего контейнера(я в основном про файловую систему)
В облаках, где есть базы и s3 новым приложениям особо не нужно монитироваться на fs. Прям стало интересно, можно ли это на уровне kubelet отключить.
Rainbow
Вопрос скорее к докеру, можно ли запретить volume
𝚔𝚟𝚊𝚙𝚜
Вопрос скорее к докеру, можно ли запретить volume
Так там же есть негласные волумы еще
/dev/termination-log например
𝚔𝚟𝚊𝚙𝚜
а так же конфигмапы все и секреты
Vadim
ФС уже давно надежно неймспейснута, тут вопрос в других кернельных вещах
Vadim
Впрочем, не знаю чего все так радуются "микро"ВМ - как вы их шедулить будете на бареметалле? Опенстаком?
𝚔𝚟𝚊𝚙𝚜
ФС уже давно надежно неймспейснута, тут вопрос в других кернельных вещах
емнип там с инодами какая-то проблема была
𝚔𝚟𝚊𝚙𝚜
https://opennet.ru/opennews/art.shtml?num=40046
Sergey
зачем
𝚔𝚟𝚊𝚙𝚜
там в 2018 чет было похожее
Sergey
а 14 причем?)
𝚔𝚟𝚊𝚙𝚜
https://www.opennet.ru/opennews/art.shtml?num=49649
Sergey
😁
𝚔𝚟𝚊𝚙𝚜
https://kubernetes.io/blog/2018/04/04/fixing-subpath-volume-vulnerability/
𝚔𝚟𝚊𝚙𝚜
@vrutkovs а selinux не предотарвщает такие проблемы?
Vadim
@vrutkovs а selinux не предотарвщает такие проблемы?
Такую - нет, разве что особые лейблы некоторым контейнерам давать
Vadim
Но сильно уменьшит масштаб трагедии - читать /etc не получится
𝚔𝚟𝚊𝚙𝚜
а из других контейнеров?
Vadim
Обычно им один лейбл дается, но можно выделить в отдельную группу
Igor
Впрочем, не знаю чего все так радуются "микро"ВМ - как вы их шедулить будете на бареметалле? Опенстаком?
подменяется рантайм для docker на https://github.com/firecracker-microvm/firecracker-containerd
и вместо контейнеров поднимаются виртуалки
Vadim
И в чем преимущества?
Igor
изоляция лучше чем у контейнеров
Bin-pack disparate container workloads on the same host, while maintaining a high level of isolation between containers. Because the overhead of Firecracker is low, the achievable container density per host should be comparable to running containers using kernel-based container runtimes, without the isolation compromise of such solutions. Multi-tentant hosts would particularly benefit from this use case.
Igor
а время старта почти такое же ~100ms
Vadim
100мс - это огромное число, простите
Vadim
Crio+runc в 30-50 помещаются
Andor
один хрен скедулер дольше раздупляется
Igor
я тут недавно запускал java и для livness/readness probs initialDelaySeconds пришлось выставлять 15 секунд)
𝚔𝚟𝚊𝚙𝚜
не ну вообще тема с безопасными виртуалками достаточно интересная, но мне кажется что здесь больше появится проблем чем будет решено.
Да, виртуалки безопаснее их можно килять с -9, но что на счет производительности? - придется виртуализировать те же сетевые карты и дисковую подсистему.
𝚔𝚟𝚊𝚙𝚜
В идеале если бы куб научится управлять виртуалками самостоятельно, что бы можно было выкинуть OpenStack. Но плодить виртуалку под каждый под, мне кажется оверхедом.
𝚔𝚟𝚊𝚙𝚜
Типа можно замутить какой-нибудь CRD для описания виртуалок и оператора. Дальше описываешь нужное количество виртуалок в CRD, они создаются и добавляются как Nodes в куб.
𝚔𝚟𝚊𝚙𝚜
когда они больше не нужны - просто сносишь CRD, они все схлопываются.
𝚔𝚟𝚊𝚙𝚜
хотя такое и на опенстэке можно провернуть, получается это все равно не проблема куба.
Vadim
Типа можно замутить какой-нибудь CRD для описания виртуалок и оператора. Дальше описываешь нужное количество виртуалок в CRD, они создаются и добавляются как Nodes в куб.
https://github.com/kubernetes-sigs/cluster-api + ignition для кубернетесовских частей + tls bootstrapping
Никита
Я тут про virtual kubelet читал, выглядит как будто им можно изи-преизи поинтегрироваться с каким-нить гипервизором и запускать виртуалки вместо контейнеров.
Vadim
не ну вообще тема с безопасными виртуалками достаточно интересная, но мне кажется что здесь больше появится проблем чем будет решено.
Да, виртуалки безопаснее их можно килять с -9, но что на счет производительности? - придется виртуализировать те же сетевые карты и дисковую подсистему.
Так аиазон такое умеет, с удовольствием срубит бабла за "отдельный под в отдельной виртуалке"
Михаил
Vadim
Alexander
100мс - это огромное число, простите
А кстати когда файркракер полезен впринципе, зачем может быть нужна вм овер контейнер/под?
Михаил
В идеале если бы куб научится управлять виртуалками самостоятельно, что бы можно было выкинуть OpenStack. Но плодить виртуалку под каждый под, мне кажется оверхедом.
я раз в пару месяцев обдумываю эту идею
ответ один: если для своей инфры, то да это реально и удобно
почему? да потому что сетевые плагины
если писать для себя, то норм, а если универсальное решение, то адище
Никита
С одной стороны кублет, а с другой -- что угодно. Можно, например, в ecs fargate запускаться и не менеджить ноды.
Никита
Картиночки и пример: https://aws.amazon.com/ru/blogs/opensource/aws-fargate-virtual-kubelet/
Vadim
https://github.com/virtual-kubelet/virtual-kubelet
какая-то серверлесс ахинея. Тем временем пионэр всего этого ада - hyper.sh - отдаст концы 15го января
𝚔𝚟𝚊𝚙𝚜
Ну кстати ничто не мешает и qemu-kvm в подах запускать, с тем же успехом :)
𝚔𝚟𝚊𝚙𝚜
а потом и рабочую нагрузку внутри
Михаил
Ну кстати ничто не мешает и qemu-kvm в подах запускать, с тем же успехом :)
чем это лучше оператора для запуска вм?
Maxim
𝚔𝚟𝚊𝚙𝚜
чем это лучше оператора для запуска вм?
отсутствием лишних сущностей. Все что нужно - это кластер kubernetes. Пример:
Создаешь кластер, добавляешь bare metal ноды, на все ноды вешаешь taint запрещающий на них шедулить что-то.
Затем запускаешь специальный деплоймент с replicas: 10, который раскатывает тебе 10 виртуалок на хостах с kubelet внутри, и добавляет их как ноды в кластер.
Vadim
А кстати когда файркракер полезен впринципе, зачем может быть нужна вм овер контейнер/под?
тем что это свежий код на расте, а не мешанина в libvirt
𝚔𝚟𝚊𝚙𝚜
тут даже libvirt получается не нужен, qemu-kvm запускается как процесс обычный, а следовательно может быть контейнеризирован
Михаил
тут даже libvirt получается не нужен, qemu-kvm запускается как процесс обычный, а следовательно может быть контейнеризирован
оператором проще будет темплейтить xml для либвирта
Vadim
отсутствием лишних сущностей. Все что нужно - это кластер kubernetes. Пример:
Создаешь кластер, добавляешь bare metal ноды, на все ноды вешаешь taint запрещающий на них шедулить что-то.
Затем запускаешь специальный деплоймент с replicas: 10, который раскатывает тебе 10 виртуалок на хостах с kubelet внутри, и добавляет их как ноды в кластер.
machine api умеет за этими виртуалками следить, репортить статус и создавать разные группы, так что сущностей тут надо много, оператор в самый раз
Михаил
𝚔𝚟𝚊𝚙𝚜
так можно и его туда прикрутить
𝚔𝚟𝚊𝚙𝚜
в качестве провайдера
Vadim
libvirt уже прикручен в опеншифтовском, не знаю есть ли смысл в firecracker - это все для девелоперов в любому случае, никаких особых выгрышей в скорости не будет
𝚔𝚟𝚊𝚙𝚜
libvirt уже прикручен в опеншифтовском, не знаю есть ли смысл в firecracker - это все для девелоперов в любому случае, никаких особых выгрышей в скорости не будет
именно libvirt? - я там только OpenStack нашел
Vadim
именно libvirt? - я там только OpenStack нашел
https://github.com/openshift/machine-api-operator#architecture
𝚔𝚟𝚊𝚙𝚜
прикольно
Arczi
Парни может у кого то есть и хочет поделиться готовым gitlab-ci для deploy node:js app
Arczi
?
Rainbow
Парни может у кого то есть и хочет поделиться готовым gitlab-ci для deploy node:js app
script:
- docker build -t app registry.own.com/ns/app:$CI_COMIT_SHA
- docker login -u gitlab-ci-token -p $CI_BUILD_TOKEN registry.own.com
- docker push registry.own.com/ns/app:$CI_COMIT_SHA
- cat k8s.yml | envsubst | kubectl apply -f -
Anonymous
подменяется рантайм для docker на https://github.com/firecracker-microvm/firecracker-containerd
и вместо контейнеров поднимаются виртуалки
Т.е. я могу использовать все фичи контейнеров docker, но в виптуалке? И смогу туда примонтировать gce/ ebs/ ceph rbd и проч . ?
Danila
В облаках, где есть базы и s3 новым приложениям особо не нужно монитироваться на fs. Прям стало интересно, можно ли это на уровне kubelet отключить.
Только если Вы не хотите построить свое маленькое облако на базе bare-metal
Danila
В таком кейсе Вам все же придется подумать о ФС
Stanislav
или построить свой s3 :-)
Stanislav
Кстати, не рекомендую строить что-то на riak.
Stanislav
Точнее, строить что-то полноразмерное.
Rainbow
Кстати, не рекомендую строить что-то на riak.
Не рекомендую поверх сложнее db и s3 использовать
Stanislav
не, я про то, что была такая хрень - riak-cs, которая делала s3 поверх riak. Так вот, при более-менее промышленных нагрузках - глючит-с...
Stanislav
вплоть до потери данных
Rainbow
не, я про то, что была такая хрень - riak-cs, которая делала s3 поверх riak. Так вот, при более-менее промышленных нагрузках - глючит-с...
Тот же цеф глючит и теряет данные в руках не самых топовых людей. Поэтому просто не надо)