Pavel там ответили в тикете https://github.com/kubernetes/kubernetes/issues/40349#issuecomment-274801624 По ходу совсем хорошего решения пока нет

А что там решили с организацией митапа на февраль?

Формируем доклады. Пока лайнап такой: 1. Интро в Kubernetes 2. Опыт с Kubernetes от Avito 3. Экосистема Mirantis для Kubernetes

А что там решили с организацией митапа на февраль?

Есть что-нибудь интересное поделиться?)

Есть что-нибудь интересное поделиться?)

Вот думаю, темы заявлены интересные, будет ли интересно послушать про интеграцию GitLab + k8s или prometheus+grafana?

Я не в москве, но мне было бы очень интересно послушать о том, как устроен какой-нибудь CI с выладкой в куб у других (это, насколько понимаю, и есть куб + гитлаб)

насчёт п.3 - Мирантис - подтверждаю, только название может немного другое придумаем, поговорю с менеджментом

Я не в москве, но мне было бы очень интересно послушать о том, как устроен какой-нибудь CI с выладкой в куб у других (это, насколько понимаю, и есть куб + гитлаб)

Как раз в первом докладе расскажу про Concourse CI + Kubernetes :)

Вот думаю, темы заявлены интересные, будет ли интересно послушать про интеграцию GitLab + k8s или prometheus+grafana?

Да

Да

отлично

Видео будет?

Щас как раз начал делать jenkins/k8s

от площадки зависит

Скорей всего сделаем что-нибудь)

Запись или трансляцию

Щас как раз начал делать jenkins/k8s

++

я кстати не до конца уверен что jenkins мне подходит с его "богатым набором возможностей", потому то по факту мне нужен только pipeline, интеграция с docker/kubernetes и возможность билдить на удаленных агентах поэтому, если у кого есть положительный опыт с более простой системой подходящей под эти требования то говорите пока не поздно :)

Concourse CI выглядит довольно няшно. там каждый pipeline описывается yaml файликом. подход похож на k8s. но я не использую, только игрался

++

если б там еще и артефакты сохранять можно было, да еще blue ocean ui припаять )

??? Друзья, мы рады анонсировать первый митап по Kubernetes, который состоится 15 февраля в Москве! Приходите, будем рады пообщаться про Kubernetes с самых разных сторон. Предварительная программа: 19:00 – сбор гостей и знакомство 19:30 – вступительное слово и дайджест 19:45 – от CoreOS к Kubernetes и Concourse CI, Денис Измайлов 20:10 – Grafana, Prometheus и GitLab CI с Kubernetes, Виктор Логин 20:40 – кофе-брейк 21:00 – Экосистема Mirantis для Kubernetes, Иван Шведунов, Kubernetes Senior Engineer 21:30 – свободное общение https://www.meetup.com/Moscow-Kubernetes-Meetup/events/237164023/

Будем пинить с уведомлением? )

если б там еще и артефакты сохранять можно было, да еще blue ocean ui припаять )

И если бы ещё не бесконечные pull / push :)

Concourse CI выглядит довольно няшно. там каждый pipeline описывается yaml файликом. подход похож на k8s. но я не использую, только игрался

ммм... может и попробую

Там есть подводные камни

Если время сборки важно

для меня вот это все пока непривычно... просто скажи, имеет смысл ресерчить чтоб jenkins заменить?

да, потому что в дженкинсе (и go.cd) все очень плохо с менеджментом и воссозданием джоб, а в concourse ты просто используешь yaml-файлы, и, при необходимости, можешь хоть шаблонизировать их

а есть пример пайплайна а-ля "посмотрели новый тег в гите, сбилдили докер, запустили в нем тесты, положили докер в регистри"? чтоб просто понять как это выглядит :)

может и есть где-то, я уже не помню, но вот их туториалы/примеры https://github.com/starkandwayne/concourse-tutorial

https://stackshare.io/stackups/drone-io-vs-concourse

Всем привет, Я Александр Хаёров (Alexander Khaerov), руковожу отделом в Ingram Micro (ex Parallels), вероятно мы будем хотингом для митапа и сделаем доклад конечно. Немного о наc - пишем на JS (angular1,2), python, ansible, разворачиваемся в Google Cloud Platform, используем AppEngine, конечно docker и немного kubernetes также в GCP #whois

кто-нибудь запускал в облаке контейнер с поддержкой docker на борту?

А на чем застопорился?

на том что вообще не знаю как это сделать :)

Емнип поставить privileged флаг и, возможно, докинуть capabilities, в качестве референса можно брать jpetazzo/dind, там в доке все должно быть. Единственное что сам куб может запрещать ptivileged флаг, но я до туда не доходил еще

парни а как ограничить физический размер контейнера на диске? у кубера лимиты только cpu и memory?

не давать ему томов? размер тома можно ограничить

кто-нибудь запускал в облаке контейнер с поддержкой docker на борту?

https://github.com/marun/nkube

https://github.com/kubernetes/kubernetes/issues/13479 status: open

не давать ему томов? размер тома можно ограничить

ты про разделы? просто возникла ситуация , когда контейнер активно писал лог в stdout и съел все доступное место на /

нет, я про PVS. В данном случае поможет только userquota, боюсь

и да, раздел для контейнеров надо было отдельный делать. / + swap - плохая практика

ты про разделы? просто возникла ситуация , когда контейнер активно писал лог в stdout и съел все доступное место на /

Стдаут же вне контейнера хранится

Логротейт обычно для такого используют, хотя к докеру я не прикручивал

а где хранится стдаут? и как?

или имеется ввиду логротейт внутри контейнера?

снаружи. /var/lib/docker/containers/HASH/*.log

дэнс-дэнс-дэнс :)

значит можно нормально этим адом управлять

https://blog.amartynov.ru/docker-logrotate/

в кубе разве json-file driver используется?

при запуске контейнера можно указывать log-driver

/var/lib/docker/containers/fe86180d26b9d275eaa8896433d4393fe0680df0e20b3b54a546828f0f510021/fe86180d26b9d275eaa8896433d4393fe0680df0e20b3b54a546828f0f510021-json.log

"LogConfig": { "Type": "json-file", "Config": {} }, мда

там же вроде есть прямой fluentd драйвер для большинства стандартных инсталляций

https://insights.ubuntu.com/2017/01/24/canonical-distribution-of-kubernetes-release-1-5-2/ - canonical в очередной раз ищет выход на улицу через окно.

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

Куда вообще копать/смотреть

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

Никто не решил эту проблему и вы не решите! Не позволяйте вылезти за пределы cgroup. Позволили, значит сами себе злобные буратино

и в ядрах бывают дыры-с, вот боль

Ну так своевременно обновление, решает эту боль

ок

а хостовые контейнеры (забыл как называются, которые делят сеть с нодой) не ограничены cgroups?

а хостовые контейнеры (забыл как называются, которые делят сеть с нодой) не ограничены cgroups?

Неймспейс сети не связан с сигрупами

пасиб

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

точно так же, как живут с виртуалками и контейнерами в целом. у гипервизоров бывают дырки. Своевременное закрытие, чтение sec-рассылок и мануалов приветствуется.

спасибо, согласен, осталось безопасников убедить)

безопасники в этом уже шарят? :)

в процессе. перед тем как выпустить новую систему в прод они её конечно изучат)

#whois привет. меня зовут Игорь Булатенко, безопасник в QIWI. Могу быть полезен сообществу в общих вопросах безопасности )

Кто использует Stateful/Pet Sets, что они конкретно вам позволяют делать, что проблематично без них?

может кто сталкивался с такой проблемой. планируем использовать кубер и есть вопрос по тому, как делать сетевые ACL-и при обращении к каким-то сервисам вне этого облака. единственное, на основе чего можем делать ACL - source ip. как я понимаю, в стандартном варианте есть возможность только задать диапазон, из которого можно брать ip-адреса, при это все поды будут брать из этого диапазона есть ли какая-то возможность более тонко эти управлять - типа вот такой под должен брать адрес из сетки 192.168.1.0/24, другой под из сети 192.168.2.0/24. типа разделить по логическим сервисам

Кто использует Stateful/Pet Sets, что они конкретно вам позволяют делать, что проблематично без них?

Статик имена/ip подов + автоматическое создание вольюмов в нужном количестве

IP тоже? там вроде используется headless service и при пересоздании/обновлении мне кажется ИП поменяются

IP тоже? там вроде используется headless service и при пересоздании/обновлении мне кажется ИП поменяются

про ip наврал, но хостнем точно остаётся

#whois привет. меня зовут Игорь Булатенко, безопасник в QIWI. Могу быть полезен сообществу в общих вопросах безопасности )

Всем привет. Те же вводные, только Денис и сетевик. #whois

мы не добрались еще до нетворк-полиси(

мы не добрались еще до нетворк-полиси(

скоро доберёмся :)

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

http://picscomment.com/pics/63021444300989.jpg

привет :)

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

k8s вполне production-ready. Но учится все равно придется