https://github.com/kubernetes/kubernetes/issues/13479 status: open

не давать ему томов? размер тома можно ограничить

ты про разделы? просто возникла ситуация , когда контейнер активно писал лог в stdout и съел все доступное место на /

нет, я про PVS. В данном случае поможет только userquota, боюсь

и да, раздел для контейнеров надо было отдельный делать. / + swap - плохая практика

ты про разделы? просто возникла ситуация , когда контейнер активно писал лог в stdout и съел все доступное место на /

Стдаут же вне контейнера хранится

Логротейт обычно для такого используют, хотя к докеру я не прикручивал

а где хранится стдаут? и как?

или имеется ввиду логротейт внутри контейнера?

снаружи. /var/lib/docker/containers/HASH/*.log

дэнс-дэнс-дэнс :)

значит можно нормально этим адом управлять

https://blog.amartynov.ru/docker-logrotate/

в кубе разве json-file driver используется?

при запуске контейнера можно указывать log-driver

/var/lib/docker/containers/fe86180d26b9d275eaa8896433d4393fe0680df0e20b3b54a546828f0f510021/fe86180d26b9d275eaa8896433d4393fe0680df0e20b3b54a546828f0f510021-json.log

"LogConfig": { "Type": "json-file", "Config": {} }, мда

там же вроде есть прямой fluentd драйвер для большинства стандартных инсталляций

https://insights.ubuntu.com/2017/01/24/canonical-distribution-of-kubernetes-release-1-5-2/ - canonical в очередной раз ищет выход на улицу через окно.

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

Куда вообще копать/смотреть

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

Никто не решил эту проблему и вы не решите! Не позволяйте вылезти за пределы cgroup. Позволили, значит сами себе злобные буратино

и в ядрах бывают дыры-с, вот боль

Ну так своевременно обновление, решает эту боль

ок

а хостовые контейнеры (забыл как называются, которые делят сеть с нодой) не ограничены cgroups?

а хостовые контейнеры (забыл как называются, которые делят сеть с нодой) не ограничены cgroups?

Неймспейс сети не связан с сигрупами

пасиб

Парни привет, мысль насчет безопасности.. правильно ли я понимаю, что если некий хакер выползает из контейнера (докера), то он получает рута на ноде? А так как ноды взаимозаменяемы, то потенциально постепенно на всех нодах кластера. Грустно с этим жить. Кто-нибудь заморачивался решением этой проблемы?

точно так же, как живут с виртуалками и контейнерами в целом. у гипервизоров бывают дырки. Своевременное закрытие, чтение sec-рассылок и мануалов приветствуется.

спасибо, согласен, осталось безопасников убедить)

безопасники в этом уже шарят? :)

в процессе. перед тем как выпустить новую систему в прод они её конечно изучат)

#whois привет. меня зовут Игорь Булатенко, безопасник в QIWI. Могу быть полезен сообществу в общих вопросах безопасности )

Кто использует Stateful/Pet Sets, что они конкретно вам позволяют делать, что проблематично без них?

может кто сталкивался с такой проблемой. планируем использовать кубер и есть вопрос по тому, как делать сетевые ACL-и при обращении к каким-то сервисам вне этого облака. единственное, на основе чего можем делать ACL - source ip. как я понимаю, в стандартном варианте есть возможность только задать диапазон, из которого можно брать ip-адреса, при это все поды будут брать из этого диапазона есть ли какая-то возможность более тонко эти управлять - типа вот такой под должен брать адрес из сетки 192.168.1.0/24, другой под из сети 192.168.2.0/24. типа разделить по логическим сервисам

Кто использует Stateful/Pet Sets, что они конкретно вам позволяют делать, что проблематично без них?

Статик имена/ip подов + автоматическое создание вольюмов в нужном количестве

IP тоже? там вроде используется headless service и при пересоздании/обновлении мне кажется ИП поменяются

IP тоже? там вроде используется headless service и при пересоздании/обновлении мне кажется ИП поменяются

про ip наврал, но хостнем точно остаётся

#whois привет. меня зовут Игорь Булатенко, безопасник в QIWI. Могу быть полезен сообществу в общих вопросах безопасности )

Всем привет. Те же вводные, только Денис и сетевик. #whois

мы не добрались еще до нетворк-полиси(

мы не добрались еще до нетворк-полиси(

скоро доберёмся :)

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

http://picscomment.com/pics/63021444300989.jpg

привет :)

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

k8s вполне production-ready. Но учится все равно придется

k8s вполне production-ready. Но учится все равно придется

не сам k8s, а готовые решения поверх.

зачем вам решение поверх? Чем сам к8с не устраивает?

#whois > Какой у вас проект или где работаете? Делаю всякое на заказ (фриланс), поднимаю свои проекты. На данном этапе работаю над mirstroek.ru. > В чём вы специалист? Всего по-маленьку. бэкенды, фронтенды, немного администрирования. В основном js. > Чем можете быть интересны или полезны сообществу? Думаю, что смог бы отвечать на вопросы новичков и помогать людям въехать, потому что сейчас на себе чувствую, что порог вхождения не низкий. > Чем интересно сообщество вам? В сети много гайдов, готовых решений, но очень сложно найти лучшие практики и уж тем более найти людей, которые скажут с чего начать и в нужный момент скажут "ты творишь херню, надо по-другому". > Откуда вы? Казань > Как узнали про группу? Подсказали в группе @react_js

Очень долго думал стоит ли брать и изучать к8с. Решил что лучше попробовать, а потом думать. И у меня с ходу два вопроса: 1. Понял что можно и без CoreOS, но стоит ли? Не нахлебаюсь ли я проблем без неё? Может она из коробки решает пачку проблем, которые без неё придётся резгребать месяц. 2. Нужна ведь приватная сеть между хостами в кластере? Потому что вроде как к8с вешает порты контейнеров на внешние порты, чтобы контейнеры на разных хостах могли общаться. Ясное дело, что я не хочу, чтобы он открывал порты на публичном ip моего хоста. Значит нужна приватная (защищённая) сеть. Верно?

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

Если не знаешь точно зачем тебе это нужно в контейнерах - пользуйся VM

Очень долго думал стоит ли брать и изучать к8с. Решил что лучше попробовать, а потом думать. И у меня с ходу два вопроса: 1. Понял что можно и без CoreOS, но стоит ли? Не нахлебаюсь ли я проблем без неё? Может она из коробки решает пачку проблем, которые без неё придётся резгребать месяц. 2. Нужна ведь приватная сеть между хостами в кластере? Потому что вроде как к8с вешает порты контейнеров на внешние порты, чтобы контейнеры на разных хостах могли общаться. Ясное дело, что я не хочу, чтобы он открывал порты на публичном ip моего хоста. Значит нужна приватная (защищённая) сеть. Верно?

1. Цель какая? 2. Нужна

1. Цель какая? 2. Нужна

Цель: настроить деплой 20+ микросервисов на N серверов. Микросервисы между собой очень интесивно общаются по http. Сейчас всё это пока лишь в дев-окружении и сервисы стучаться друг к другу по именам (т.е. я, например, могу из сервиса отвечающего за юзеров послать запрос к сервису отвечающему за аватарки и для это шлю запрос на http://users-avatars-service:3000/v1/). Работает это всё на одной машине с docker-compose. Хотелось бы, сохранив возможность обращения из одного сервиса к другому по имени, подготовить всё это к реальной эксплуатации.

Цель: настроить деплой 20+ микросервисов на N серверов. Микросервисы между собой очень интесивно общаются по http. Сейчас всё это пока лишь в дев-окружении и сервисы стучаться друг к другу по именам (т.е. я, например, могу из сервиса отвечающего за юзеров послать запрос к сервису отвечающему за аватарки и для это шлю запрос на http://users-avatars-service:3000/v1/). Работает это всё на одной машине с docker-compose. Хотелось бы, сохранив возможность обращения из одного сервиса к другому по имени, подготовить всё это к реальной эксплуатации.

это все элементарно настраивается в k8s без какого-либо дополнительного обвеса. Надо поставить и один раз разобраться. Дальше просто делать по образцу

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

Из чата в чат бродят сообщения о каких-то магических способах решения проблем, которые один раз ввел сам не понимаю что, и оно работает, но, блин, ребята, такого никогда не было и не бывает.

Привет. Есть ли для k8s production-ready решения для backing services? mysql/mongo/rabbitmq scaling/self-healing Есть ли "настроил и работает" вообще решения для этого, может быть вне k8s? Сейчас мы это решаем толпой DBA и тяжким(ВНЕЗАПНЫМ) ручным трудом. Слышал о mysql galera, но знакомые в Яндекс говорят запись просаживается на порядок. Сами не пробовали. Я задаю вопрос как клиент этих самых backing services, без экспертизы. С приложениями все гладко. А базы отстают от темпов разработки.

всё имеет свою цену. Галера проседает на запись, потому что ждёт подтверждения от всех участников кластера. Если делать галеру асинхронной, то скорость на запись будет ОК, но не будет консистентности. В общем, определись с приоритетами, и ты сам сможешь ответить на свой вопрос

P.S. Ставить в один ряд зайчика и мускуль - это странно

что до мускуля, то там, кажется, нет нормальных вариантов вообще

Всё зависит от того, что ты понимаешь под "нормальное" :)

Всем салют! Не помню, было или нет... etcd кластер на отдельных машинах лучше пускать, или прям на кубовых нодах? Или и то и другое сразу

на мастер нодах обычно

ну и ноды лучше до etcd не пускать

Спасибо. У кого иное мнение есть?

а сеть на чем в кубе?

Для больших кластеров раньше рекомендлвали отдельно деплоить, для лучшего перфоманса: https://kubernetes.io/docs/admin/cluster-large/ Только не понятно зачем нужен большой кластер без Muli-tenancy

Иногда на нодах flannel и надо пускать

парни у кого нибудь работает конфиг с несколькими мастерами в НА?

подозреваю, что у большинства. Не один же его в прод запускать

когда падает один аписервер нужно на остальных править count?

https://github.com/kubernetes/kubernetes/issues/22609

или вы запускаете несколько apiserver ы без count и внешним балансировщиком выбираете один из?

коллеги, подскажите пжлст, что вы используете в качестве провайдера авторизации для к8? Есть задача дать туда доступ многим и ограничить по ролям. Сейчас используем тупой csv с паролями, очень не нравится

присоединяюсь к вопросу. Видел https://github.com/coreos/dex но не разбирался как оно устроено

как раз его так же пробуем, но пока реализация еще не готова

для начала разобраться бы, sql, или nosql. задачи?

оракл сейчас проигрывает абсолютно все позиции по sql

у меня возникает ощущение, что я вижу конец какой-то дискуссии. Можно ссылку на начало?

у оракл есть два мощнейших плюса: - легаси - сертификаты внедрения (сборка железо+софт+гарантия). В некоторых случаях это важно

легаси это плюс? железо у оракла? а лицензирование в курсе как они адуют?

легаси – это сложившаяся практика. Если вы предложите сберу перевести процессинг на монгу – они пошлют вас очень далеко, и сделают соврешенно правильно. железо у оракла с момента покупки сана. Не смотря на старательную зачистку того, что там осталось – оно еще существует. Кроме того, существуют сертифицированные решения (например - HP BL7kc + RHEL5 + Oracle DBE). С которыми оракл обещает отсутствие глюков совместимости хотя бы.

Лицензирование мало волнует, как они адуют. До тех пор, пока работа в рамках лицензии производится – лицензиантов окружающий мир волнует мало. Не они же будут платить за конфеты!

Ох, Павел, плохо вы про современный энтерпрайз думаете. Я не предлагаю сберу (гыгы) на монго переезжать. Железо от сана это смех и грех. От RHEL5 я просто смеюсь. Оракл может все что угодно обещать, но сейчас не те реалии.

Нет ни одной сапр, которая бы котировалась на биржах, котоая бы поддерживала хоть какую-нибудь другую базу, кроме как оракл