NM
Ушел пить пиво
Anonymous
Привет, есть ли какой то способ ограничить для части пользователей доступ к каким то ресурсам? Например что бы некоторые пользователи при попытке сделать kubectl get pods не получали в списке какие то поды
Й
Й
https://kubernetes.io/docs/reference/access-authn-authz/rbac/
Andrey
Anonymous
Andrey
Andrey
Дай угадаю: ресурсы одного типа и в одном неймспейсе?
Й
?
Anonymous
ну например я не хочу что бы какие нибудь жуны могли смотреть networkpolicies
Anonymous
что бы могли смотреть только поды и сервисы
Andrey
Andrey
Anonymous
ок это все
Andrey
?
Я опять чуть было не посоветовал свое "пили контроллер", но кейс оказался проще, чем я его понял
Andrey
Andrey
Все сервисы через операторы и гоняем
Andrey
Что-то в опенсорсе
Andrey
Большинство уже существующих операторов, кстати, хрень. Мы написали свои для редиса, рэббитмку и постгреса (для него есть норм, но всех наших хотелок не покрывают). Скоро допилим оператор для эластиксерча. Очень вероятно, что будет ещё куча.
Andrey
Из опенсорсных в чистом виде юзаю только vault оператор от banzaicloud - рекомендует себя пока хорошо
Й
Andrey
Andrey
Ресурсов на должное публичное оформление нехватка, так конечно планирую хоть для кроля публичный образ запилить
Andrey
А там и остальное
Й
Ай, не становитесь префекционистом) Оставьте это комьюнити. Пиары, фиксящие явные ляпы, быстро накидают, а попутно может ещё что-то добавят/улучшат
Andrey
Примеров там набросать, ридми с тем, что как работает и что мы реально тестили и юзаем в продакшене, а что нет. А то так разве что за щеку пиаров накидают.
George
Alexey
krakazyabra
krakazyabra
@kvaps оказал свое влияние :)
Andrey
Qbec
Погуглил - неплохо. Мы юзаем kustomize и свои контроллеры
Alexey
Алексей
qbec рулит
Алексей
обновлю вопрос
Алексей Смирнов, [25 окт. 2019 г., 15:21:21]:
есть нода 4 cpu
есть другие ноды с большим количеством
делаем деплой с request: 4
прибиваем его на ноду с 4 cpu, он гарантированно не влезает ( служебные тоже кушают)
kubectl apply -> плодаятся OutOfcpu, очень быстро -> имеем проблемы
cpu можно заменить на любой другой preasure (диск проверял, память лениво)
поведение одинаковое на 13 15 16 версиях
какие идеи?
Марат Рахимов, [25 окт. 2019 г., 15:24:08]:
не пихать невпихуемое?
Алексей Смирнов, [25 окт. 2019 г., 15:40:15]:
ок
нода, впихнуто впихуемое, ночью что то взорвалось пошел диск preasure, под пошел эвиктится, время 1 ночи, через 3 часа ктото понял что что то не в порядке
контрол плэйн лег ( в etcd улутело пара тройка сотен тысяч записей )
такой сценарий?
сценарий одинаковый и на cpu и на disk preasure
просто на cpu его проще воспроизвести
G72K
обновлю вопрос
Алексей Смирнов, [25 окт. 2019 г., 15:21:21]:
есть нода 4 cpu
есть другие ноды с большим количеством
делаем деплой с request: 4
прибиваем его на ноду с 4 cpu, он гарантированно не влезает ( служебные тоже кушают)
kubectl apply -> плодаятся OutOfcpu, очень быстро -> имеем проблемы
cpu можно заменить на любой другой preasure (диск проверял, память лениво)
поведение одинаковое на 13 15 16 версиях
какие идеи?
Марат Рахимов, [25 окт. 2019 г., 15:24:08]:
не пихать невпихуемое?
Алексей Смирнов, [25 окт. 2019 г., 15:40:15]:
ок
нода, впихнуто впихуемое, ночью что то взорвалось пошел диск preasure, под пошел эвиктится, время 1 ночи, через 3 часа ктото понял что что то не в порядке
контрол плэйн лег ( в etcd улутело пара тройка сотен тысяч записей )
такой сценарий?
сценарий одинаковый и на cpu и на disk preasure
просто на cpu его проще воспроизвести
У вас etcd что, не статик подами было?
Andrey
обновлю вопрос
Алексей Смирнов, [25 окт. 2019 г., 15:21:21]:
есть нода 4 cpu
есть другие ноды с большим количеством
делаем деплой с request: 4
прибиваем его на ноду с 4 cpu, он гарантированно не влезает ( служебные тоже кушают)
kubectl apply -> плодаятся OutOfcpu, очень быстро -> имеем проблемы
cpu можно заменить на любой другой preasure (диск проверял, память лениво)
поведение одинаковое на 13 15 16 версиях
какие идеи?
Марат Рахимов, [25 окт. 2019 г., 15:24:08]:
не пихать невпихуемое?
Алексей Смирнов, [25 окт. 2019 г., 15:40:15]:
ок
нода, впихнуто впихуемое, ночью что то взорвалось пошел диск preasure, под пошел эвиктится, время 1 ночи, через 3 часа ктото понял что что то не в порядке
контрол плэйн лег ( в etcd улутело пара тройка сотен тысяч записей )
такой сценарий?
сценарий одинаковый и на cpu и на disk preasure
просто на cpu его проще воспроизвести
Outofcpu? Это с static политикой по cpu management?
Andrey
обновлю вопрос
Алексей Смирнов, [25 окт. 2019 г., 15:21:21]:
есть нода 4 cpu
есть другие ноды с большим количеством
делаем деплой с request: 4
прибиваем его на ноду с 4 cpu, он гарантированно не влезает ( служебные тоже кушают)
kubectl apply -> плодаятся OutOfcpu, очень быстро -> имеем проблемы
cpu можно заменить на любой другой preasure (диск проверял, память лениво)
поведение одинаковое на 13 15 16 версиях
какие идеи?
Марат Рахимов, [25 окт. 2019 г., 15:24:08]:
не пихать невпихуемое?
Алексей Смирнов, [25 окт. 2019 г., 15:40:15]:
ок
нода, впихнуто впихуемое, ночью что то взорвалось пошел диск preasure, под пошел эвиктится, время 1 ночи, через 3 часа ктото понял что что то не в порядке
контрол плэйн лег ( в etcd улутело пара тройка сотен тысяч записей )
такой сценарий?
сценарий одинаковый и на cpu и на disk preasure
просто на cpu его проще воспроизвести
Я на ивенты почти сразу сделал отдельный etcd-кластер и вам советую
G72K
Алексей
Суть не в этом, это явный баг
В etcd льется поток данных, когда оноляжет просто вопрос времени
Залимитировать скорость эвиктов или outof я не нашел как
Ключевое прибить к ноде
Дальше несколько евиктов в секунду
G72K
Andrey
Andrey
Или типа того
Алексей
Хочется чтоб не было форк бомбы, а это по сути она
Второй сценарий очень показателен
Алексей
Могу завтра кинуть сценарий для воспроизведения, можете сами глянуть
G72K
Алексей
За пару минут несколько тысяч evictов
Andrey
Andrey
Алексей
Ох
Деплой прибивается на ноду
Под в нем влезает по ресурсам на ноду, но в какойдо момент идет preasure
По cpu или диску
Он умирает, дальше идут эвикты
Быстро и бесконечно
Алексей
Опции сейчас не посмотрю, завтра кину сценарий детальной с ямлами и описанием
Lucky SB
George
George
Пора вводить индекс "насколько вы используете куб" с опросником
Lucky SB
глубоко ли вы его эксплуатируете
Dmitry
Alexzander
Друзья профессионалы, а подскажите cd тулу для деплоя в eks? Уже башка пухнет) всякие spinnaker, harness, gocd, jenkins, flagger с linkerd, shipper и много еще чего.... 2 недели всю эту документацию читал) хочу, точнее клиент хочет, canary with analysis, ui, простоту описания пайплайна деплоя. Как изначальную систему использвал дженкинс, где написал прекрасные скриптовые пайплайны, которые пожирали простенькие yaml конфиги... Но клиент, посмотрев jenkinsfile, сказал "ну чота очень сложно":)))) из исследований больше всего понравился flagger + linkerd. На 95% будут использоваться сервисы амазона.
Alexzander
Aws codedeploy тоже смотрел, но оно не поддерживает eks :) внезапно :)
Eduard
Eduard
Не распарсил
Alexzander
Наверное это про контейнеры)
Eduard
Олег
О
Alexzander
Ну у меня "только авс и екс":)
Eduard
Тогда гитлаб твоё спасение
Alexzander
Нехотят поддерживать) как и дженкинс)
Alexzander
Мне сегодня впринципе флаггер зашел
Й
Тимсити?
Alexzander
Гитлаб слишком жирный
Alexzander
Мне только cd надо
Eduard
Eduard
Либо внутрь куба офф чартом
Eduard
Хотя и фабрик покатит
Alexzander
Да не, у меня и дженкинс отлично завернут с пакером, ансиблом либо салтом и терраформом)))