Alex
Но это такое....
Solyar
Например у нас spa + nginx
Anonymous
Экспортер же прометея подключается
сам прометей или отдельный плагин есть?
Solyar
сервисы, в них proxy_pass
Тогда ведь всё должно быть норм при условии что сервисы не удалялись
G72K
само собой но nginx резолвит и кеширует адрес при запуске
Делайте через переменную : map "" $svc { default "http://lalalala.svc.cluster.local/" } .... proxy_pass $svc
Solyar
Просто если NGINX поднялся с ссылкой на proxy_pass (адресс сервиса) и сервис удалить и создать то будет 502 падать
G72K
Когда переменная и указан resolver в конфиге nginx, оно перед каждым запросом резолвит
Solyar
:0
Solyar
Не знал
G72K
Все мы не знали, пока не поседели узнавая
Eugene
Когда переменная и указан resolver в конфиге nginx, оно перед каждым запросом резолвит
вот, такое может сработать что в качестве резолвера использовать?
Eugene
IP адрес DNS сервера
а куберовый дефолтный прокатит?
G72K
Да
Eugene
спасиба
G72K
Лучше так не делать
G72K
спасиба
Лучше прописывать эндпоинты за сервисом в upstream nginx
G72K
Такой мини ингрес контролёр
G72K
Тогда оно сможет всякие штуки делать, вроде отключения проблемных подов , хелсчеки
G72K
не понял, можно пример?
Посмотрите nginx ingress controller , там правильно сделан этот момент
რად
Всем привет. Решили мы начать лимитить ресурсы на уровне неймспейсов, грубо говоря выделяя N cpu и N памяти на неймспейс без ограничение под по ресурсам(без указания hard лимитов для каждой конкретной поды) в рамках этих N-x лимитов. Задеплоили metrics-server для того, чтобы были метрики по текущему потреблению. Беглый гуглеж указал на использование ResourceQuota вкупе с LimitRange, но мы очень не хотим, чтобы наши контейнеры троттлило, а потому не хотим определять hard limits для под. Итого, когда я начал тестить на практике оказалось(ну или мы что-то не то делали), что ResourceQuota чхал на реальное потребление ресурсов и все, что он делает это суммирует то, сколько реквестят поды при при старте и следит, чтобы новые поды за этот лимит не вышли. То, что поды в какой-то момент могут жрать больше или меньше, никак не считается. Итого вопрос: как нам лимитить ресурсы на уровне неймспейсов, не ограничиваяя при этом поды по потреблению, пока мы не уперлись в этот верхний лимит?
George
Limit = Requests поставить, не?
რად
Limit = Requests поставить, не?
Не хотим тротлить поды
George
троттлинг только на cpu - по памяти оно будет их прибивать, не?
რად
Пока есть ресурсы в рамках N cpu и N памяти зачем вообще троттлить?
George
т.е. вы хотите так - пока есть ресурсы в нейспейсе - любой блекджек и кутеж
რად
ага
George
как только выходим за лимиты - начинаем резать сами поды
George
хм.
George
т.е. нечто типа динамической аллокации внутри неймспейса
რად
и резать поды и не давать скедьюлиться новым
George
боюсь это так не работает
George
поясню
George
дело в том, что неймспейс - это кластер wide сущность
George
а единицей биллинга (условно) является це-группа
George
каждый под - в своей цегруппе
George
ну, и как это работать будет?
George
хуже того
George
цегруппе реквесты и лимиты имеют в относительных попугаях
George
и если ноды разные, с разной частой процессора, то на разных нодах будете получать разное количество гигагерц
George
и разную производительность
George
мы уже в это попали
რად
Технически тут нам на самом деле неважно какие там у поды лимиты, важно сколько они по факту потребляют
რად
Ну и кластер у нас однородный
George
мои соображения ясны, почему это не должно так работать, как вы этого хотите?
George
либо ставите limits = requests и потом угадываете сколько же вам надо, либо вообще ничего никогда не лимитируете
რად
А с RequestQuota и LimitRange мы начали разбираться, потому что этог единственно, что в кубере есть по такому лимитингу нативного
George
и надеетесь, что все будет ок
Eugene
Посмотрите nginx ingress controller , там правильно сделан этот момент
https://github.com/kubernetes/ingress-nginx/search?l=YAML&q=upstream не так ищу?
რად
мои соображения ясны, почему это не должно так работать, как вы этого хотите?
На основе метрик из metrics-server и какого-нибудь ресурса, который задает планку по cpu и memory
George
не, выглядит как какая-то фантастика
George
но может я просто чего-то не знаю
რად
Почему фантастика) Дело техники, просто рассчитывал, что в кубере есть что-то такое из коробки
Alexander
А если выделять на namespace свой пул нод? Ресурсы железа ограничены, а на подах без лимитов
რად
Или мы к тому, что нельзя какому-то рандомному контейнеру, который вышел за какой-то абстрактный верхний лимит сказать ему в его cgroup, что он не может потреблять больше?
George
мне кажется, что после этого ты поймешь, почему твоя идея может сработать, но придется свой велосипед построить
George
и то... будет криво и косо
რად
А если выделять на namespace свой пул нод? Ресурсы железа ограничены, а на подах без лимитов
Да, есть такой вариант, но у нас куча кластеров они достаточно статические, и куча helm чартов где нужно селекторы вписывать, пока хотели обойтись меньшей кровью
რად
Но видимо способов особо нет
Alexander
Да, есть такой вариант, но у нас куча кластеров они достаточно статические, и куча helm чартов где нужно селекторы вписывать, пока хотели обойтись меньшей кровью
Это будем вам уроком, что надо сразу делать в чарте node selctor и подобные вещи для топологии размещения. Смотрел доклад как 150 микросервисов на Кубер мигрировали. У них были "Helm days" дни когда все инженеры писали чарты )
რად
Это будем вам уроком, что надо сразу делать в чарте node selctor и подобные вещи для топологии размещения. Смотрел доклад как 150 микросервисов на Кубер мигрировали. У них были "Helm days" дни когда все инженеры писали чарты )
У нас итак централизованный контейнер для динамической сборки чартов, все наши чарты на основе него. Я не к тому, что мы щас будем ручками все править, а к тому, что мы считали, что есть более простые и гибкие варианты нарезать ресурсы помимо привязки к железу и лейбакам
Nikolay
А с RequestQuota и LimitRange мы начали разбираться, потому что этог единственно, что в кубере есть по такому лимитингу нативного
Если хочется чего-то большего, нужно написать свой scheduler, самый действенный вариант, а там уже какая вам нужна логика.
Grigorii
Привет, есть кто-нибудь, кто поднимал Redis Cluster в кубе(который не с сентинелями и слейвами, а в мульти-мастер топологии)?
რად
Если хочется чего-то большего, нужно написать свой scheduler, самый действенный вариант, а там уже какая вам нужна логика.
Об этом мы тоже думали, более того нашли, что уже добавили фичу, можно не писать свой собственный, а заэкстендить существующий. Но в целом скедьюлер поможет тебе не закатить новые поды сверх лимитов, а вот сказать условным 100 контейнерам, которые уже работают, что больше они жрать не могут уже нет.
Nurmukhamed
Кто имеет опыт запуска Кубернетес с firecracker? Оправдывает переход от докера к нему?
G72K
Кто имеет опыт запуска Кубернетес с firecracker? Оправдывает переход от докера к нему?
Weave выпустили тулзу которая раскатывает кластер с firecracker
რად
Вроде коррекция лимитов это VPA может. Смотрели? Но он вроде сыроват да и с HPA не стыкуется(который более нужен)
Тоже рассмотрели) VPA для того, чтобы поднять лимит рестартует поду, это какой--то ад. Понятно, что у них наверняка были свои причины, но это неприемлемо. Какая-нибудь Java будет на старте просто инициализироваться и отжирать ресурсы, а ее будет ребутать из-за этого
G72K
Я большо про практический смысл.
На практике этого надо только мультитенантам , но мультитенант куб имеет сильно больше проблем, чем слабая изоляция контейнеров, так что это одно большое ненужно ИМХО