Andrey
Я же по более общий случай, когда контейнерам надо часть CPU меньше 1
Dmytro
поэтому наборот - ставьте cpu requests=limits(type int)
Dmytro
кому интересные приложения которым надо меньше 1 цпу?
Andrey
И у вас на восьми ядерной ноде не поднимется больше восьми контейнеров
Dmytro
ну и как-то тут не вижу про < 1
Dmytro
Грубо говоря если есть два контейнера с запросом в 1 CPU, а на ноде доступно 4, то каждый получит по 2. С лимитом 2 ядра бы тупо простаивали
Anton
можно к вам ворваться в обсуждение лимитов? Мы начали их вешать только когда поды начали кушать весь цпу и нода просто выпадала. Без явного ограничения так жить было больно. Каким еще путем можно пойти если не жестким лимитом? С осознанием троттлинга конечно же.
Andrey
Andrey
Запрос по дефолту кстати
Dmytro
зачем? если у меня контейнеру я ставлю 0.1 меня не парит его производительность и что у него бывают stop the world от CFS
Dmytro
а если это что-то важно для прода то у него будет 1+ ядро и 2+ реплики
Andrey
То есть фактически лимит у вас не используется, поскольку в случае guaranteed pod используется механизм привязки к ядрам. Чтд
Andrey
Я как раз про это и говорил
Dmytro
почему? У меня всегда requests=limits, для не очень важных сервисов он может быть < 1 но для того что критичное стараюсь округлять
Dmytro
по памяти аналогично requests=limits
Andor
Andrey
Вот я как раз про то, где не целое число, там смысла в лимите нет
Dmytro
кроме CFS quotas для CPU < 1 негативного влияния это не дает, только позитивное
Dmytro
как нет?
Andrey
Негативное влияние в under utilization
Dmytro
кому under utilization а кому spare capacity for node failure
Andrey
Позитивного не вижу вовсе
Dmytro
мне не нужно high dencity packing
Andrey
Ну мы тогда поняли друг друга
Dmytro
все равно при роллинг апдейте мне нужно много свободных цпу и памяти на нодах для создания новых версий подов
Andrey
У меня об этом думает cluster scaler
Dmytro
поэтому under utilization не избежать
Dmytro
ну вернее я не считают это under utilization
Andrey
Ясно :)
Dmytro
ну а как иначе?
Dmytro
если нода умрет то я получу даунтайм не пару секунд а минуты
Dmytro
пока там отдуплится кластер автоскейлер
Dmytro
сначала будет 5 минут или сколько там таймаута на смерть ноды, а если нода умрет криво так ещё лучше
Andrey
Дополнительный поинт в том что CPU shares работают как лимиты, просто они более резиновые
Dmytro
этот даунтайм будет стоит компании больше чем выигрыш от -1 ноды
Dmytro
причем в зависимости от приложения и времени дня может быть сильно больше
Andor
ты так говоришь как будто кластер автоскейлер не может делать +1 или +2 ноды на кластер
Dmytro
может но это же будет
Dmytro
Негативное влияние в under utilization
Andrey
все равно при роллинг апдейте мне нужно много свободных цпу и памяти на нодах для создания новых версий подов
И отсутствие лимитов не будет проблемой в этом случае, кстати
Andrey
При добавлении нового пола просто пересчмтаются CPU b shares
Dmytro
ладно, let's agree to disagree. Я за стабильность и предсказуемость
Andrey
:) благодарю за дискуссию
Dmytro
с requests=limits я точно знаю что у меня поды влезут на ноды и им всего хватит
Dmytro
и я не буду отгребать с моими пхп приложениями которые текут, спавнят кучи процессов кроном и т.д.
Dmytro
может в каком-то идеальном мире можно и без limits и все будет хорошо
Andrey
Пэхапэ боль :)
Dmytro
Andor
как будто только пхп приложения текут, спавнят кучи процессов и т.п.
Anonymous
кто-нибудь уже пробовал knative? (было бы интересно узнать что там с ресурсами при настоящих нагрузках)
Dmytro
как будто только пхп приложения текут, спавнят кучи процессов и т.п.
конечно не только, причин наверное много почему в пхп это чаще бывает, я грешу на то что сам принцип умирания на каждый запрос не дает стимула пхпшникам думать о памяти (я сам писал на пхп не один год если что)
Andor
в других языках тоже недостаточно думают, пока по жопе не прилетает
Dmytro
конечно, на прошлой работе например machine learning тулзень на питоне одно время текла по памяти пока я не запинал ребят её пофиксить
Dmytro
но в пхп это конечно чаще всего намного хуже, например из прекрасного это всякие debug bar симфони пакеты которые пишут все запросы в базу в stdout
Dmytro
и конечно это пропишут не в ту секцию composer.json b потом тащат не думая в прод
Dmytro
или например сделать кронтаб где 600 процессов запускается в одну секунду (т.е. каждую минуту) а потом спрашивать почему это линукс не может 600 процессов выдержать
Dmytro
так что да, кто видел пхп проекты тому надо молоко выдавать по талонам
yolkov
ну враки же, простите https://kubernetes.io/blog/2018/07/24/feature-highlight-cpu-manager/
> When CPU manager is enabled with the “static” policy, it manages a shared pool of CPUs. Initially this shared pool contains all the CPUs in the compute node. When a container with integer CPU request in a Guaranteed pod is created by the Kubelet, CPUs for that container are removed from the shared pool and assigned exclusively for the lifetime of the container. Other containers are migrated off these exclusively allocated CPUs.
Менеджер надо отдельно включать, это вроде бета функция еще. По дефолту не будет выделятся ядра даже при лимит=реквест
Vadim
Менеджер надо отдельно включать, это вроде бета функция еще. По дефолту не будет выделятся ядра даже при лимит=реквест
> It was enabled by default as a beta feature since v1.10.
G72K
Дополнительный поинт в том что CPU shares работают как лимиты, просто они более резиновые
Лимиты нужны для предсказуемости, чтобы не было историй что "ничего не трогали , все стало медленно", потом выясняется запущено было с CPU request 100m на 32 ядерной ноде, и "работало хорошо", пока других подов не подселили. У себя ставлю оверкоммит максимум в 2 раза (но не менее 3 цпу). Но я и лейтенси не меряю, а тишину в тикетах
G72K
можно к вам ворваться в обсуждение лимитов? Мы начали их вешать только когда поды начали кушать весь цпу и нода просто выпадала. Без явного ограничения так жить было больно. Каким еще путем можно пойти если не жестким лимитом? С осознанием троттлинга конечно же.
У кублета есть параметр сколько цпу зарезервировать и не отдавать подам, нужно хотя бы 2 цпу на ноду если там движения подов частые и gomaxprocs подкрутить у кублета и докерд , а то они как Ява - видят все цпу ноды и стартуют десятки тредов
Александр
Какие-то страшные цифры у вас. Недавно озадачивался какие реквесты выставить - у меня в прометее собирается потребление - память за месяц около 100 мб (максимум 200) и по цпу загрузка около 5% (максимум 15 %). Есть и на ларавеле проекты, и самопис, и в кроне по 20 задач (вот в кронах как раз с цпу и памятью не очень)
Andrey
Лимиты нужны для предсказуемости, чтобы не было историй что "ничего не трогали , все стало медленно", потом выясняется запущено было с CPU request 100m на 32 ядерной ноде, и "работало хорошо", пока других подов не подселили. У себя ставлю оверкоммит максимум в 2 раза (но не менее 3 цпу). Но я и лейтенси не меряю, а тишину в тикетах
так реквесты надо выставлять по актуальному использованию, а не наобум
Andor
С этого тред и начинался
pavel
Всем привет, хочу попробовать куб, теорию почитал. У меня есть разных 10 серверов , на них разные ресурсы ( гитлаб, тимсити, ютрек и проекты и тд) , всё в докерах, можете написать почему я должен попробовать куб на практике(не обратное) в чем будет профит, и если можно без тролинга?
Й
Если у вас все хорошо - фтопку этот куб
А для образования - миникуб есть
pavel
Если у вас все хорошо - фтопку этот куб
А для образования - миникуб есть
Это понятно)) мне больше хочется просто пощупать его
pavel
А о , миникуб? А можно пруф?
Anton
Всем привет, хочу попробовать куб, теорию почитал. У меня есть разных 10 серверов , на них разные ресурсы ( гитлаб, тимсити, ютрек и проекты и тд) , всё в докерах, можете написать почему я должен попробовать куб на практике(не обратное) в чем будет профит, и если можно без тролинга?
как ты сейчас контейнеры оркестрируешь? как реализуешь дискаверинг сервисов? как происходит обновление?
Й
А о , миникуб? А можно пруф?
https://kubernetes.io/docs/tasks/tools/install-minikube/#install-minikube
pavel
как ты сейчас контейнеры оркестрируешь? как реализуешь дискаверинг сервисов? как происходит обновление?
Компосер, обновляю либо сиай, и немного ансибла
pavel
Меня больше интересует возможность автоскейлинга и балансировки нагрузке в кубе
Andrey
Всем привет, хочу попробовать куб, теорию почитал. У меня есть разных 10 серверов , на них разные ресурсы ( гитлаб, тимсити, ютрек и проекты и тд) , всё в докерах, можете написать почему я должен попробовать куб на практике(не обратное) в чем будет профит, и если можно без тролинга?
куб позволяет декларативно описать конфигурацию самих докер контейнеров и обвязки (ингресы, балансировщики, секреты, скейлеры и тд), централизованно. По сравнению с докер-композ это как chef и ручное управление
pavel
pavel
А есть ещё ресурсы которыми вы пользуетесь помимо офф доки? Если поделитесь буду благодарен.
Andrey
трудно сказать. Когда немного впитаешь философии k8s, дальше уже достаточно документацию читать. Можно ещё попробовать в с GKE поиграться, в гугловой документации много примеров как hello world запускать
Andrey
можно почитать обзорные статьи на хабре медиуме для начала