Tadeusz
ай да жорж, ай да кэп
Armen
У тебя желательно, чтобы кластер состоял из однотипных нод
все будет в облаках, то есть ноды будут однотипные. Но другой специалист посчитает что ему надо скажем 16 ядерные ноды с террабайтом ОЗУ, и все расчет пойдет насмарку :)
Alexander
На самом деле приложения тоже приходится переконфигурировать в зависимости от памяти
Alexander
Пулы там всякие воркеров
Armen
Ну задеплоишь с лимитами под террабайт
Я это деплоить не буду, будет все делать автоматика
Armen
потому и хочу понять если реквесты и лимиты поддерживают процентные значение, значит и автоматику планирую учитывая это в уме ... если нет придется думать как вычислять
Armen
мой вопрос так и повис в воздухе :) Ребят реквесты и лимиты поддерживают процентные значения? :)
Solyar
Автомагия на проде бывает не к месту
Armen
нет это не прод, это для развертывания совершенно нового энвайронмента с нуля на неизвестном кластере :)
Solyar
CPU is always requested as an absolute quantity, never as a relative quantity; 0.1 is the same amount of CPU on a single-core, dual-core, or 48-core machine.
Solyar
Коротко и ясно
Solyar
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
Solyar
Ну и да, доку никто не отменял :)
Armen
CPU is always requested as an absolute quantity, never as a relative quantity; 0.1 is the same amount of CPU on a single-core, dual-core, or 48-core machine.
Limits and requests for CPU resources are measured in cpu units. One cpu, in Kubernetes, is equivalent to: 1 AWS vCPU 1 GCP Core 1 Azure vCore 1 IBM vCPU
Solyar
Всё верно, не понял к чему это
Armen
как раз читал потому и думаю что задача такового значения в процентах намного облегчила бы планирование :)
Solyar
Можно просто сесть вдуматься и понять что процентные значения неудобные
Solyar
у тебя есть CPU 1.8 Ghz и 3.6 Ghz 50% будут иметь разный вес
Lucky SB
если вам надо так точно точно. разделяйте ноды метками
Lucky SB
и деплойте на них разные сервисы
Armen
почему ?
в моем случае неизвестен кластер, на примере моего приложения мне выгоднее задавать больший по ресурсам один под
Solyar
Нарезайте ноды на одинаковые виртуалки)
Armen
вашему приложению тогда не надо в куб. крутите его на php-fpm
Оно уже в кубе и лайве прекрасно работает как для нас так и для партнеров... тут вопрос автоматизации развертывания без участия человека
Armen
руками я всегда могу расчитать и выставить реквесты и лимиты
Solyar
Проведите нагрузочные тесты, посмотрите пиковую нагрузку, задайте параметры
Solyar
Всё
Solyar
Ну покрайней мере мы так делали (может это и неправильно)
Armen
то есть все равно задать Х цпу и Y ОЗУ? и так hardcoded распространять?
Solyar
то есть все равно задать Х цпу и Y ОЗУ? и так hardcoded распространять?
Ну горизонтальное масштабирование никто не отменял
Alexander
то есть все равно задать Х цпу и Y ОЗУ? и так hardcoded распространять?
Посчитайте ресурсы на 100 конк юзеров и настройте масштабирование
Alexander
Ну или на 1000 если масштаб большой
Solyar
Трафик пришел, поды расплодились, трафик ушел, поды сдохли
Solyar
Удобно, красиво
Lucky SB
man hpa
Alexander
А писать AI который заменяет ДевОпсов - это глухая идея
Armen
мне это как-то не по фен-шую но ребят дело говорите вообще-то... все-таки саппорт никто не отменял, можно будет дооптимизировать позже
Solyar
Если в облаках то еще и вертикальное масштабирование можно прикрутить
Alexander
мне это как-то не по фен-шую но ребят дело говорите вообще-то... все-таки саппорт никто не отменял, можно будет дооптимизировать позже
Просто тут все люди решают конкретные задачи на конкретных ресурсах. А у тебя другой случай с абстракцией и неизвестными.
Armen
я у партнера видел 1000 подов во время ддоса Там версию выпускать было бы кошмарно если бы не роллинг апдейт с процентными значениями
Armen
ок ребят спасибо всем за дискуссию
Etki
А писать AI который заменяет ДевОпсов - это глухая идея
не сможет опуститься на нужный уровень?
G72K
Helm summit провели, на конференции съездили, а проверить свой продукт с кубернетисом времени не осталось: https://github.com/helm/helm/issues/6374
Aleksandr
Господа, кто использует sentry в helm? как вы доставляете плагины?
Solyar
Господа, кто использует sentry в helm? как вы доставляете плагины?
Не использую но подозреваю что папочка в сторадже монтируется скорее всего
⌬ Дмитрий ⌬
коллеги подскажите все таки как лучше раскидать поды по нодам: имею вот такую ошибку: 0/6 nodes are available: 1 node(s) had taints that the pod didn't tolerate, node(s) didn't match pod affinity/anti-affinity, 5 node(s) didnt match pod anti-affinity rules само правило: spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: release operator: In values: - devel-kafka topologyKey: failure-domain.beta.kubernetes.io/zone и все равно ошибка такая как описал. Где мог ошибиться или как можно по другому
⌬ Дмитрий ⌬
𝚔𝚟𝚊𝚙𝚜
kubectl get node -l release=devel-kafka работает?
⌬ Дмитрий ⌬
kubectl get node -l release=devel-kafka работает?
неа, и похоже лейблов нет на нодах, от этого трабла может быть?
𝚔𝚟𝚊𝚙𝚜
а сорри, у тебя там podAntiAffinity, я подумал nodeAffinity
𝚔𝚟𝚊𝚙𝚜
а если kubectl get pod -l release=devel-kafka -o wide ?
⌬ Дмитрий ⌬
а если kubectl get pod -l release=devel-kafka -o wide ?
вывел поды с кафкой и кафкой-экспортером
𝚔𝚟𝚊𝚙𝚜
вывел поды с кафкой и кафкой-экспортером
они в Pending или есть запущенные?
⌬ Дмитрий ⌬
они в Pending или есть запущенные?
есть запущеные, я под них меняю statefulset через helm (тротлят по процу) сейчас один под не выходит на работу, один из side-car в CrashLoopBackOff
Solyar
На одной ноде в кластере завис сетевой интерфейс. Выяснилось случайно. Решил через IPMI зайти посмотреть что там с сетью
Solyar
А у меня ARP не было
Solyar
Обидно что потратил на это целый день
Виктор
как проще всего сделать так чтобы на ноде запускался только один деплоймент и другие поды на ней не создавались?
Виктор
label ставлю ноде, в демонсете матчу по лейблу, но ведь другие нагрузки тоже все равно начнут на ноде создаваться?
Виктор
Или написать в каждой чтобы они не юзали этой лейбл?
Alex
Или написать в каждой чтобы они не юзали этой лейбл?
Да. Может короли кубернетеса проснуться и скажут другие более изящные решения, но мне только вот такое в голову приходит. Ещё есть хак с резервированными ресурсами т.е. вы прописали label и для нагрузки зарезервировали 80% ресурсов ноды, тогда кубер сам не будет ничего пихать туда.