George
🤷‍♂️
Sergey
А ссорян, я просто подумал что речь идёт про разделение сред
Dmytro
Хорошо. Есть один мастер, который контролирует 4 ноды. 2 ноды на один бек-енд проект (domain-names-provider), другие 2 ноды на другой бек-енд (telegram). Я хочу что-то типа kubectl rollout <new-version> —to-nodes='domain-name-provider'. И первые две ноды на этот проект проапдейтились, а вторые — ничего. Потому что без этого оно выкатывает на все ноды все, насколько я понимаю, и у меня на нодах telegram будут контейнеры другого проекта.
George
и в каждом деплойменте прописывайте соответствующие правила
Dmytro
и в каждом деплойменте прописывайте соответствующие правила
Во, это и хотел узнать — taints, labels. Спасибо.
George
теоретически можно прибить деплойменты прям по названию ноды... но такое себе
Dmytro
С моей стороны такое было бы очевидно: spec: node: name: some-project-* Но приходится читать про миллион объектов в k8s. :)
ᴅⁱᵐⁱᴅʳ0ˡ
Ктонить куб разворачивал на центоси 8?
J
Всем привет. подскажите с cert-manager. Обновил с 0.7 до 0.11 версии cert-manager, обновил кластерищуер. Но сегодня обнаружил что сертификат не перевыпустился. В логах ошибок не вижу. Сертификату осталось меньше 30 дней. Почему не обновляется серт?
George
Параметры поменялись ? Что в логах ?
J
параметры кластер ищура менялись
J
вот что обнаружил. если запросить серт вижу kubectl get certificate certificaterequests.cert-manager.io certificates.certmanager.k8s.io certificates.voyager.appscode.com certificates.cert-manager.io certificatesigningrequests.certificates.k8s.io
bama^boy
Евгений
В тему утрешней дискуссии
George
Вини говна или меда поел?
J
вот ещё нашел такое
J
"patch"="[{\"op\":\"remove\",\"path\":\"/spec/acme/dns01\"},{\"op\":\"remove\",\"path\":\"/spec/acme/http01\"},{\"op\":\"add\",\"path\":\"/status\",\"value\":{}}]"
J
да это тоже менял когда обновлял
Lucky SB
оставь секрет. удали все и поставь его с нуля
J
apiVersion: cert-manager.io/v1alpha2
J
ага это варик
Dmitry
Везде feature branch советуют делать через namespace — читал в интернетах. Или ты про другое?
Делаю feature branch внутри одного неймспейса, это практика из разряда как хочешь/удобней, а не что-то обязательное. Если у тебя один проект = один кластер, может быть один бранч на неймспейс и удобен, но если ты хочешь запихнуть несколько проектов в кластер, то как мне кажется наоборот больше проблем доставит.
Старый
Kubernetes zver cd
зверь был более рабочим и стабильным)))
Dmitry
Понял, тогда что используешь для feature branch в одном namespace?
Чем деплою? Да хоть чем, не имеет значение. Сейчас например через werf в основном
Dmytro
Чем деплою? Да хоть чем, не имеет значение. Сейчас например через werf в основном
Не деплой, а как внутри у себя в кластере делишь поды например — labels? Или что-то в этом духе.
Dmytro
А зачем делить все по нодам? Мне например куб тем и нравится, что я за него не думаю, как лучше нагрузку распределить по нодам. И руками этого не делаю.
Прикольно, я за это и не подумал даже, что он реально сам все делает. Вопрос по мониторингу — не мешает смотреть и анализировать потребление ресурсов, когда сервер захламлен разными контейнерами для разных проектов?
Dmitry
Не деплой, а как внутри у себя в кластере делишь поды например — labels? Или что-то в этом духе.
Подами обычно никто не рулит жеж. Это как правило deploy, sts и т.д. Проект внутри namespace, разные лейблы конечно да, + разные имена ресурсов, которые надо формировать из веток.
Dmitry
Прикольно, я за это и не подумал даже, что он реально сам все делает. Вопрос по мониторингу — не мешает смотреть и анализировать потребление ресурсов, когда сервер захламлен разными контейнерами для разных проектов?
С мониторингом довольно все удобно, prometheus-operator не плох. Анализировать вообще не мешает, можно точечно смотреть мониторинг по лейблам нужного приложения. Ну ему нужно стараться хорошо указывать реквесты, чтобы более оптимально распределял нагрузку.
G72K
давно хотел спросить, если во время простоя оператора (допустим обновляли его) что-то произошло, он при запуске "зареплеит" эти ивенты?
Там вообще все плохо на самом деле. В теории оператор при старте должен сделать лист всего , что ему интересно и проверить, что реальность соответствует ожиданиям. На практике причина рестарта часто падение самого оператора посередине отработки какого-нибудь события, а значит ту систему о которой он заботится он наполовину обновил :) ещё часто операторы что называется edge triggered , а не level triggered, т.е. они норм работают когда им прилетает событие "изменилось вот это" (сигнал изменился, edge), но теряются, когда стартуют и просто видят желаемое состояние (level) и пойти сравнить это состояние с реальностью ума у операторов часто нехватает
Dmytro
С мониторингом довольно все удобно, prometheus-operator не плох. Анализировать вообще не мешает, можно точечно смотреть мониторинг по лейблам нужного приложения. Ну ему нужно стараться хорошо указывать реквесты, чтобы более оптимально распределял нагрузку.
Хорошо. Такая ситуация. Есть приложение — мы мониторим — сейчас жрет 2К оперативы (потолок), завтра жрет больше, послезавтра еще больше — специфика ПО, все ок. У нас bare metal. Купили 16 оперативы (например), сделали 7 (7х2=14) инстансов и пихнули балансер. Если начнет выжирать больше двух — покупаем новый сервер с больше оперативы, переносим все туда. Как с K8S в этом плане?
G72K
Да фиг с ним с кубом, часто операторы берут сигнал из куба и по нему меняют что-то в других системах. Такое никогда транзакционным быть не может. Это как если ансибл/папет по SIGKILL прибить - параноидально написанные манифесты нормально заново запустятся, но то что пишут девопсы и всякие ямлкодеры часто такое не переживают и повторный запуск разваливается сам по себе :)
Dmytro
Даже если я и так буду знать сколько оперативы трачу на один инстанс, сам K8S будет решать на какой сервер закинуть (например, на 1 ноде памяти не хватает, пойдет на другую пропобвать). А как мне в общем-то узнать что на моих N-нод скоко вообще места остается для такого-же кол-ва инстансов из-за роста оперативы? Чтобы успеть докупить. При том, что там еще проекты крутятся.
G72K
Хочу добавить воркер ноду в кластер, но перед кластером на каждой воркер ноде хочу поставить балансировщик, как это реализовано в kubespay. Подскажите, джойнить воркера нужно сначала напрямую на api-server, а потом балансировщик сетапить и в конфиге кубелета ендпоинт менять или сразу джойнить через балансировщик?
Это имеет значение только если балансировщик статик подом запущен. Кажется в >=1.14 оно нормально работает - TLS bootstrap кублета не блокирует запуск статик подов, а значит можно сразу через него . Как оно в kubeadm join незнаю
Dmitry
Хорошо. Такая ситуация. Есть приложение — мы мониторим — сейчас жрет 2К оперативы (потолок), завтра жрет больше, послезавтра еще больше — специфика ПО, все ок. У нас bare metal. Купили 16 оперативы (например), сделали 7 (7х2=14) инстансов и пихнули балансер. Если начнет выжирать больше двух — покупаем новый сервер с больше оперативы, переносим все туда. Как с K8S в этом плане?
Ну если можно скалировать приложение по оперативе, то есть вместо двух, запускаем 4 и оно более или менее равномерно распределяется по ним, то просто масштабируешь их. Можно автоматически через hpa, но я бы по оперативе наверное масштабировать не стал, скорее всего она зависит от какой-то метрики, например количество пользователей (можно по ней и масштабировать). Можно поднимать реквесты/лимиты приложения на память, если не хватает памяти в кластере добавляешь доп. ноды.
Dmitry
Ок, запомнил. Спасибо! :)
А лучше resourceQuota настраивать под неймспейс. Сколько он вобщем может скушать ресурсов и на это есть алерты.
Dmytro
16 тб оперативы?
Чото я читал где-то, что Храч тролль так-то.. Страшно отвечать. GB.
Старый
Чото я читал где-то, что Храч тролль так-то.. Страшно отвечать. GB.
🙄просто из того что ты пишешь, вам лучше брать do\eks чем баре метал
Dmytro
Просто если по прайсу это выходит дешевле — мы берем. А поддержку и прочее никто не считает. И ты сам не можешь посчитать, так как это по сути несчитаемое конкретно.
Старый
Просто если по прайсу это выходит дешевле — мы берем. А поддержку и прочее никто не считает. И ты сам не можешь посчитать, так как это по сути несчитаемое конкретно.
в этом и проблема, облака выгодны на мелочи и на очень больших обьёмах, у вас как раз мелочь, делать свой кубер для вас избыточно, а если у вас ещё и hetzner то ещё и очень много секса будет
Anton
Это бич почти всех операторов из helm-charts
так дело не в helm-charts, он официально такой: https://github.com/coreos/prometheus-operator/blob/master/bundle.yaml#L55
Dmytro
если судить только по такому, то вам выгоднее просто docker+salt
У нас много мелкого, по разным репам, которые доставляют много images. Поэтому решил попробовать K8S, из альтернатив был хард-кор на Ansible. Почитаю за salt, спасибо.
Mr.Strange
@yamlcoder, у меня балансировщик демоном запущен на каждом воркере, пока не решил я как заджойнить, через балансировщик не джойнит.
Aleksey
@kvaps что-то все меня игнорят, а сам я немного вывалился из жизни вокруг k8s. Можешь напомнить что там за оператор был для настройки нод?
Aleksey
Ты про тот что мы написали или про metal3?
Я смутно помню что был оператор через который можно было пакеты ставить ну и конфиги править, а вот как они называются и чьи они я не помню. Если бросишь в меня ссылки на них буду признателен.
Aleksey
Не знаю такого)
Моя больная фантазия?
𝚔𝚟𝚊𝚙𝚜
Моя больная фантазия?
Ну мы собираем образы для нод через Dockerfile, так что не думаю что это большее безумие чем это)
Aleksey
Ну мы собираем образы для нод через Dockerfile, так что не думаю что это большее безумие чем это)
Ну на самом деле это на поверхности все же хотеть декларативную конфигурацию нод
Aleksey
Зачем ансибл изобретать?
Ансибл это не стейт. Да и зачем тащить ещё один ямл обработчик если уже есть один в виде k8s
inqfen
И тащить потому, что у него задачи другие как бы
Aleksey
И тащить потому, что у него задачи другие как бы
Ну это пока что, раньше также про k8s говорили что он не про стейтфул
George
Все так
𝚔𝚟𝚊𝚙𝚜
Зачем ансибл изобретать?
Его и юзаем в составе operator-sdk
Aleksey
А зачем хранить стейт на нодах?
Ну у нас там свой кейс, так как на воркерах будет ещё ворклоад за пределами k8s
Aleksey
И сейчас говорят
Но можно же ;)
inqfen
Ещё все считают, что жопа чтобы срать, но есть кте кто использует не так
inqfen
Только это же не становится правильным
𝚔𝚟𝚊𝚙𝚜
Ну у нас там свой кейс, так как на воркерах будет ещё ворклоад за пределами k8s
Зачем держать ворклоад вне k8s, если это можно сделать внутри?