Lucky SB
а node affinity не обязательно, достаточно nodeselector по label
Виктор
спасибо
Виктор
может у кого-то есть под рукой пример ямла с горизонтальным автоскейлом на базе метрик полученных по http?
Виктор
чет я по доке не могу понять как делать
Alexander
чет я по доке не могу понять как делать
Там надо ставить компоненты: адаптер для Prom и Metrics сервер. Поставил?
Виктор
неа
Виктор
есть мануал?
Виктор
уже есть ендпоинт прометеуса в которой нужная метрика
Виктор
что еще требуется?
Alexander
есть мануал?
Я по этому https://www.weave.works/blog/kubernetes-horizontal-pod-autoscaler-and-prometheus
Виктор
спасибо
Alexander
Компоненты только через Helm ставил, не через их yamls. А так дока хорошая. Поймешь матчасть.
Jain
Jain
кубер это ТАК просто ... </sarcasm>
Anton
кубер это ТАК просто ... </sarcasm>
похоже это ваша архитектура такая, а не “кубер сложна”
Игорь
а есть фотки нормальной архитектуры?)
Artyom
но работает же
Anonymous
Привет. А подскажите - я могу как-то быстро примонтировать configmap целиком, как набор enviroment variables?
G72K
Вот тут предлагают новый стандард образов, что б от тарболов отказаться и каждый файл описывать отдельно , что то народе того как это делает git. https://media.ccc.de/v/ASG2019-123-ociv2-container-images-considered-harmful
Anonymous
kind: ConfigMap apiVersion: v1 metadata: name: {{ template "fullname" . }}-imgproxy data: #quantity IMGPROXY_JPEG_PROGRESSIVE: true IMGPROXY_PNG_INTERLACED: true #object storage setup IMGPROXY_USE_S3: true AWS_ACCESS_KEY_ID: {{ .Values.imgproxy.credentials.AWS_ACCESS_KEY_ID }} AWS_SECRET_ACCESS_KEY: {{ .Values.imgproxy.credentials.AWS_SECRET_ACCESS_KEY }} например вот такой конфиг мне надо целиком забросить как переменные среды
Anonymous
В определенный контейнер
Anton
Привет. А подскажите - я могу как-то быстро примонтировать configmap целиком, как набор enviroment variables?
открываем kubernetes api reference, переходим в описание container https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.16/#container-v1-core и видим envFrom. очень просто самостоятельно на такие вопросы ответить
Anonymous
открываем kubernetes api reference, переходим в описание container https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.16/#container-v1-core и видим envFrom. очень просто самостоятельно на такие вопросы ответить
Круто. Хорошо, что сообщество может помочь. И жаль, что в гугле на первой странице по некоторым простым запросам находятся примеры только по одной переменной.
Anonymous
Спасибо за помощь
Anonymous
Я же правильно понимаю, что переменные среды в данном случае ничем не отличаются от монтированных файлов? То есть, после изменения configmap нужно будет передеплоивать контейнеры?
Алексей
да
Anonymous
Спасибо
Anonymous
Можно не передеплоивать, либо под удаляешь и он подцепит новые переменные либо в скале 0
Я использую метод с чексуммами: annotations: checksum/config: {{ include (print $.Template.BasePath "/imgproxy-config.yaml") . | sha256sum }} Это тоже хороший вариант, или лучше от него отказаться?
Anonymous
Ну строго говоря монтированные файлы не обязательно требуют рестарта пода , если приложение умеет из перечитывать
Ага, тоже слышал такое. А нет на примете какого-нибудь инструмента готового, который мог бы получить путь, на который нужно смотреть, и shell-комманду, которую нужно выполнить при изменениях?
Anonymous
Типа обертки над inotifywait
Alexander
Типа обертки над inotifywait
Читал про такой. Погляди weaveworks/watch и статья как его для перегрузки конфига Prom прикрутили https://www.weave.works/blog/prometheus-configmaps-continuous-deployment/
Alexander
Ну и еще другие вроде есть. В общем по ключевым словам Prom config reloader можно посмотреть что есть
Dmitry
Ага, тоже слышал такое. А нет на примете какого-нибудь инструмента готового, который мог бы получить путь, на который нужно смотреть, и shell-комманду, которую нужно выполнить при изменениях?
Использую переменные среды из configmap. Есть такая штука: https://github.com/stakater/Reloader. В деплойменте он рестартует поды согласно политике деплоймента (если rollingupdate то будет rollingupdate) когда configmap или secret обновился. Выше уже писали, что можно научить приложение перечитывать конфиг. Также можно sidecar'ом подрубить: https://github.com/jimmidyson/configmap-reload. Но он пока умеет слать только http запрос, но обещают научить его отправлять killsignal.
E
Всем привет! Может кто подсказать, могу ли я кубермастер, pod и сами сервисы держать на 1 машинке? Или это протеворечит его сущности? Это просто под пет проекты, хочется поиграться
George
можешь. но это не лучшее решение )
Lucky SB
можешь. но сущности противоречит. но на поиграть можешь.
Lucky SB
главное не заиграться до прода
Anonymous
Спасибо всем
E
Спасибо большое )
Dmitriy
Коллеги, всем привет! Я не девопс и не админ, с кубером опыта крайне мало. но нужно решить бизнес задачу. Можете подсказать следующее: есть вот ингресс балансер, на него приходит поисковый трафик и он довольно серьёзный для наших целей. Среднее значение - 5 RPS Можно ли как-то отследить что число RPS возросло и отреагировать как-то на это? Например стартом новых подов. И какие подходы вообще существуют:можно ли опрашивать ингресс извне из пода например или есть какая-то возможность писать кастомные скрипты на каком-нибудь луа внутри ингресса самого
Вадим
можно скейлить на основе нагрузки на поды (не на ингресс) https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/
Dmitriy
это да, но нужно опираться именно на среднее число запросов в единицу времени, проходящих через ингресс
Vladimir ⚪️🔵⚪️
А зачем?
Vladimir ⚪️🔵⚪️
Вообще вот некий стандартный набор инструментов: https://github.com/kubernetes/autoscaler
Dmitriy
https://sysdig.com/blog/kubernetes-autoscaler/ или так, с кастомными метриками. но вообще лучше бы специалист какой посмотрел, который бы из бизнес задачи сделал бы техническую. может быть ваш вывод о том что нужно сделать, неправильный?
нет, мой вывод правильный, горизонтальный автоскейлинг упирается в выделенные ресурсы инфраструктуры при превышении RPS выше определенного значения нужно не стартовать новые локальные поды, а перенаправлять трафик на внешние облачные сервисы, которые будут решать бизнес задачу Т.е. пока трафик низкий - решаем своими силами, при резком повышении трафика и запросов в секунду - подключаем внешний сервис
Dmitriy
сейчас попробую сформулировать
Vladimir ⚪️🔵⚪️
Кубернетес пока что не умеет заказывать сам сервера, насколько мне известно. Это вам придется делать вручную
Dmitry
Кубернетес пока что не умеет заказывать сам сервера, насколько мне известно. Это вам придется делать вручную
https://kubernetes.io/docs/tasks/administer-cluster/cluster-management/#cluster-autoscaling умеет в некоторых облаках
Alexander
Да ну примерно понятно что Дмитрий хочет. Еще один Кубер в облаке с HPA. И вопрос как с ингреса другого Кубера туда отправлять. Ну наверное ставить балансировщик перед ним умный
Dmitriy
При превышении значения RPS в моей ситуации можно сделать две вещи: 1. Либо стартануть новые поды, но это будут немного другие поды, чем те которые принимают трафик. Точнее теже самые, но с другими настройками окружения, но считаем для простоты что другие поды 2. Перенаправить экстра трафик напрямую с ингресса на внешний сервис минуя локальные поды вообще
Dmitriy
второй вариант даже предпочтительнее
Vladimir ⚪️🔵⚪️
второй вариант даже предпочтительнее
Для этого вам нужный умный балансировщик. Облачный кубернетес вам нужно просто скалировать до нуля.
Dmitriy
ингресс нельзя сделать умным балансировщиком? у него нет скриптов расширения, модулей или еще чегото этом роде?
Vladimir ⚪️🔵⚪️
Ingress - это достаточно простая сущность. Она вообще не занимается балансировкой нагрузки
Yury
С ингресса можно на балансер в кубе, а с него на сервисы
Alex
Ingress - это достаточно простая сущность. Она вообще не занимается балансировкой нагрузки
ну, сделай больше реплик ингресса - вот тебе и балансировка! traefik мне все эндпоинты сервисов показывает, значит трафик между ними как-то распределяется
Alexander
ингресс нельзя сделать умным балансировщиком? у него нет скриптов расширения, модулей или еще чегото этом роде?
Ингресс - это vhosts и ssl серты. Понятно что теоретически и возможно на lua/nginx сделать такое чудо. Но у тебя задача балансировки нагрузки в мультиоблаке - и это обычно внешний балансер делает. А ингресс решает задачи внутри своего Кубера.
Dmitriy
Коллеги, всем спасибо за ответы т.к. я для себя выяснил что ингресс штука довольно тупая, то балансировку на внешний сервис при превышении трафика скорее всего будем делать на f5-ом
Alex
поднимается 4-мя командами
Dmitriy
распберри 4-й с 4-мя гигами РАМ подойдет для развертывания этой штуки?)
No1
А как сейас правильно делать image pull с гитлабом и приватным реджестри? использовать secret или dockercfgjson?