Сергей
что значит на локальные поды? по отношению к чему локальные?
по отношению к клиенту, обратившемуся на серсис ( клиент - скрипт, который работает в поде на то-же сервере)
Sn00part
service - это абстракция вообще
Марат
и так тоже, как?
Сергей
и так тоже, как?
https://kubernetes.io/blog/2018/07/09/ipvs-based-in-cluster-load-balancing-deep-dive/ вот тут есть зачатки балансировки.
Марат
ну, балансировка, приоритезация, вашей хотелки не видать
Sn00part
балансировка там раундробин
Sn00part
вот можно попробовать такое вот https://www.kube-router.io/
Марат
там тоже по весам без active/backup
NM
в кубадме написано использовать 3.8
Да он рабочий по 3.9 и выше есть вопросы по api
Sn00part
искаропки пока еще не работает https://github.com/kubernetes/kubernetes/issues/28610
Sn00part
только КЕП запихали и два года висит )
Сергей
это легко ведет к таким штукам как неравномерная нагрузка на кластер
у меня уже идет внешняя балансировка (по отношению к куберу) клиентов. Сейчас задача максимально изорировать ноды, минимизировать сетевую задержку и перессылку между ними
Сергей
вот можно попробовать такое вот https://www.kube-router.io/
читаю. но пока не уверен что это то, что нужно. спс
Sn00part
https://github.com/kubernetes/enhancements/issues/536
Sn00part
короче еще не запилили, надо искать 3rd party
Sn00part
ну развесь на nodeport сервисы и по адресам ходи )
Sn00part
но это ипанько
Сергей
короче еще не запилили, надо искать 3rd party
в 1,17 должны докатить. а это скоро. пока можно закостылить
Sn00part
да, фича есть, все оформлено, надо подождать
G72K
да, фича есть, все оформлено, надо подождать
Если почитать внимательно они с 1.12 откладывают и к 1.17 тоже опоздали :) получили исключение, но в целом совсем не отзывчивые .
Sn00part
ну я и сказал подождать )) версию не написал же )
Sn00part
там тянется резина еще с 1.9
D
Всем привет. Недавно на один проект меня закинули на ci/cd. То есть раньше только слышал про aws. У нас будет использоваться aws eks для деплоя бекенда и разбиения этого бекенда по регионам. С kubernetes в целом разобрался, понял как там кластер создавать, как делать поды на основе докеровских имеджей, это ок. Дали учётку в aws console, сделал там тестовый кластер с помощью eksctl ну и увидел что все норм работает. Теперь тут у меня тут таска есть, звучит так "Research AWS EC2 Spot usage for EKS nodes". Я разобрался, что эти спотовые инстансы (кстати так и не допер, что такое инстансы в aws, типа ноды или пода как в кубернейтс?) созданы для удешевления стоимости в деньгах. Я прочел в оф доке про них, про ASG auto scaling group, типа надо создать эту группу, там создать эти споты? Я создал какой,-то template с эти делом вроде и что дальше и вообще что это и как туда засунуть бекенд?))) Вообщем каша в голове да и только)) у меня сейчас задача просто разобраться как из консоли aws (или нет) создать эти споты и использовать их в кластере kubernetes. Я так понимаю) Может кто знает норм ссылку , по тому как это делать, чтобы в голове все утряслось? Сейчас смотрю тут https://eksworkshop.com/spotworkers/ перехожу с ссылки на ссылку и в голове каша)
Sn00part
а доки, которые сам aws дает не подойдет ? https://aws.amazon.com/ru/ec2/spot/
Vladimir
Всем привет. Недавно на один проект меня закинули на ci/cd. То есть раньше только слышал про aws. У нас будет использоваться aws eks для деплоя бекенда и разбиения этого бекенда по регионам. С kubernetes в целом разобрался, понял как там кластер создавать, как делать поды на основе докеровских имеджей, это ок. Дали учётку в aws console, сделал там тестовый кластер с помощью eksctl ну и увидел что все норм работает. Теперь тут у меня тут таска есть, звучит так "Research AWS EC2 Spot usage for EKS nodes". Я разобрался, что эти спотовые инстансы (кстати так и не допер, что такое инстансы в aws, типа ноды или пода как в кубернейтс?) созданы для удешевления стоимости в деньгах. Я прочел в оф доке про них, про ASG auto scaling group, типа надо создать эту группу, там создать эти споты? Я создал какой,-то template с эти делом вроде и что дальше и вообще что это и как туда засунуть бекенд?))) Вообщем каша в голове да и только)) у меня сейчас задача просто разобраться как из консоли aws (или нет) создать эти споты и использовать их в кластере kubernetes. Я так понимаю) Может кто знает норм ссылку , по тому как это делать, чтобы в голове все утряслось? Сейчас смотрю тут https://eksworkshop.com/spotworkers/ перехожу с ссылки на ссылку и в голове каша)
https://eksctl.io/usage/spot-instances/
Sn00part
https://aws.amazon.com/ru/ec2/spot/getting-started/
Vladimir
Всем привет. Недавно на один проект меня закинули на ci/cd. То есть раньше только слышал про aws. У нас будет использоваться aws eks для деплоя бекенда и разбиения этого бекенда по регионам. С kubernetes в целом разобрался, понял как там кластер создавать, как делать поды на основе докеровских имеджей, это ок. Дали учётку в aws console, сделал там тестовый кластер с помощью eksctl ну и увидел что все норм работает. Теперь тут у меня тут таска есть, звучит так "Research AWS EC2 Spot usage for EKS nodes". Я разобрался, что эти спотовые инстансы (кстати так и не допер, что такое инстансы в aws, типа ноды или пода как в кубернейтс?) созданы для удешевления стоимости в деньгах. Я прочел в оф доке про них, про ASG auto scaling group, типа надо создать эту группу, там создать эти споты? Я создал какой,-то template с эти делом вроде и что дальше и вообще что это и как туда засунуть бекенд?))) Вообщем каша в голове да и только)) у меня сейчас задача просто разобраться как из консоли aws (или нет) создать эти споты и использовать их в кластере kubernetes. Я так понимаю) Может кто знает норм ссылку , по тому как это делать, чтобы в голове все утряслось? Сейчас смотрю тут https://eksworkshop.com/spotworkers/ перехожу с ссылки на ссылку и в голове каша)
но насколько я помню EKS не умеет в разные регионы, только в разные AZ
Sn00part
да, вроде не может так. Но можно наспавнить кучку кластерков же
𝚔𝚟𝚊𝚙𝚜
Red Hat открыл код Quay, репозитория для сборки и распространения контейнеров https://opennet.ru/51854/
Slach
Watch cache выключите, похудеет
О! друг! спасибо большое
Arumato
Ребят, как вы решаете проблему куба для дев среды, когда версия контейнера не обновляется (до было 0.0.1 после фикса тоже 0.0.1) куб думает что та же версия и не качает с реджистри. dockerPullPolicy: Always тоже не помогает
Anonymous
А никак ты эту проблему не решишь. Только заменой тега образа
Anonymous
Именно по этой причине нельзя использовать latest и аналогичные теги
Arumato
Я просто версию с pom.xml(java) беру автоматически
Arumato
А там же версию не обновляют...
Anonymous
Тебе выше написали - используй в качестве тега git hash или номер билда в твоём CI
Arumato
Ок спасибо большое
რად
Но это криво, правильно люди пишут, тег нужно нормальный проставлять
Denis
Ребят, как вы решаете проблему куба для дев среды, когда версия контейнера не обновляется (до было 0.0.1 после фикса тоже 0.0.1) куб думает что та же версия и не качает с реджистри. dockerPullPolicy: Always тоже не помогает
sha@256 digest или моожете imagepulpolicy поставить always и в хэлме обновлять релиз с флагом --recreate pod, но это по мне так лютый костыль. С digest image в принципе жить можно
Dmitry
Ребят, как вы решаете проблему куба для дев среды, когда версия контейнера не обновляется (до было 0.0.1 после фикса тоже 0.0.1) куб думает что та же версия и не качает с реджистри. dockerPullPolicy: Always тоже не помогает
в annotations можно image id образа засовывать + always pull policy, то тогда будет обновляться. Это конечно лучше не делать на проде, но в дев среде вполне можно так жить, проблем с этим не испытывал
Artemiy
)
Марат
или в env пихать now() :)
D
https://eksctl.io/usage/spot-instances/
То есть просто можно создать кластер со спотовыми инстансами и по требованию из ямл файла. Я так понимаю эти спотовые инстансы ничем не отличаются от обычных нод кубернетиса? То есть туда можно деплоить как на обычные ноды? Кстати в оф доке описано как эти инстансы включать и отключать, не совсем мне понятно, то есть они они существуют вне кластера? Или они будут все же внутри кластера с обычными годами и когда надо их надо включать?
Марат
споковые такие же инстансы, но чужие, временно не занятые, если они понадобятся хозяевам их могут забрать, предупредив за 2 минуты. вам это без разницы, если вы не держите все на спотовых, а есть еще и ондеманд которые вывезут в короткое время перезаказа новых спотовых
Марат
если автоскейлинг группа, как по ссылке, то по сути все само магически сработает
Nikolay
калике нуно место для хранения конифга. для взрослых мужжчин - это отдельны etcd кластер, а для продвинутых - можно и в конфигмапах хранить (тип kubernetes кажись).
В 3.10 у них неприятный баг для тех кто юзает внешний etcd и сервера вне kubertnetes кластера в общей calico сети. Но мало кто так заморачивается. Как и с etcd rbac.
Марат
главное, чтобы ваши поды не были в таком малом количестве реплик, что все на споты легли
Марат
можно, но это надо делать, потому упомянул
Anonymous
То есть просто можно создать кластер со спотовыми инстансами и по требованию из ямл файла. Я так понимаю эти спотовые инстансы ничем не отличаются от обычных нод кубернетиса? То есть туда можно деплоить как на обычные ноды? Кстати в оф доке описано как эти инстансы включать и отключать, не совсем мне понятно, то есть они они существуют вне кластера? Или они будут все же внутри кластера с обычными годами и когда надо их надо включать?
Здесь надо понимать, что амазон предоставляет кластер Kubernetes в очень специфическом виде. EKS по сути это кластер без worker nodes. Для создания полноценного кластера вы выбираете виртуалки, которые здесь называются EC2, которые будут работать в качестве worker. Платите вы отдельно за EKS + за все инстансы EC2. Спотовые инстансы EC2 безсмысленно использовать в EKS. Так как при их выборе вы определяете цену, которую готовы платить за них. Соответственно, если нагрузка в облаке AWS будет низкая и цена на такие инстансы упадёт ниже границы которую вы установили, то они вам будут предоставлены. Прогнозировать это сложно. Потому спотовые инстансы имеет смысл использовать под какие-то асинхронные задачи, которые можно отложить. Типа конвертации накопленного видео-контента или чего-то в этом роде. Соответственно, когда нагрузка на AWS возрастёт эти инстансы у вас отнимут. Вряд ли такой подход по выделению worker nodes может эффективно использоваться в кластере Kubernetes. Посмотрите вот этот урок по EC2. Так же можно посмотреть весь плейлист с этого канала. Там много интересного по AWS. https://youtu.be/E6gQy_55-AA
Dmitry
или в env пихать now() :)
не, в случае с id образа в аннотациях, он будет обновляться только когда он изменился. В итоге получили тот же функционал, что и если бы мы делали теги из коммитов или номера билда, но даже лучше, так как не всегда новый коммит или сборка меняют образ. И при этом мы не спамим в registry миллионом тегов
D
Здесь надо понимать, что амазон предоставляет кластер Kubernetes в очень специфическом виде. EKS по сути это кластер без worker nodes. Для создания полноценного кластера вы выбираете виртуалки, которые здесь называются EC2, которые будут работать в качестве worker. Платите вы отдельно за EKS + за все инстансы EC2. Спотовые инстансы EC2 безсмысленно использовать в EKS. Так как при их выборе вы определяете цену, которую готовы платить за них. Соответственно, если нагрузка в облаке AWS будет низкая и цена на такие инстансы упадёт ниже границы которую вы установили, то они вам будут предоставлены. Прогнозировать это сложно. Потому спотовые инстансы имеет смысл использовать под какие-то асинхронные задачи, которые можно отложить. Типа конвертации накопленного видео-контента или чего-то в этом роде. Соответственно, когда нагрузка на AWS возрастёт эти инстансы у вас отнимут. Вряд ли такой подход по выделению worker nodes может эффективно использоваться в кластере Kubernetes. Посмотрите вот этот урок по EC2. Так же можно посмотреть весь плейлист с этого канала. Там много интересного по AWS. https://youtu.be/E6gQy_55-AA
Спасибо
Марат
Здесь надо понимать, что амазон предоставляет кластер Kubernetes в очень специфическом виде. EKS по сути это кластер без worker nodes. Для создания полноценного кластера вы выбираете виртуалки, которые здесь называются EC2, которые будут работать в качестве worker. Платите вы отдельно за EKS + за все инстансы EC2. Спотовые инстансы EC2 безсмысленно использовать в EKS. Так как при их выборе вы определяете цену, которую готовы платить за них. Соответственно, если нагрузка в облаке AWS будет низкая и цена на такие инстансы упадёт ниже границы которую вы установили, то они вам будут предоставлены. Прогнозировать это сложно. Потому спотовые инстансы имеет смысл использовать под какие-то асинхронные задачи, которые можно отложить. Типа конвертации накопленного видео-контента или чего-то в этом роде. Соответственно, когда нагрузка на AWS возрастёт эти инстансы у вас отнимут. Вряд ли такой подход по выделению worker nodes может эффективно использоваться в кластере Kubernetes. Посмотрите вот этот урок по EC2. Так же можно посмотреть весь плейлист с этого канала. Там много интересного по AWS. https://youtu.be/E6gQy_55-AA
он там в принципе про спот все, что мог сказал: "Спот инстансес, я ими никогда не пользовался" ))
Марат
но расскажу, что это такое и как оно работает, да
Anonymous
))))
Марат
ну и про биды, ничто не мешает поставить цену ставки = цене ondemand, цена спота выше ondemand, на сколько я видел, редко бывает
Anonymous
Но у человека, вообще, очень слабое представление об AWS судя по его тексту. Так что для первого знакомства достаточно. А дальше сам накопает или спросит. Только тогда вопросы буду уже другие по сути
Марат
А в чём тогда смысл использовать споты?
в большинсстве случаев цена будет низкая, но при повышении цены мы готовы будем взять по цене вплоть до базовой, если ставка $100 в час, а спот по $0,10 отдают, то с вас не возьмут $100, если вы об этом
Марат
bid это максимальная цена, на которую вы согласны, а не цена покупки спота
Марат
или я не понял вопрос))
Anonymous
в большинсстве случаев цена будет низкая, но при повышении цены мы готовы будем взять по цене вплоть до базовой, если ставка $100 в час, а спот по $0,10 отдают, то с вас не возьмут $100, если вы об этом
Марат, я понимаю о чём вы говорите. Но я не могу себе представить задачу, которую имеет смысл решать средствами K8s на спотовых инстансах. Отсутствие гарантированного предоставления worker нод как-то не вяжется с логикой использования кластера
Yury
это почему?
Марат
не смог дальше смотреть видос, сколько спорных утверждений и незнания, новичку может и полезно, но не запоминать все это как истину, только общее представление перенять)
Yury
У нас несколько кластеров на спотах. ECS правда, а не EKS. Но все работает отлично. Споты отбирают не сильно жадно и ситуаций, когда не остается машин вообще у нас еще не случалось.
Yury
А сейчас еще дрейн завезли на споты, так вообще песня
Марат
а бюджет при этом на сколько сдулся? просто для статистики интересующимся)
Yury
С первого дня эти проекты на спотах )
Yury
Там веб приложение, поэтому оно хорошо переносит масштабирование