kustomize пока выглядит наименее безумно, если нет других условий - типа "остальной конфиг в ansible/chef"

kustomize пока выглядит наименее безумно, если нет других условий - типа "остальной конфиг в ansible/chef"

Что за kustomize?

Что за kustomize?

https://github.com/kubernetes-sigs/kustomize/blob/master/README.md

Вообще мне нравится реализация openshift

Но там это в экосистеме

Вообще мне нравится реализация openshift

Deploymentconfig'и интересно придумано, а темплейты какие-то глупые. Надо попробовать через Service Broker

3 раза подряд должна проверка не пройти. liveness заставит перезапуститься контейнер

А liveness probe сработает если нода слегла?

Много проблем с failover, если бы ip не менялись, то sentinel бы решал эту проблему. А так могут быть проблемы с выбором мастера. Есть redis-ha, в целом он не плохой, только нужно statefulset + pvc ему

Пытались сунуть кластер 3.8 на сентинелах без пвц

Работает, но иногда рассыпается наглухо

это норма

точнее редис

Кто-то запускает кластера кубера на амазоне с автоскейл группами и калико?

через ранчер можно

или сложными хелмами - видел такие, но не щупал

Ненене

Ранчер в топку

Тут вопрос как выключиь souce/destination chek для инстансов в aws asg

А как можно остановить весь k8s кластер?

Вот ты можешь объяснить зачем они тащат Lua?

ну а что туда притащить то из скриптовых? Lua юзается как минимум нжинксом, редисом, варнишем и наверное другими тулзами тоже, выглядит логично же, нет?

Кто-то запускает кластера кубера на амазоне с автоскейл группами и калико?

это kops по дефолту делает

Да я уже понял, что нужно свои скрипты пилить, потому что готового вроде как нет (подобный issue на гитхабе так и застрял)

мы например так крутим

Да я уже понял, что нужно свои скрипты пилить, потому что готового вроде как нет (подобный issue на гитхабе так и застрял)

а локально как куб стоит? наверное проще всего будет просто потушить все докер контейнеры

Тут вопрос как выключиь souce/destination chek для инстансов в aws asg

хмм а зачем это может быть нужно?

это kops по дефолту делает

Эм, надо посмотреть как, так как нативно в launch configuration и в настройках самого aws asg эту опцию выставить нельзя.

хмм а зачем это может быть нужно?

Для calico

хммм 2 года юзаю калико на AWS с ASG - этот флаг не нужен был

это новое у них что-то?

это новое у них что-то?

Since Calico assigns IP addresses outside the range used by AWS for EC2 instances, you must disable AWS src/dst checks on each EC2 instance in your cluster as described in the AWS documentation. This allows Calico to route traffic natively within a single VPC subnet without using an overlay or any of the limited VPC routing table entries.

И вот еще: If you need to split your deployment across multiple AZs for high availability then each AZ will have its own VPC subnet. To use Calico across multiple different VPC subnets or peered VPCs, in addition to disabling src/dst checks as described above you must also enable IPIP encapsulation and outgoing NAT on your Calico IP pools.

погоди, так тебе нужна калико между нодами или между контейнерами?

а локально как куб стоит? наверное проще всего будет просто потушить все докер контейнеры

Ну, а как их потушить? Кубер же сам их поднимает. Он только знает delete pod Нужно посмотреть что происходит при перезагрузке. Наверное, systemd все же шлет sig term. И потом какой-то graceful shutdown происходит. Но systemctl stop kubelet ничего не дает.

ну а что туда притащить то из скриптовых? Lua юзается как минимум нжинксом, редисом, варнишем и наверное другими тулзами тоже, выглядит логично же, нет?

Не очень, но тут наши мнения расходятся а спорить бессмысленно

let's agree to disagree 👍

погоди, так тебе нужна калико между нодами или между контейнерами?

Как реализация сети в k8s в aws

обычно между нодами делают фланнел (или еще как) а калико только как overlay network для сети между подами

обычно между нодами делают фланнел (или еще как) а калико только как overlay network для сети между подами

Это та самая связка которая canal?

Хотелось чистый calico, можно поприседать с автоматической установкой флага через lifecycle hook для asg (если это возможно конечно)

Но что-то не очень хочется

а хотя я не прав, таки копс делает с одним калико https://github.com/kubernetes/kops/blob/master/docs/networking.md#enable-cross-subnet-mode-in-calico-aws-only > In the case of AWS, EC2 instances have source/destination checks enabled by default. When you enable cross-subnet mode in kops, an addon controller (k8s-ec2-srcdst) will be deployed as a Pod (which will be scheduled on one of the masters) to facilitate the disabling of said source/destination address checks. Only the masters have the IAM policy (ec2:*) to allow k8s-ec2-srcdst to execute ec2:ModifyInstanceAttribute.

думаю, можно у копса стащить этот аддон и вкрутить себе

Ну как вариант, да

Спасибо

Чертов aws блин

Это та самая связка которая canal?

наверное, kube-aws делает из коробки self-hosted flannel как systemd unit и calico демонсетом как cni plugin

У нас что calico, что kube-proxy демонсеты. Flannel тоже был демонсетом, и есть, на другом кластере. Но тут нужны сетевые политики в которые flannel не умеет.

Чертов aws блин

там в доке копса написано что это не обазательно > Calico [since 2.1] supports a new option for IP-in-IP mode where traffic is only encapsulated when it’s destined to subnets with intermediate infrastructure lacking Calico route awareness – for example, across heterogeneous public clouds or on AWS where traffic is crossing availability zones/ regions.

можно сделать чтобы калико оборачивало траффик всегда даже внутри одной зоны если перфоманс не критичен

Тогда уж лучше canal, там flannel для сети и calico для политик.

и тогда не нужно этот флаг на инстансах трогать

+1, у меня этот вариант 2 года в проде уже крутится

но перфоманс наверное еще хуже

Ну он сейчас не критичен, короче, будем посмотреть. Скорее остановлюсь на canal.

Кто-то запускает кластера кубера на амазоне с автоскейл группами и калико?

зачем тебе калико в амазоне?

ну а что туда притащить то из скриптовых? Lua юзается как минимум нжинксом, редисом, варнишем и наверное другими тулзами тоже, выглядит логично же, нет?

не, я хочу понять зачем там скриптовый язык

зачем тебе калико в амазоне?

Политики сетевые в кубере

не, я хочу понять зачем там скриптовый язык

странный вопрос, чтобы вместо простыни yaml писать более компактно и юзабельно?

странный вопрос, чтобы вместо простыни yaml писать более компактно и юзабельно?

а как жи версионность?

странный вопрос, чтобы вместо простыни yaml писать более компактно и юзабельно?

для этого лучше использовать dsl с синтаксическим сахаром, но никак не тюринг полный императивный язык программирования

для этого лучше использовать dsl с синтаксическим сахаром, но никак не тюринг полный императивный язык программирования

ну пожалуй соглашусь условный puppet с вставками на ruby или salt-stack с вставками на python

это хоть и больно местами, но можно жить

ага

вообще helm прошёл мимо меня и я не очень понимаю зачем оно вот так

куцее и кривоватое

мне из последнего хашикорповский hcl нравится, не без косяков, но все таки

а вообще, всем CRD и контроллеры для них кастомные, и никто не уйдет обиженным :)

странный вопрос, чтобы вместо простыни yaml писать более компактно и юзабельно?

так здесь та же проблема что и с оригинальным хельмом - в кубернетес ты суешь не lua, а именно готовый yaml. И тогда вопрос - зачем тогда вообще хелм, если темплейтор на lua можно написать свой и удобный?

а вообще, всем CRD и контроллеры для них кастомные, и никто не уйдет обиженным :)

и охеревать каждый раз когда в кубе будет меняться API

и охеревать каждый раз когда в кубе будет меняться API

ты какбы сам управляешь составом своего CRD

именно

(у нас кстати CI переходит на такую схему, народу нравиться)

да и то, что стало бетой имеет стабильный api с обратной совместимостью

ты какбы сам управляешь составом своего CRD

Та я в курсе

Та я в курсе

ну вот и версионируй

(у нас кстати CI переходит на такую схему, народу нравиться)

завидую, наши вообще не могут себе мозги сломать, что-бы понять как кубер работает

ну вот и версионируй

Справедливо

зачем тебе калико в амазоне?

да, хотел уточнить, а что не так то?

да, хотел уточнить, а что не так то?

Не, просто интересно было