или общий контейнер nginx с конфигом для всего и общий редис.

@istinspring Один сервис как набор, так гораздо удобнее

спасибо

как на ec2 кластер развернутЬ? там варианты - coreos, tectonic или kops

kube-aws рекоммендую

ктонить https настраивал в кубере на балансировщик нагрузки? как это быстрее и правильнее всего сделать? только ручками в nginx конфиге или есть гдето кнопочка "сделать https"?)

Смотрите Nginx.conf.tmpl, там будут видны нужные ключи

почему вы доки не читаете? там есть все

доки читал, и это пробовал в т.ч.) проблема была в кривом сертификате. только ошибок касаемо сертификата не было, тупо редирект на дефоулт

ктонить https настраивал в кубере на балансировщик нагрузки? как это быстрее и правильнее всего сделать? только ручками в nginx конфиге или есть гдето кнопочка "сделать https"?)

У кадди есть такая кнопочка)

ребята, как прокинуть в дженкинс внутри куба докер репозиторий? /var/.. замапить и всё?

ну или вообще сориентируйте по бест практис

docker registry?

если да, то подключаться по сети, как и везде

не, отдельного регистри нет. локальный докер который

или есть смысл регистри заводить?

вы хотите подключить сервер докера для запуска контейнеров через дженкинс?

вы хотите подключить сервер докера для запуска контейнеров через дженкинс?

именно. будет выкачиваться гит, собираться имейдж и apply куба

Насколько понимаю, либо dind, либо так. Оба варианта не очень на самом деле. Примерно из-за это я сторонник держать дженкинс вне оркестратора.

т.е. вообще его, скажем, рядом через какой-нить композер пускать?

Я про то что если мне придется его ставить, я его буду ставить вне контейнера. Но это только мои личные предпочтения.

именно. будет выкачиваться гит, собираться имейдж и apply куба

А куб откуда будет имаджи выкачивать?

ну так из локального докера

Я может пропустил что-то: кубер на одной ноде?

да

тогда стоит прокидывать сокет, скорее всего. куб же тот же самый докер сервис использует?

да,тот же самый. а сокет каким образом прокидывать, как обыный вольюм? не будет проблем с aufs?

имеется в виду прокинуть /var/run/docker.sock

я про него и подумал, когда увидел /var

сокет, понятное дело, лежит вне union fs

Как-то так

ну это понятно, что его прокидывать, как и обычным докером. я просто сомневался, что это обычными вольюмами можно сделать, гуглил, но пока без результата

а, прям так

спс ?

пока пускаю дженкинса отдельно, в докере. как всё меня устроит, попытаюсь в куб переехать

Рекомендую посмотреть на https://github.com/nbyl/cd-workshop-demo так с миникубом и всё понятно расписано

хай

а вообще бест практис по кубу гуглятся ой как тяжко, каждый по-своему делает

а есть какие-либо правила по выбору подсетей для сервисов и подов?

или можно брать с потолка?

Рекомендую посмотреть на https://github.com/nbyl/cd-workshop-demo так с миникубом и всё понятно расписано

благодарствую ✋️

а есть какие-либо правила по выбору подсетей для сервисов и подов?

1. надо чтобы не пересекались с существующими сетями, куда поды из твоего куба могут потенциально слать запросы 2. надо чтобы места было много. каждая нода, кажется, по-умолчанию откусывает /24 под поды на ней

при это аренда длится 24 часа.

1. надо чтобы не пересекались с существующими сетями, куда поды из твоего куба могут потенциально слать запросы 2. надо чтобы места было много. каждая нода, кажется, по-умолчанию откусывает /24 под поды на ней

оки, но, эти сети не маршрутизируются наружу ни в коем виде, так?

они полностью приватные?

1. надо чтобы не пересекались с существующими сетями, куда поды из твоего куба могут потенциально слать запросы 2. надо чтобы места было много. каждая нода, кажется, по-умолчанию откусывает /24 под поды на ней

Настраивается в flanneld или другой overlay сети

и Я могу например, для vpc subnet 172.32.0.0/16 взять 10.0.0.0/16 для сервисов и 10.1.0.0/16 для pod'ов?

оки, но, эти сети не маршрутизируются наружу ни в коем виде, так?

не должны, но могут быть варианты. flannel скажем умеет в AWS подам назначать IP из сети в VPC

не должны, но могут быть варианты. flannel скажем умеет в AWS подам назначать IP из сети в VPC

а как?

так что поды видны напрямую извне (скажем под можно добавить напрямую в ELB)

у меня ругался, что не может роут прописать

у меня ругался, что не может роут прописать

кто?

https://coreos.com/flannel/docs/latest/aws-vpc-backend.html

flannel ругался

I0531 11:49:41.598077 1 local_manager.go:134] Found lease (172.31.146.0/26) for current IP (172.31.125.27), reusing I0531 11:49:41.711016 1 awsvpc.go:286] Found eni-7514a05e that has 172.31.125.27 IP address. I0531 11:49:42.512974 1 awsvpc.go:115] Found route table rtb-e76d3780. E0531 11:49:42.653598 1 network.go:102] failed to register network: unable to add route 172.31.146.0/26: InvalidParameterValue: cannot create a more specific route for 172.31.146.0/26 than local route 172.31.0.0/16 in route table rtb-e76d3780 status code: 400, request id: 086f557f-ba6c-4dbe-aacf-956c17f8d34b

но это плохо, т.к. маршрутов всего 50

I0531 11:49:41.598077 1 local_manager.go:134] Found lease (172.31.146.0/26) for current IP (172.31.125.27), reusing I0531 11:49:41.711016 1 awsvpc.go:286] Found eni-7514a05e that has 172.31.125.27 IP address. I0531 11:49:42.512974 1 awsvpc.go:115] Found route table rtb-e76d3780. E0531 11:49:42.653598 1 network.go:102] failed to register network: unable to add route 172.31.146.0/26: InvalidParameterValue: cannot create a more specific route for 172.31.146.0/26 than local route 172.31.0.0/16 in route table rtb-e76d3780 status code: 400, request id: 086f557f-ba6c-4dbe-aacf-956c17f8d34b

нее, вы настроили flannel брать IP из подсети, которая уже есть и живая

создайте отдельную, ничего вней не запускайте и её адреса используйте для flannel vpc backend

неа, это сеть vpc, такого сабнета нет

хм, "172.31.0.0/16" вот это весь VPC?

да

в нем нарезаны 3 сети, /24 в каждой az

диапазон flannel'а туда не попадает

создайте отдельную, ничего вней не запускайте и её адреса используйте для flannel vpc backend

а не, гоню. берите адреса вне диапазона VPC :)

Оки

но это плохо, т.к. маршрутов всего 50

можно до 100 увеличить, но все равно мало, да

кто-то пробовал ipvlan?

ERROR: S client not available

дефолтный vxlan работает, есть не просит, если гигабиты не гонять и не заметишь наверно даже

у нас много трафика

именно внутри сети

вот и ищу варианты

aws-vpc хорошо, но 100 роутов маловато будет

смотри calico

они умеют нативный IP внутри AZ и IPIP между AZ

все прозрачно для приложения ясное дело - само решает что делать в зависимости от точки назначения

вообще я слышал, что сеть в GCE сильно лучше сделана, сам не щупал

почему не GKE?

почему не GKE?

потому, что aws :(

только заметил, что у гитлаба есть нативный докер регистри ?

да это свежак

Кстати, раз уж заговорили про оверлей.. Кто-нибудь организовывал секьюрный оверлей меж дц?

да через тинк

господа, кто держит нжинкс в кубе? как вы конфиги обновляете?

господа, кто держит нжинкс в кубе? как вы конфиги обновляете?

видел обёртку из inotify + nginx reload, но сам не использовал

я обновляю конфигмап и киляю поды :)

Эхх обажаю документацию по куберу)

Фича есть, Фича описана, по факту не работает)

надо заводить баг и все починят

Есть мнение что сделают, но по позже) или в 1.6

1.7

и то скорее в 1.8 уж

всмысле в 1.6 работает

ребята, как прокинуть в дженкинс внутри куба докер репозиторий? /var/.. замапить и всё?

В опеншифт это из коробки!))

В опеншифт это из коробки!))

о-пен-шифт! о-пен-шифт!

красные шляпы это гут, но не моё

мы про какой такой опеншифт?

Может кто-нибудь помочь мне с настройкой кубернетеса в эти выходные? Оплачиваемо. Нужно объяснять как правильно перенести текущую архитектуру на ансибле докере в кубернетес. И дальше провалидировать исполнение. По сути мне нужен второй девопс эксперт для парного кубернетесирования