мы для рада систем используем описанный вами первый пример

на мой взгляд вариант 4 это велосипедостроение и желание быть админом nginx

если у вас немного правил то цена вполне себе адекватная

если у вас нет WS и прочего странного, а лишь хороший добрый HTTP с быстрыми request/respose - все будет хорошо

Используем вариант 2, все ингрес контроллеры шаблонятся через helm CD на jenkins

Спасибо за комментарии, полезная инфа. Пишите остальные свое мнение

Кто-нибудь натыкался на баг, когда kubelet перестает монтировать тома в контейнеры и минут через 10 нода уходит в Not ready?

только сегодня на Амазоне столкнулся с подобной проблемой... Перезагрузка ноды не помогла, пришлось дропать, автоскейл создал новую и в нее все подмонтировалось

у меня была не прям эта проблема но похожая на гугле в версии до 1.4.че-то-там... проблема была в баге нетворка докеровского из-за которого при удалении контейнера не освобождался айпишник, и наступил момент когда вся подсеть была занята и новые контейнеры не могли создаваться, помого только обновление кубернетеса (в гугле не обновить отдельно докер)

кстати, оффтоп: а можно как-то при создании сервиса указать хелсчеки для внешних балансировщиков (гуголь, амазон)? а то он по дефолту не создает

я вот думаю где это должно реализовываться - на стороне твоего приложения ведь да?

не, я про кубернетесовский service: когда его создаешь он сам дергает гуглевое апи и создает балансировщик с некрасивым названием

мне не сложно зайти в гугль и подправить добавив хелсчек (например, одна из нод перестала отвечать а трафик на нее продолжил литься), но идея-то в том чтобы абстрагироваться от внешнего облака

пока не получается :)

http://blog.kubernetes.io/2017/02/inside-jd-com-shift-to-kubernetes-from-openstack.html?m=1

Давно пора :)

ребят а что для начала почитать?

ребят а что для начала почитать?

https://kubernetes.io/docs/getting-started-guides/gce/

https://kubernetes.io/docs/getting-started-guides/gce/

там за бабло? в гугле?

или так прокатит?

Ни разу не пробовал. Не знаю. Слева есть меню и там рассказывают, как запустить локально.

Ни разу не пробовал. Не знаю. Слева есть меню и там рассказывают, как запустить локально.

вот!

извините

Ни разу не пробовал. Не знаю. Слева есть меню и там рассказывают, как запустить локально.

THIS!

извините

С тебя 5$ за две минуты гугления "getting started kubernetes"

С тебя 5$ за две минуты гугления "getting started kubernetes"

Хорошо добавлю в плюсик) просто меньше 20 наша "крупная и динамично развивающаяся компания" не готова платить) мы ценим наших коллег

Хорошо добавлю в плюсик) просто меньше 20 наша "крупная и динамично развивающаяся компания" не готова платить) мы ценим наших коллег

Я и на 20 согласен))

Я и на 20 согласен))

ну еще 3 официальных и 2 не очень)

Может знаете канал про докер, или тут не только про кубик можно спрашивать?

@docker_ru ?

спс за докер-канал

там за бабло? в гугле?

Для новых регистраций $300 триала на 2 месяца

https://kubernetes.io/docs/getting-started-guides/gce/

Но мне неясно чем обусловлен такой выбор? Для новичков, которые хотят разобраться с ноля есть https://github.com/kelseyhightower/kubernetes-the-hard-way Для новичков, которые хотят чтобы все сразу работало - https://cloud.google.com/container-engine/ Но проще всего (и главное - фактически бесплатно) - https://kubernetes.io/docs/getting-started-guides/minikube/

Возможно, кто-то уже спрашивал. Что вы думаете про Tectonic?

Возможно, кто-то уже спрашивал. Что вы думаете про Tectonic?

+1 "Free for use up to 10 nodes."

Мало?

Это наоборот плюс, и в вроде изначально было не так

Собственно, там какие-то интересные гуи. Насколько по вашему вообще пригождаются все дополнительные наслоения поверх Kubernetes, к которым относятся Origin и Tectonic?

deis мне ок, остальное или не привлекло или не пробовал )

а кстати, вот по deis есть какая инфа нормальная? я вот поставил, задеплоил пару приложений - вроде работает но вот он ставит графану с телеграфом... че-то нигде не нашел как до него достучаться и правильно юзать :) кто где читает про него?

собрал чарт эластиксерча под кубернетес на стейтфулсетах: ругайте :) https://github.com/afoninsky/helm-charts/tree/master/elasticsearch

Ну вроде норм

@ga_rus, по-моему ты интересовался лимитами куба: https://kubernetes.io/docs/admin/cluster-large/ At v1.5.1, Kubernetes supports clusters with up to 1000 nodes. More specifically, we support configurations that meet all of the following criteria: No more than 2000 nodes No more than 60000 total pods No more than 120000 total containers No more than 100 pods per node откуда растут эти лимиты – не знаю

Не помню чтобы интересовался, но почитаю про это. Спасибо!

Мы интересовались :) Спасибо, Паш!

( суббота, вечер, кубернафты не спят :) )

так самое время же инфраструктуру курочить :)

Это наоборот плюс, и в вроде изначально было не так

да, там более жесткие условия trial были

@ga_rus, по-моему ты интересовался лимитами куба: https://kubernetes.io/docs/admin/cluster-large/ At v1.5.1, Kubernetes supports clusters with up to 1000 nodes. More specifically, we support configurations that meet all of the following criteria: No more than 2000 nodes No more than 60000 total pods No more than 120000 total containers No more than 100 pods per node откуда растут эти лимиты – не знаю

1000 нод держит etcd. Последняя версия на grpc держит 2k. Судя по примерно таким же ограничениям в zookeeper and consule это уже физические ограничения.

2k rps?

get/set?

2к нод

2k нод может создавать разную нагрузку

1000 нод держит etcd. Последняя версия на grpc держит 2k. Судя по примерно таким же ограничениям в zookeeper and consule это уже физические ограничения.

а что, разве воркеры имеют прямой доступ к ETCD?

Что за воркеры?

kubelet. Он же нода

Хех, не могу найти подтверждения. Но по логике на каждом worker дожна быть client нода etcd, что бы поддеживать консенсус в кластере.

Хех, не могу найти подтверждения. Но по логике на каждом worker дожна быть client нода etcd, что бы поддеживать консенсус в кластере.

нет, зачем? воркеры работают через аписервер

вот апи-серверам нужны etcd

Что бы когда worker отвалился, кластер узнал об этом. Я могу ошибаться. И в k8s другая архитектура.

воркер постоянно общается с апи-сервером. По-моему pub-sub, но я не уверен, может просто таймаут. Если воркер перестал присылать i-am-alive пакеты - он отвалился

все просто

у тебя все равно любой конфигурационный запрос превращается в запрос к etcd

Простор для масштабирования там едва ли не бесконечный, если отказаться от единого мастера и обрабатывать каждый ключ своим подкластером. Но такое умеет только кассандра из того, что пробовал.

Есть кто ресазил PV с рабочими данными? (интерисует gcloud, но можно и нет). Я рейсайзил сам pv-диск в gcloud console и на ноде, но не понятно что делать с конфигурацией PV на кластере, ее можно/нужно как-то поменять, чтобы отображался корректный новый размер?

воркер постоянно общается с апи-сервером. По-моему pub-sub, но я не уверен, может просто таймаут. Если воркер перестал присылать i-am-alive пакеты - он отвалился

kubelet по http(s) шлёт status updates. Как только задержка между этими status updates становится слишком долгой (насколько - настраивается), kube-controller-manager делает ноду NotReady и у всех pod'ов на этой ноде Condition Ready становится false, так что сервисы от них отваливаются.

т.е. за исключением pub/sub в целом верно

Всем привет. Анкета ▫️Какой у вас проект или где работаете? работаю во flant.ru ▫️В чём вы специалист? DevOps инженер, линукс, виртуализация, сети, мониторинг, puppet, chef ▫️Чем интересно сообщество вам? В ближайшее время (полгода) планируется переход на кубернетс - может быть кто что сможет подсказать ▫️Откуда вы? Калининрад ▫️Как узнали про группу? друг подсказал В сообщении нужно указать тэг #whois +

А чего у вас информация по митапу не запинена?