привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?

привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?

продажа носков https://github.com/microservices-demo/microservices-demo

продажа носков https://github.com/microservices-demo/microservices-demo

? ??

привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?

Ну тебе же дали дельные советы в соседнем чате. kops и интерактивный tutorial

Ну тебе же дали дельные советы в соседнем чате. kops и интерактивный tutorial

там туториал на пол дня, дальше то мне чем заниматься?

там туториал на пол дня, дальше то мне чем заниматься?

Разворачивать кластер в aws\gcp\do

Разворачивать кластер в aws\gcp\do

А приложение, которое будет разворачиваться мне самому написать?) Магазин носков - видимо то, что нужно

с сотней тачек можно пробовать autoscale и всякие варианты с переездом мастеров

Вот, кстати, да. Я сам совсем недавно начал экспериментировать, вопросы только на уровне: "а так делать феншуйно?"

А приложение, которое будет разворачиваться мне самому написать?) Магазин носков - видимо то, что нужно

Можешь посмотреть в сторону helm

Например, у меня есть PV с данными бд на ноде1, она отключилась, поды переехали, а PV - нет

PV не на ноде располагается, как правило

а где же "феншуно"?

а где же "феншуно"?

в SDS

т.е. за предлами кластера?

Не обязательно за пределами кластера

Ну, пока вот мучаю OpenEBS :)

вернее софтину для нее на нодах

PV бывают двух типов - те, которые доступны только на одной ноде или доступны на всех (нескольких) нодах. В зависимости от того, какие вы можете иметь PV дальше уже можно обсуждать варианты разворачивания базы/приложения в кластере

Сейчас бы победить iscsi под coreos и можно будет тестить

привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?

То, что тебе нужно - это книжка Kubernetes in Action от Marko Luksa. Там по ходу всего чтения книги ты делаешь одну большую Лабу. Все образы залиты в ДокерХаб. Книга на английском, но читается просто

То, что тебе нужно - это книжка Kubernetes in Action от Marko Luksa. Там по ходу всего чтения книги ты делаешь одну большую Лабу. Все образы залиты в ДокерХаб. Книга на английском, но читается просто

Спасибо, ознакомлюсь!

там туториал на пол дня, дальше то мне чем заниматься?

берите кубер, ставьте дефолтно мастер+нода, попробуйте парочку приложений собрать в докере+redis, потом все это в кубере когда наиграетесь, пробуйте отказоустойчивый мультимастер с etcd

а потом тоже самое c HELM

берите кубер, ставьте дефолтно мастер+нода, попробуйте парочку приложений собрать в докере+redis, потом все это в кубере когда наиграетесь, пробуйте отказоустойчивый мультимастер с etcd

уже есть опыт переноса проектов в докер, по этому и интересно дальше идти. в принципе уже есть чем себя занять на ближайший месяц)

хм, а вариант с мультимастером на coreos звучит интересно :)

хм, а вариант с мультимастером на coreos звучит интересно :)

сам до coreos не доберусь никак:С

а мы сразу решили на ней делать, но уже понимаю, что есть косяки некоторые

вот сейчас уже полдня бьюсь с iscsi

сам до coreos не доберусь никак:С

кстати, для каких целей вообще рассмативается coreos в вашем случае?

+1

кстати, для каких целей вообще рассмативается coreos в вашем случае?

а скорее для кругозора, изначально решили в кубере поверх дебиана вертеть, а мне таки интересно а что за coreos да все руки не дойдут:)

Для кубера еще может подойти, но готовьтесь к небольшой боли :) А вообще у нас система для тестовых стентов частично на них, под разные проекты. Удобно, хоть и тот же питон для docker-compose надо отдельно завозить.

А зачем docker-compose если есть Kubernetes? ?

:D У нас вот только началось внедрение для тестовых стендов, там все живет на nginx-proxy+docker-compose :)

вот сейчас уже полдня бьюсь с iscsi

вроде бы iscsi PV не работали толком пока, тут жаловались в чате

вроде бы iscsi PV не работали толком пока, тут жаловались в чате

это которые через openebs?

там при удалении PVC драйвер PV делал iscsi логаут и тп, но я не настоящий сварщик - ребята может вечером зайдут расскажут поподробнее

а в чем кратенько разница между coreos и k8s

Ну пока ковыряюсь, еще бы заставить вообще работать кубер через него, не до конца еще понял что к чему

а в чем кратенько разница между coreos и k8s

Примерно как у линукса и дебиана

=_= может ubuntu\debian?

попробуйте что-то другое, с iscsi там были бока - не уверен что хороший вариант с ним бороться если только начинаете с кубом работать

:D У нас вот только началось внедрение для тестовых стендов, там все живет на nginx-proxy+docker-compose :)

Завести питон для ансибла я ещё понимаю, но вот завозить питон на coreos ради docker-compose - это что то с чем то

Завести питон для ансибла я ещё понимаю, но вот завозить питон на coreos ради docker-compose - это что то с чем то

а там и и ансибл, и docker-compose

а в чем проблема через ignition поставить питон и что еще надо на coreos?

попробуйте что-то другое, с iscsi там были бока - не уверен что хороший вариант с ним бороться если только начинаете с кубом работать

мы не ищем легких путей :) Но если что-нибудь другое - на что стоит посмотреть, есть варианты?

Просто если у вас все готово в docker compose, то скорее всего переезд на Kubernetes не будет очень болезненным

а в чем проблема через ignition поставить питон и что еще надо на coreos?

когда была трабла первый раз - решилось ручным завозом нужных файлов по какой-то инструкции, так и повелось

=_= может ubuntu\debian?

Нет

Просто если у вас все готово в docker compose, то скорее всего переезд на Kubernetes не будет очень болезненным

тут болезненно сам кубъ настроить, чтоб все работало стабильно :)

тут болезненно сам кубъ настроить, чтоб все работало стабильно :)

Настроить не проблема. Проблемы только с эксплуатацией начнут появляться

мы не ищем легких путей :) Но если что-нибудь другое - на что стоит посмотреть, есть варианты?

baremetal или в облаке?

привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?

для этого эффетивно использовать kops. только еще раз вам скажу, что t2.small возожно реально small kops сгенерирует для aws конфигурацию terraform и зальет, развернув уже готовый и настроенный на aws инфру k8s

если для чисто потыкать то и nfs подойдет имхо, настраивать его по идее все умеют

baremetal или в облаке?

baremetal

ну вот nfs или локальные вольюмы для начала - я бы так начинал

если для чисто потыкать то и nfs подойдет имхо, настраивать его по идее все умеют

потыкать уже потыкали, надо решение стабильное уже делать :)

у kops маленький порого вхождения, нужны только aws api credentials

ну вот nfs или локальные вольюмы для начала - я бы так начинал

но nfs все равно будет проблемный, если нода с запущенным сервером nfs упадет же

само собой, но вам же потыкать для начала надо а не в продакшен?

само собой, но вам же потыкать для начала надо а не в продакшен?

с nfs уже другая штука будет, тут нужен стабильный тестовый стенд все-таки

потыкать уже потыкали, надо решение стабильное уже делать :)

Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут

ну и насколько это критично у вас будет, а то так можно сравнивать что мускуль с мастер-слейв для потыкать не пойдет, надо сразу галера кластер и тд

Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут

не стращайте, гитлаб и прометей на очереди уже :)

ну и насколько это критично у вас будет, а то так можно сравнивать что мускуль с мастер-слейв для потыкать не пойдет, надо сразу галера кластер и тд

кейс вообще такой: есть бд, к ней цепляются ветки (экземпляры приложения в кластере) и локальная среда (из локальной сети), вот поэтому и нужна стабильная бд

не стращайте, гитлаб и прометей на очереди уже :)

Удачи вам :)

И сил?

Спасибо ?

не стращайте, гитлаб и прометей на очереди уже :)

Если захотите настроить Docker-outside-of-Docker, советую обратить внимание вот на этот костыль: https://gitlab.com/gitlab-org/gitlab-runner/issues/2578#note_36422633 , как бы это ни звучало

Если захотите настроить Docker-outside-of-Docker, советую обратить внимание вот на этот костыль: https://gitlab.com/gitlab-org/gitlab-runner/issues/2578#note_36422633 , как бы это ни звучало

сохранил себе, но пока не вчитывался :)

Если захотите настроить Docker-outside-of-Docker, советую обратить внимание вот на этот костыль: https://gitlab.com/gitlab-org/gitlab-runner/issues/2578#note_36422633 , как бы это ни звучало

почему костыль?

расшаренный docker.sock - вариант из оф доки гитлаба

Если кратко, то переопределение секций раннера через config.toml не работает. Нужно либо вот так вот дополнять, либо через переменные окружения https://gitlab.com/gitlab-org/gitlab-runner/blob/master/common/config.go

Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут

Всмысле замаршрутизировали контейнеры? А в чём проблема то)

расшаренный docker.sock - вариант из оф доки гитлаба

В точку. Только вот в той же доке они говорят это делать через configMap:config.toml, когда хочешь поправить настройки раннера, а это не так, работает только через конкатенацию после регистрации. Если через конфиг, то конфиг получается двойной: из переменных окружения и из файла, и runner как-то выборочно при каждой новой заявке выбирает конфиг сам. То маунтит, то нет

Всмысле замаршрутизировали контейнеры? А в чём проблема то)

А они не маршрутизируемы изначально? Что вы имеете ввиду?

Ребят, а кто как решил этот вопрос? http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later При новой инсталляции у вас беда с правами и при деплое в куб ничего не взлетает. Либо entrypoint свой пихать, либо… зачем это поменяли то?

В точку. Только вот в той же доке они говорят это делать через configMap:config.toml, когда хочешь поправить настройки раннера, а это не так, работает только через конкатенацию после регистрации. Если через конфиг, то конфиг получается двойной: из переменных окружения и из файла, и runner как-то выборочно при каждой новой заявке выбирает конфиг сам. То маунтит, то нет

[[runners.kubernetes.volumes.host_path]] name = "hostpath" mount_path = "/var/run/docker.sock"

у меня так и мне збс config.toml

А они не маршрутизируемы изначально? Что вы имеете ввиду?

Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?

у меня так и мне збс config.toml

Только это лежит в config.toml в configMap?

Только это лежит в config.toml в configMap?

да

или они взяли k8s service с маршрутизируемым cidr

да

А concurrent = n check_interval = m ?

Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?

Я выше рассказывал, что кейсы возникают только по мере эксплуатации и погружения. Это я привел в качестве совсем нетривиального примера

Я например, не могу на раз прикинуть для чего это мне бы понадобилось, уж не знаю как вы

Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?

а первоисточник есть? судя по всему, просто настроили calico чтобы анонсило по BGP айпи подов в их сети

Вот я и хотел узнать что они там сделали)

А concurrent = n check_interval = m ?

concurrent = 1 (у меня один раннер), check_interval по умолчанию

ну как для чего, у них там впн из сети офиса в датацентр

наверное чтобы по айпишникам ходить внутрь подов