Андрей
:D
У нас вот только началось внедрение для тестовых стендов, там все живет на nginx-proxy+docker-compose :)
Dmytro
вот сейчас уже полдня бьюсь с iscsi
вроде бы iscsi PV не работали толком пока, тут жаловались в чате
Dmytro
там при удалении PVC драйвер PV делал iscsi логаут и тп, но я не настоящий сварщик - ребята может вечером зайдут расскажут поподробнее
Sergey
а в чем кратенько разница между coreos и k8s
Андрей
Ну пока ковыряюсь, еще бы заставить вообще работать кубер через него, не до конца еще понял что к чему
Sergey
=_= может ubuntu\debian?
Dmytro
попробуйте что-то другое, с iscsi там были бока - не уверен что хороший вариант с ним бороться если только начинаете с кубом работать
Костя
:D
У нас вот только началось внедрение для тестовых стендов, там все живет на nginx-proxy+docker-compose :)
Завести питон для ансибла я ещё понимаю, но вот завозить питон на coreos ради docker-compose - это что то с чем то
Андрей
Завести питон для ансибла я ещё понимаю, но вот завозить питон на coreos ради docker-compose - это что то с чем то
а там и и ансибл, и docker-compose
Dmytro
а в чем проблема через ignition поставить питон и что еще надо на coreos?
Андрей
попробуйте что-то другое, с iscsi там были бока - не уверен что хороший вариант с ним бороться если только начинаете с кубом работать
мы не ищем легких путей :)
Но если что-нибудь другое - на что стоит посмотреть, есть варианты?
Костя
Просто если у вас все готово в docker compose, то скорее всего переезд на Kubernetes не будет очень болезненным
Андрей
а в чем проблема через ignition поставить питон и что еще надо на coreos?
когда была трабла первый раз - решилось ручным завозом нужных файлов по какой-то инструкции, так и повелось
Андрей
Просто если у вас все готово в docker compose, то скорее всего переезд на Kubernetes не будет очень болезненным
тут болезненно сам кубъ настроить, чтоб все работало стабильно :)
Костя
тут болезненно сам кубъ настроить, чтоб все работало стабильно :)
Настроить не проблема. Проблемы только с эксплуатацией начнут появляться
Dmytro
мы не ищем легких путей :)
Но если что-нибудь другое - на что стоит посмотреть, есть варианты?
baremetal или в облаке?
bebebe
привет, как можно эффективно затестить кубернетис, с целью изучить его? могу кратковременно поднимать до 100 t2.small в ec2. может кто встречал какие-нибудь учебные проекты, которые можно было бы раскатать в кубере?
для этого эффетивно использовать kops.
только еще раз вам скажу, что t2.small возожно реально small
kops сгенерирует для aws конфигурацию terraform и зальет, развернув уже готовый и настроенный на aws инфру k8s
Dmytro
если для чисто потыкать то и nfs подойдет имхо, настраивать его по идее все умеют
Dmytro
ну вот nfs или локальные вольюмы для начала - я бы так начинал
Андрей
если для чисто потыкать то и nfs подойдет имхо, настраивать его по идее все умеют
потыкать уже потыкали, надо решение стабильное уже делать :)
bebebe
у kops маленький порого вхождения, нужны только aws api credentials
Андрей
ну вот nfs или локальные вольюмы для начала - я бы так начинал
но nfs все равно будет проблемный, если нода с запущенным сервером nfs упадет же
Dmytro
само собой, но вам же потыкать для начала надо а не в продакшен?
Андрей
само собой, но вам же потыкать для начала надо а не в продакшен?
с nfs уже другая штука будет, тут нужен стабильный тестовый стенд все-таки
Костя
потыкать уже потыкали, надо решение стабильное уже делать :)
Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут
Dmytro
ну и насколько это критично у вас будет, а то так можно сравнивать что мускуль с мастер-слейв для потыкать не пойдет, надо сразу галера кластер и тд
Андрей
Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут
не стращайте, гитлаб и прометей на очереди уже :)
Андрей
ну и насколько это критично у вас будет, а то так можно сравнивать что мускуль с мастер-слейв для потыкать не пойдет, надо сразу галера кластер и тд
кейс вообще такой: есть бд, к ней цепляются ветки (экземпляры приложения в кластере) и локальная среда (из локальной сети), вот поэтому и нужна стабильная бд
Костя
И сил😁
Андрей
Спасибо 😅
Mikhail
не стращайте, гитлаб и прометей на очереди уже :)
Если захотите настроить Docker-outside-of-Docker, советую обратить внимание вот на этот костыль: https://gitlab.com/gitlab-org/gitlab-runner/issues/2578#note_36422633 , как бы это ни звучало
Андрей
Anonymous
Anonymous
расшаренный docker.sock - вариант из оф доки гитлаба
Mikhail
Если кратко, то переопределение секций раннера через config.toml не работает. Нужно либо вот так вот дополнять, либо через переменные окружения https://gitlab.com/gitlab-org/gitlab-runner/blob/master/common/config.go
Maksim
Имхо сейчас уже самое сложное в Kubernetes - это дружить его с разными плюшками вокруг него. Всякие vault, helm, kube-promrtheus, operator, gitlab CI и подобные и тьма других вещей. Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут
Всмысле замаршрутизировали контейнеры? А в чём проблема то)
Mikhail
расшаренный docker.sock - вариант из оф доки гитлаба
В точку. Только вот в той же доке они говорят это делать через configMap:config.toml, когда хочешь поправить настройки раннера, а это не так, работает только через конкатенацию после регистрации. Если через конфиг, то конфиг получается двойной: из переменных окружения и из файла, и runner как-то выборочно при каждой новой заявке выбирает конфиг сам. То маунтит, то нет
Костя
Всмысле замаршрутизировали контейнеры? А в чём проблема то)
А они не маршрутизируемы изначально? Что вы имеете ввиду?
Andrei
Ребят, а кто как решил этот вопрос?
http://docs.grafana.org/installation/docker/#migration-from-a-previous-version-of-the-docker-container-to-5-1-or-later
При новой инсталляции у вас беда с правами и при деплое в куб ничего не взлетает.
Либо entrypoint свой пихать, либо… зачем это поменяли то?
Anonymous
В точку. Только вот в той же доке они говорят это делать через configMap:config.toml, когда хочешь поправить настройки раннера, а это не так, работает только через конкатенацию после регистрации. Если через конфиг, то конфиг получается двойной: из переменных окружения и из файла, и runner как-то выборочно при каждой новой заявке выбирает конфиг сам. То маунтит, то нет
[[runners.kubernetes.volumes.host_path]]
name = "hostpath"
mount_path = "/var/run/docker.sock"
Anonymous
у меня так и мне збс
config.toml
Maksim
А они не маршрутизируемы изначально? Что вы имеете ввиду?
Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?
Maksim
или они взяли k8s service с маршрутизируемым cidr
Костя
Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?
Я выше рассказывал, что кейсы возникают только по мере эксплуатации и погружения. Это я привел в качестве совсем нетривиального примера
Костя
Я например, не могу на раз прикинуть для чего это мне бы понадобилось, уж не знаю как вы
Dmytro
Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?
а первоисточник есть? судя по всему, просто настроили calico чтобы анонсило по BGP айпи подов в их сети
Maksim
Вот я и хотел узнать что они там сделали)
Anonymous
А
concurrent = n
check_interval = m
?
concurrent = 1 (у меня один раннер), check_interval по умолчанию
Dmytro
ну как для чего, у них там впн из сети офиса в датацентр
Dmytro
наверное чтобы по айпишникам ходить внутрь подов
Dmytro
(зачем - тут я хз)
Maksim
с точки зрения кубера не очень то и надо)
Andor
Авитовцы вон вообще сетку куба приземлили на реальное сетевое оборудование, это тот ещё кейс о котором в книжках не пишут - Вот это. Что тут имеллос ввиду. Они замаршрутизировали контейнеры вне ipip туннелей?
и ты можешь жить без ip-ip туннелей например с calico и настоящим bgp
Костя
Ну вот видите, не такой простой кейс. Они же к нему как то пришли и реализовали. Я об этом
Dmytro
да у них там больше легаси, паппет и т.п. - я ба на них сильно не ориентировался при начале нового проекта
Mikhail
concurrent = 1 (у меня один раннер), check_interval по умолчанию
Ну, в общем, настройки есть. У меня на такое раннер не хотел запускаться, говорил что-то про то, где он наблюдал мою мать, когда разбирал неразбираемый toml. И в итоге после генерации получался сначала этот блок, потом сгенеренный строкой /entrypoint register. Возможно, это веселье новых версий
Andor
у нас на прошлой работе было по своей /24 на каждой кубе-ноде и анонсировалось в бгп
Костя
да у них там больше легаси, паппет и т.п. - я ба на них сильно не ориентировался при начале нового проекта
Это конечно оффтоп) там просто выше ребята стабильный kube хотят сделать. Я и сказал, что все кейсы только в процессе эксплуатации выйдут
Andor
закат солнца вручную, но когда начали это реализовывать - не было нормальных решений
Andor
сплошные фланнели
Dmytro
думаю что из русскоязычных компаний сейчас хороший ориентир это флант (из тех что я знаю). Они делают кучу проектов для разных клиентов и пробовали и так и этак
Dmytro
и им есть что рассказать
Андрей
думаю что из русскоязычных компаний сейчас хороший ориентир это флант (из тех что я знаю). Они делают кучу проектов для разных клиентов и пробовали и так и этак
кстати да, на хабре часто их читаю, интересно и полезно пишут
Andor
они будут пытаться продавать свои услуги на каждый чих?
Dmytro
у авито легаси, свой один датацентр и т.п. - все кейсы весьма специфичны
Andor
у всех легаси :)
Dmytro
они будут пытаться продавать свои услуги на каждый чих?
не без того, но статьи на хабре пишут - можно почитать (понятно что на английском таких статей тьма)
Костя
Статьи - дело полезное, но не благодарное. У всех свои условия, свои костыли, сложности и легаси. Это доказывает само существование фланта
Андрей
Dmytro кстати, если интересно, openebs взлетел, но подключится он не может, чет не понимаю где доступы прописать в кубике правильно. Так что почти все работает. :)
Dmitrii
Ребята, такой вопрос: когда создаёшь Docker image для кубера, в RUN нужно прописывать перенаправление в stdout и stderr, или кубер это сам за меня сделает?
Andor
перенаправление чего?