не в гке запустили тестово

ты пробовал? как кластер апгрейдил? (у меня в gui нет опции и я через gcloud обновлял, при этом 1.4.7 у них дефолтным стоит)

делал какие-то дополнительные действия над нодами? как statefulset запускал и проверял работоспособность?

ну или бы знал что у меня одного не работает а у кого-то работает... в связи с этим вопрос к @all - у кого в GKE 1.5.1 запущен и он StatefulSet уже запустил? все ок?

ты через https://cloud.google.com/container-engine/docs/clusters/upgrade#opt-in_early_master_upgrades делал?

Почитал, в целом "да", только там написано что master может только до default. А я явно задал 1.5.1 а щас default=1.4.7

занятно, запустил на стабильном кластере

То есть у тебя работает?

https://github.com/kubernetes/kubernetes/issues/37393

apps/vbeta1 есть?

оставил обновляться, завтра посмотрю

Вжух! 🎉 https://github.com/kelseyhightower/consul-on-kubernetes

apps/vbeta1 есть?

{ "kind": "StatefulSetList", "apiVersion": "apps/v1beta1", "metadata": { "selfLink": "/apis/apps/v1beta1/statefulsets/", "resourceVersion": "23051489" }, "items": null }

но через cli не ест

а через api если залить - то всё ок

Через cli тоже ок: ./kubectl get statefulsets NAME DESIRED CURRENT AGE web 3 3 25s

интересно что я не так сделал

Клиента обновил?

точно, у меня ж старый

В общем мой репликасет завёлся на стейбл кластере, я доволен :)

после 3-х месяцев продакшна я внезапно понял что кубернетес это боль

ненавижу его

https://www.youtube.com/watch?v=asZZPPfcCoI

после 3-х месяцев продакшна я внезапно понял что кубернетес это боль

а что не боль? rancher?

а что не боль? rancher?

ранчер - это боль и извращение

swarm по-моему просто неработоспособен

swarm по-моему просто неработоспособен

выходит только свой костыль писать?

а на Nomad'е никто толкового ничего не делал?

я весьма пассивно посматриваю в его сторону, как в качестве альтернативы

Ранчер работает нормально, если знать где закопаны баги.

я летом выбирал между кубом/марафоном/номадом, пришел к выводу, что номад все-таки полумера. все равно надо бутстрапить ноды, все равно в центре такой же k/v, с которым надо разбираться на стадии бутстрапа, дэшборда нет (или не было), с вытягиванием данных все несколько сложней, ручной работы больше.

всяких pv, насколько помню, нет и в помине. у куба хотя бы обрисовалась модель работы и есть ответы на самые частые вопросы (e.g. "развернуть бд на кубе" против "развернуть бд на номаде").

У номада так и не откопал какой-то вообще популярности в инете и все конфы на ютубе заключатся в "привет, я Хашимото и мы рассказываем про Nomad'

дашборда насколько я смотрел так и нет. Продукция от hashicorp нравится хорошей заточенностью под кластеризацию. Реализация их gossip протокола. Быстрое развитие. От них очень котирую vault и consul

может быть кто-нибудь допилит модули к консулу на нормальную реализацию мониторинга. Т.к. в энтерпрайз версии консула у них есть мониторинг нормальный

Кубернетес боль, но альтернативы еще больнее

Так что не выпендривайтесь )

всё тлен

Странно, но вот я не разделяю Вашу боль... с июля месяца прод работает на кубере и все пока в порядке. У нас нет сложных кейсов, всего 17 сервисов на динамическом кластере (минимум - 8 машин, максимум пока 40). Специфика - CI

Расскажите поподробнее о своей боли, может вам станет легче ;)

Странно, но вот я не разделяю Вашу боль... с июля месяца прод работает на кубере и все пока в порядке. У нас нет сложных кейсов, всего 17 сервисов на динамическом кластере (минимум - 8 машин, максимум пока 40). Специфика - CI

В каком плане "специфика ci"?

continuous integration сервис

ну если быть точным - CI/CD

рекламировать не буду, если интересно - скину в личку. Особенность - у нас поминутная оплата, нет ограничений на параллельность.

ну если быть точным - CI/CD

На чем построено CI/CD ?

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Докер контейнеры в к8с билдите?

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Я хочу узнать каким образом настроено CI/CD? Какие инструменты для этого используются?

Докер контейнеры в к8с билдите?

нет, агенты расположены ВНЕ кластера. Раньше билдились внутри, сейчас для возможности подключать любую машину - вынесли агента из кластера наружу. Он теперь не зависит от операционки. Главное чтобы был Docker на машине не ниже определенной версии. В кубере остались только сервисы...

Я хочу узнать каким образом настроено CI/CD? Какие инструменты для этого используются?

Базовый образ, содержащий основные программные пакеты баз данных и KV-хранилищ, браузеры и фреймбуфер. База - дебиан. Языки подключаются во время билда. Раз в месяц обновляем репозиторий языков и их версий, добавляем последние стабильные... при необходимости можем добавить ночную сборку, если клиент ну очень хочет...

настраивается все дело через .yml файл. Большинство CI сейчас рабоатют именно через конфигурацию из файла, находящегося прямо в репозитории проекта.

для удобства мы поддерживаем базовую семантику .travis.yml чтобы переход был простым))))

Так, я не рекламироваться сюда пришел)))

расскажите лучше про Вашу боль с кубером...

интересно же!

То есть у вас свой инструментарий? нe Jenkins/Helm/Charts ?

сетап кластера через Terrafrom Кластер весть настраивается через Kubernetes

ну то-есть 1. Поднимаются машинки, настраиваются сети, файерволы и всякая фигня через Terrafrom 2. Сетапится Kubernetes (оттуда же) 3. Поднимаются сервисы через конфигурационные файлы Kubernetes

Вдохновлялись этим проектом

https://github.com/kz8s/tack

для сетапа

С Kubernetes базовым вроде понятно, не понятно что там внутри для CI/CD используется

Все построено на Docker )))

но испытываем некоторые проблемы... специфичные... сейчас смотрю в сторону rkt для замены Docker

Кстати, внутри Kubernetes сейчас уже для CoreOS используется rkt для запуска всех pod`ов

Интересно, а почему перешли на rkt? Что сподвигло?

у докера во многих местах wtf-философия

Ну rkt тоже не везде торт) да и перспективы его неясные

у него впереди светлое будущее, аттестат с отличием, бюджет в хорошем вузе и диплом специалиста

думаю, что у того, кто его для себя выбрал, перспектива сидеть на ркт и дальше, и такого вопроса просто не стоит

оффтоп: кто-нибудь может рассказать про модель прайсинга в GKE если я больше 5 машин в кластер положу?

"За кластеры, в которых содержится более пяти узлов, взимается почасовая плата плюс стоимость использования ресурсов"

вот про стоимость использования ресурсов

это ресурсы сверх какой-то квоты, или ВСЕ ресурсы + почасовая на все машины? или на машины свыше 5?

по биллингу точно можно написать в саппорт гугла

https://support.google.com/cloud/?hl=en#topic=3340599 -> contact us -> billing -> bronze

"За кластеры, в которых содержится более пяти узлов, взимается почасовая плата плюс стоимость использования ресурсов"

если кластер 5+ машин платишь в месяц $109.50 (если весь месяц используешь), вне зависимости от размера машин. https://cloud.google.com/products/calculator/

ну и за сами машины понятное дело тоже платишь

понял, спасибо

Интересно, а почему перешли на rkt? Что сподвигло?

Я не о данном случае, но в общем (по результатам наблюдения, общения и посиделок за пивом на KubeCon c комьюнити и кастомерами) есть жесткое неприятие политики Docker как компании - они движутся не в ту сторону. Docker как технология - хороша, Docker Inc. - не очень. Пахнет вендорлоком и полупроприетарщиной. Отсюда популярность rkt и прочих вещей типа OCI. PS. Технологически тоже есть нюансы, но вышеописанное - ключевое

Спасибо, есть о чем задуматься