интересно что я не так сделал

Клиента обновил?

точно, у меня ж старый

В общем мой репликасет завёлся на стейбл кластере, я доволен :)

после 3-х месяцев продакшна я внезапно понял что кубернетес это боль

ненавижу его

https://www.youtube.com/watch?v=asZZPPfcCoI

после 3-х месяцев продакшна я внезапно понял что кубернетес это боль

а что не боль? rancher?

а что не боль? rancher?

ранчер - это боль и извращение

swarm по-моему просто неработоспособен

swarm по-моему просто неработоспособен

выходит только свой костыль писать?

а на Nomad'е никто толкового ничего не делал?

я весьма пассивно посматриваю в его сторону, как в качестве альтернативы

Ранчер работает нормально, если знать где закопаны баги.

я летом выбирал между кубом/марафоном/номадом, пришел к выводу, что номад все-таки полумера. все равно надо бутстрапить ноды, все равно в центре такой же k/v, с которым надо разбираться на стадии бутстрапа, дэшборда нет (или не было), с вытягиванием данных все несколько сложней, ручной работы больше.

всяких pv, насколько помню, нет и в помине. у куба хотя бы обрисовалась модель работы и есть ответы на самые частые вопросы (e.g. "развернуть бд на кубе" против "развернуть бд на номаде").

У номада так и не откопал какой-то вообще популярности в инете и все конфы на ютубе заключатся в "привет, я Хашимото и мы рассказываем про Nomad'

дашборда насколько я смотрел так и нет. Продукция от hashicorp нравится хорошей заточенностью под кластеризацию. Реализация их gossip протокола. Быстрое развитие. От них очень котирую vault и consul

может быть кто-нибудь допилит модули к консулу на нормальную реализацию мониторинга. Т.к. в энтерпрайз версии консула у них есть мониторинг нормальный

Кубернетес боль, но альтернативы еще больнее

Так что не выпендривайтесь )

всё тлен

Странно, но вот я не разделяю Вашу боль... с июля месяца прод работает на кубере и все пока в порядке. У нас нет сложных кейсов, всего 17 сервисов на динамическом кластере (минимум - 8 машин, максимум пока 40). Специфика - CI

Расскажите поподробнее о своей боли, может вам станет легче ;)

Странно, но вот я не разделяю Вашу боль... с июля месяца прод работает на кубере и все пока в порядке. У нас нет сложных кейсов, всего 17 сервисов на динамическом кластере (минимум - 8 машин, максимум пока 40). Специфика - CI

В каком плане "специфика ci"?

continuous integration сервис

ну если быть точным - CI/CD

рекламировать не буду, если интересно - скину в личку. Особенность - у нас поминутная оплата, нет ограничений на параллельность.

ну если быть точным - CI/CD

На чем построено CI/CD ?

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Докер контейнеры в к8с билдите?

Что именно вы хотите узнать? Языки? Ruby, Go, Elixir Kubernetes в качестве платформы, для пользователей доступен Docker и сопутствующие инструменты. Поддерживаются языки Ruby, Go, Python, Java, Rust, Erlang(+Elixir), NodeJS

Я хочу узнать каким образом настроено CI/CD? Какие инструменты для этого используются?

Докер контейнеры в к8с билдите?

нет, агенты расположены ВНЕ кластера. Раньше билдились внутри, сейчас для возможности подключать любую машину - вынесли агента из кластера наружу. Он теперь не зависит от операционки. Главное чтобы был Docker на машине не ниже определенной версии. В кубере остались только сервисы...

Я хочу узнать каким образом настроено CI/CD? Какие инструменты для этого используются?

Базовый образ, содержащий основные программные пакеты баз данных и KV-хранилищ, браузеры и фреймбуфер. База - дебиан. Языки подключаются во время билда. Раз в месяц обновляем репозиторий языков и их версий, добавляем последние стабильные... при необходимости можем добавить ночную сборку, если клиент ну очень хочет...

настраивается все дело через .yml файл. Большинство CI сейчас рабоатют именно через конфигурацию из файла, находящегося прямо в репозитории проекта.

для удобства мы поддерживаем базовую семантику .travis.yml чтобы переход был простым))))

Так, я не рекламироваться сюда пришел)))

расскажите лучше про Вашу боль с кубером...

интересно же!

То есть у вас свой инструментарий? нe Jenkins/Helm/Charts ?

сетап кластера через Terrafrom Кластер весть настраивается через Kubernetes

ну то-есть 1. Поднимаются машинки, настраиваются сети, файерволы и всякая фигня через Terrafrom 2. Сетапится Kubernetes (оттуда же) 3. Поднимаются сервисы через конфигурационные файлы Kubernetes

Вдохновлялись этим проектом

https://github.com/kz8s/tack

для сетапа

С Kubernetes базовым вроде понятно, не понятно что там внутри для CI/CD используется

Все построено на Docker )))

но испытываем некоторые проблемы... специфичные... сейчас смотрю в сторону rkt для замены Docker

Кстати, внутри Kubernetes сейчас уже для CoreOS используется rkt для запуска всех pod`ов

Интересно, а почему перешли на rkt? Что сподвигло?

у докера во многих местах wtf-философия

Ну rkt тоже не везде торт) да и перспективы его неясные

у него впереди светлое будущее, аттестат с отличием, бюджет в хорошем вузе и диплом специалиста

думаю, что у того, кто его для себя выбрал, перспектива сидеть на ркт и дальше, и такого вопроса просто не стоит

оффтоп: кто-нибудь может рассказать про модель прайсинга в GKE если я больше 5 машин в кластер положу?

"За кластеры, в которых содержится более пяти узлов, взимается почасовая плата плюс стоимость использования ресурсов"

вот про стоимость использования ресурсов

это ресурсы сверх какой-то квоты, или ВСЕ ресурсы + почасовая на все машины? или на машины свыше 5?

по биллингу точно можно написать в саппорт гугла

https://support.google.com/cloud/?hl=en#topic=3340599 -> contact us -> billing -> bronze

"За кластеры, в которых содержится более пяти узлов, взимается почасовая плата плюс стоимость использования ресурсов"

если кластер 5+ машин платишь в месяц $109.50 (если весь месяц используешь), вне зависимости от размера машин. https://cloud.google.com/products/calculator/

ну и за сами машины понятное дело тоже платишь

понял, спасибо

ERROR: S client not available

Интересно, а почему перешли на rkt? Что сподвигло?

Я не о данном случае, но в общем (по результатам наблюдения, общения и посиделок за пивом на KubeCon c комьюнити и кастомерами) есть жесткое неприятие политики Docker как компании - они движутся не в ту сторону. Docker как технология - хороша, Docker Inc. - не очень. Пахнет вендорлоком и полупроприетарщиной. Отсюда популярность rkt и прочих вещей типа OCI. PS. Технологически тоже есть нюансы, но вышеописанное - ключевое

Спасибо, есть о чем задуматься

Значит ждём скоро активности в https://telegram.me/rkt_ru

Так волнами ж. Народ набегает - народ убегает

Я не о данном случае, но в общем (по результатам наблюдения, общения и посиделок за пивом на KubeCon c комьюнити и кастомерами) есть жесткое неприятие политики Docker как компании - они движутся не в ту сторону. Docker как технология - хороша, Docker Inc. - не очень. Пахнет вендорлоком и полупроприетарщиной. Отсюда популярность rkt и прочих вещей типа OCI. PS. Технологически тоже есть нюансы, но вышеописанное - ключевое

?

Rkt лучше потому что проще и меньше зависимостей

и там ещё есть режим rkt fly, который без systemd-nsspawn, а просто как chroot, например, если у нас много baremetal-нод и нет необходимости что-то как-то разграчивать , у докера такого, кажется, нет

https://coreos.com/rkt/docs/latest/running-fly-stage1.html

У докера есть какие-то system containers, которые можно наблюдать в Fedora Atomic Host

Сейчас дам ссылку

Ладно, у меня поубавилось уверенности в том, что это относится именно к докеру

https://www.projectatomic.io/blog/2016/09/intro-to-system-containers/

Суть в том, что местные рулят ими той же утилитой atomic, которой они рулят докером

Кстати, внутри Kubernetes сейчас уже для CoreOS используется rkt для запуска всех pod`ов

OpenShift - под капотом Kubernetes+Atomic

пока просто из любопытства. кто-нибудь пробовал сборку kubernates от canonical? оно по правильному работает или так, для новичков чтобы по простому?

про это: https://www.ubuntu.com/cloud/kubernetes

у каноникал все работает через назад

как начали с еукалипта

каноникал это бизнесмены с альтернативным взглядом на мир

они хотят сделать лучше, чем у всех и по-другому

а получается как обычно

juju один чего стоит

они хотят сделать лучше, чем у всех и по-другому

Берут пример с майкрософта

happy fucking new year folks

присоединяюсь

В этом году нас ждет 1.6, 1.7 и вроде даже 1.8 :)

Планируем четыре релиза, по одному в квартал

это радует. А планируете дать возможность использовать разные базы для мониторинга?

и поддержку lxc