для поднятия кубер на coreos сам coreos надо собирать в кластер ?

Нет

Хорошо. Как на данный момент поднимается coreos с k8s ?

Я через kubespray поднял

Полет нормальный

Смотрел внутрь, там, насколько я понял, из hyperkube бинари копируются, а дальше все как у всех

то есть через ансибл

Да

я просто пытаюсь поднять coreos вместе с кубером, чтобы понять как оно работает

я просто пытаюсь поднять coreos вместе с кубером, чтобы понять как оно работает

Руками? Ну, всм, хайтауэр-вэй

и кстати, на сколько я знаю на coreos нет python, как там взлетит плейбук не пойму

Руками, ну это грубо сказано. Вот например такой гайд https://www.upcloud.com/support/deploy-kubernetes-coreos/

и кстати, на сколько я знаю на coreos нет python, как там взлетит плейбук не пойму

есть плейбук для установки питона на кореось, а потом просто ansible_python_interpreter="/opt/bin/python"

и кстати, на сколько я знаю на coreos нет python, как там взлетит плейбук не пойму

https://github.com/kubernetes-incubator/kubespray/blob/master/docs/coreos.md

ладно, какая то магия coreos для меня чтобы понять как это работает сначала надо самому собрать

Лучше проинсталлить готовое, а рядом собирать самому, чтобы было где подсмотреть

Всем привет.

Ребята, подскажите: а в чём проблема kubespray с чётным числом etcd-нод?

Я хотел поставить кубер по методичке вот этой вот: https://dev-ops-notes.ru/cloud/kubespray-%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B0-kubernetes-%D0%B2-%D0%BB%D1%8E%D0%B1%D0%BE%D0%BC-%D0%BE%D0%B1%D0%BB%D0%B0%D0%BA/ Но у меня два хоста собственно. Один мастер и одна кубер-нода. В группу etcd в asnible добавил оба. kubespray завалился на задаче "упасть, если число etcd-нод чётное".

Вот чего не пойму: мне казалось, что etcd должен быть только на мастере...

Но в методичке написано, что кубер-ноды тоже надо туда включать. Странно всё это.

etcd работает на одной или трех нодах обычно

Может немного не по теме, нужен хороший syslog коллектор который получится прикрутить и к K8s и к Baremetal и к другим продуктам ? есть мысли ? Просто в данный момент целвй зоопарк сислог колекторов и иногда напряжно каждый раз лезть в разные консоли и парсить логи итд, а в ввиду внедрения k8S встал вопрос использования одного продукта для k8S на BareMetal+AWS+VMs(Win-Lin)

etcd работает на одной или трех нодах обычно

Интересно. А если я хочу более двух кубер-нод?

а смотря сколько их у тебя

Интересно. А если я хочу более двух кубер-нод?

там можно назначить на какие ноды поставить etcd.

Ладно, у меня в голове каша какая-то. Суть в том, что я etcd ставлю только на kube-master, но на шаге "network_plugin/calico : Calico | wait for etcd " у меня заваливается kube-node1.

Пытаюсь прошаманить, почему.

Хм. Возможно, всему виной то, что запрос идёт к неправильному интерфейсу... Буду мучать дальше. Спасибо.

кто-нибудь юзал Fast Datapath в Weave ?

оно сможет помочь в работе одного кластера между двумя дата-центрами?

Иут пару дней назат мне кидали ссылку на helm-chart для деплоя гитлаба с ранерами, но найти не могу. не могли бы поделится

?

нод etcd должно быть нечетное количество потому что они все работают в мульти мастер. почитай что такое CAP теорема и Network partition

и что такое split brain в кластере и ты поймешь почему должно быть не четное кол-во

Иут пару дней назат мне кидали ссылку на helm-chart для деплоя гитлаба с ранерами, но найти не могу. не могли бы поделится

на оф сайте гитлаба в разделе Кубернетесь

только он помоему без реестра

только он помоему без реестра

Там сразу с раннерами создаётся или их потом отдельно нужно ставить?

вроде сразу

умеют. У меня только с дефолтовым бакетом проблема осталась

Вот прям Kubernetes executor умеет в кеш? Точно?

да

Хорошо. Как на данный момент поднимается coreos с k8s ?

Через Ignition, смотрите примеры в примерах matchbox

у меня когда джоб стартует, я вижу, как он обращается в кеш, но не находит там бакет, который я в конфиге указал

у меня когда джоб стартует, я вижу, как он обращается в кеш, но не находит там бакет, который я в конфиге указал

скинь конфиг с бакетом

вечером скину

вечером скину

гитлаб кстать пуками с помощью манифестов развертывал?

да буквально руками

да буквально руками

мъсье знает толк в извращениях

мъсье знает толк в извращениях

может это был его "первый раз" ;)

первый был "со шлемом" :)

может это был его "первый раз" ;)

Если приводить такие аналогии, то я предположу что это был его первый раз в пассиве)

дане, норм

больше гемора было с докер реджистри

больше гемора было с докер реджистри

Да ты издеваешься он вообще изёвый

я с сертификатами застрял на сутки где-то

Просто по собственному опыту знаю что для Гитлаба нужен дедикейтед сервак, ибо даже на выделенном он выжирает 64 гига оперативы и уходит в свап )

По крайней мере у меня, ибо жирные репы с lfs и очень жирные артефакты

у меня когда джоб стартует, я вижу, как он обращается в кеш, но не находит там бакет, который я в конфиге указал

Хмм, я почему то думал что кэш и без s3 умеет работать, как артефакты, сейчас смотрю, и правда s3 нужен, без него никак

Хмм, я почему то думал что кэш и без s3 умеет работать, как артефакты, сейчас смотрю, и правда s3 нужен, без него никак

Умеет, но не умеет его передавать между нодами без s3

Умеет, но не умеет его передавать между нодами без s3

Вот вот, а с Kubernetes executor каждая джобс считай чистая нода

зато я терь знаю, куда Хелм чарты запихать, чтобы они в проекте не болтались

погромисту не гоже на них любоваться

Просто по собственному опыту знаю что для Гитлаба нужен дедикейтед сервак, ибо даже на выделенном он выжирает 64 гига оперативы и уходит в свап )

А не смотрели куда память уходит? Там у него много процессов

Не профилировал, тупо утекает, ибо после рестарта сервисов снова все норм, около 40

Это усё ruby виновата, инфа 100%

пустой гитлаб пару ГБ жрёт

кому нужен пустой гитлаб?!)

яж говорю о нагруженном

есть смысл редис внешний юзать?

Он persistent? Кластер или одиночка?

Не профилировал, тупо утекает, ибо после рестарта сервисов снова все норм, около 40

Еще git любит жрать память, , чтобы дельты считать, я его ограничил в аппетитах. omnibus-gitlab/issues/2622 примеры конфигов

Кто-нибудь пробовал на hyper-v на винде через vagrant поднять несколько виртуалок?

Кто-нибудь пробовал на hyper-v на винде через vagrant поднять несколько виртуалок?

а кубик причём?

Хочу потом там кубик поднять, надеялся здесь кто-нибудь пробовал что-то похожее. И согласен не совсем по теме

для фана?

Попробовать. Побаиваюсь сразу в облаке

О.о чего бояться

Хочешь скрипт дам)

в амазоне вроде бесплатно какое-то время?

Там год

Но надо карту подключать и все такое

Вот это и пугает) А так да, хочу. Не случится такого, что я накосячу и буду должен много-много амазону?

Ну там вроде есть лимиты по трафику

В целом пользоваться можно да и кластер кубера собрать пять минут

М.. Можешь дать скрипт) В личку не получилось написать

нод etcd должно быть нечетное количество потому что они все работают в мульти мастер. почитай что такое CAP теорема и Network partition

ШТО

нод etcd должно быть нечетное количество потому что они все работают в мульти мастер. почитай что такое CAP теорема и Network partition

нечетное количество нужно не по этому. Etcd не работает в мультимастер.

нечетное количество нужно не по этому. Etcd не работает в мультимастер.

etcd работает в RAFT http://thesecretlivesofdata.com/raft/ изменения сначала пишутся в leader node дальше двухфазный кворум коммит кстати вопрос в зал, а как клиент понимает какая node сейчас leader ? коннектится ко всем \ или к рандому и оставляет только того кто лидер сейчас?

Зачем клиенту знать, кто лидер? Нода, на которую пришел запрос, выступает просто координатором

И какой двухфазный коммит?

Этот туториал походу делал человек, который спеку не читал. Нет там никакого подтверждения коммита и второй фазы.

Этот туториал походу делал человек, который спеку не читал. Нет там никакого подтверждения коммита и второй фазы.

а что там есть? расскажите? т.е. просто фигачим в ноду изменения а дальше она реплицирует на все остальные? а что если одновременно на один ключ на две разных ноды запрос придет? как консистентностью быть?

Вот-вот. Рассказывайте. А то как буд-то в лужу перднули...

Привет коллеги! Хотел бы услышать ваше мнение по одному из кейсов использования helm. Есть 2 компонента: 1) Само приложение (допустим генератор случайных чисел) 2) Шина - по сути транспорт через который приложение общается с другими приложениями. Так вот, архитектурно, шина должна быть установлена локально, рядом с приложением, т.е. в том же поде что и само приложение. Приложение разрабатывается одной командой. Шина другой. Соответсвенно хелм чарты тоже поддерживаются разными командами, и находятся в разных репозиториях. По сколько все должно быть в одном поде, то чарты надо как-то соединять. Ищю удобный механизм по деплою подобных приложений. В идеале представляю что-то типа: apiVersion: apps/v1 kind: Deployment metadata: name: some-deployment spec: template: spec: containers: - name: my-number-generator image: my-number-generator:0.1.0 {{ include_remote_file https://raw.githubusercontent.com/custom/bus/v1.0.0/part.yml}}

прикольно если а этих командах будут использовать разные отступы в ямль-файлах