CAP-теорема смотрит с большим вниманием

очень спорный там мультимастер

смотря что подразумевается под ММ, но вообще CP система-то чем не подходит?

надо в терминах определиться да. мастер мастер чего тут обсуждается)

CAP-теорема слегка против "истинного мультимастера" :)

дефайн истинный мультимастер, говорю же

я проблемы не пойму. за исключением, что что то не стартует

write to any read all? такой м-м

?

нет таких в природе

только поделия типа галеры

каким боком тут кубернетес?

из etcd же галеру построили, плывем

мастер мастер системы это до первого повесившегося админа. дальше в ход идут более традиционные технологии.

кстати, коллеги, кто какой сторадж бэкенд использует? Кроме AWS S3 / GCE GPS

или поиграться в лабе ещё норм

у меня все есть

ceph nfs iscsi

я просто в муках выбора сейчас. Все с нуля, так что хочется сделать надолго

NFS софтовый или железо?

софт везде

что за железо? это ж протокол

разные его реализации

есть и промышленные nas

netapp FAS например - реализация NFS "в железе"

это все медленно работает, не всем подходит. но кому-то акей

я просто в муках выбора сейчас. Все с нуля, так что хочется сделать надолго

а что сделать надо? кубернетес не серебряная пуля, возможно стоит обойтись более простыми технологиями

а что сделать надо? кубернетес не серебряная пуля, возможно стоит обойтись более простыми технологиями

куб уже выбран как решение. Теперь изучаю варианты стораджа :)

зависит от требований к нему. ставь ceph и не парься нечего там особого изучать. может и emptyDir подойдёт. тут так не работает, а какой лучший. смотря что надо

везде есть profit & tradeoff

вот смотря что перевешивает и выбери. а лучше сразу ceph

)

ceph потребует минимум 5 машин под кластер, как я понимаю

ceph потребует минимум 5 машин под кластер, как я понимаю

можно и 3

можно и 1)

смотря, что что нужно, говорю же

мешать mon и osd? при большой нагрузке - верная смерть, как я понимаю

мешать mon и osd? при большой нагрузке - верная смерть, как я понимаю

нет

если у вас есть вопросы по цефу, то можно обсудить их тут https://t.me/pro_openstack

я подумаю, спасибо. Я правильно помню, что работать с ceph напрямую с той машины, где ceph установлен - нельзя? То есть я не могу использовать одну машину как воркер и как osd?

я так понимаю вопросов много, проблема не ясна. в чатик с проблемой помогут, вопросы придётся искать самому

я подумаю, спасибо. Я правильно помню, что работать с ceph напрямую с той машины, где ceph установлен - нельзя? То есть я не могу использовать одну машину как воркер и как osd?

как воркер кубика?

да, кубика

скажем так, это не рекомендуется

у тебя CEPH очень прожорлив по ОЗУ

1 гиг памяти на 1 ТБ места он отъедает спокойно

а может и больше)

Мастер в etcd не совсем настоящий, тут идея чтобы если он навернется, его кто-то подхватил. Etcd это делает.

ну это искаропки работает

Если как ставить?

Через карго?

Если через kubeadm то там контейнер etcd слушает локалхост. Конечно его можно перестроить в втулить еще один etcd куда нить.

да любой инсталлятор или хауту

Мастер в etcd не совсем настоящий, тут идея чтобы если он навернется, его кто-то подхватил. Etcd это делает.

как выше написали - для этого не требуется никаких дополнительных действий после настройки кластера

Если через kubeadm то там контейнер etcd слушает локалхост. Конечно его можно перестроить в втулить еще один etcd куда нить.

А что смущает? Данные у него внутри кластера перемещаются не через тот порт, по которому приходят запросы от клиентов

При использовании kubeadm на миньонах не ставится etcd

А это самый просто вариант развертывания кластера.

В остальных нужно что-то полить вручную.

А чем продиктована необходимость etcd на миньонах? Насколько понимаю, так оно и задумано, и количество серверов-воркеров может быть сильно больше нужных трех-пяти-семи для etcd.

Там они и не нужны. Мне нужно что-то типа мастер-мастер. И пока подбираю какой вариант самый номальный, чтобы потом без напильника быстро собирать.

я просто до сих пор не понимаю, в каком месте цельная картина разваливается. я опять же с этим дела не имел и говорю больше по интуиции, но если он ставит etcd на те же сервера, что и апи-серваки, то может просто выделить ему три таких сервака?

из автоматических есть еще такой вариант, например https://github.com/evilmartians/chef-kubernetes

У меня сейчас местер и три миньона на стейдже. На продакшене основное требование мастер-мастер. Там один мастер не пойдет. Поэтому схема с kubeadm не подходит. Ее конечно можно доделать скопировав мастер и синхронизировав etcd но это запасной вариант.

судя по тому, что вижу в доке, kubeadm действительно не умеет разворачивать etcd кластером, прошу прощения за энтропию

угу

А какой ты инстуркцией пользовался?

да я вообще GKEшник

Везет. У меня тут бареметал без вариантов

бареметал - лучше. твоё железо, крутить можно как хочешь. все эти облака такой возможности не дают.

вот и ломать голову приходится, облако тупит или сервис твой. ещё и платить за это

Нет лучше или хуже. У всего есть свои минусы и плюсы. Нельзя расмматривать инструменты без задачи.

@jaremchuk А что именно в карго не работает ?

Больше интерисует вагрантом ставишь или на реальном железе

основное требование 'master-master' - это из ряду хочу то не знаю что...

есть куча сервисов и High Availability - им обеспечивается по разному

Серёжа привет)

карго в мастере стабилен? или надо с тега брать?

Мастер - Мастер - пришло из мира баз данных, которое позволило решить проблему со Strong Consistency ( C - в теореме CAP), убирая требование CP а делая AP - сделано это потому что AP - в тысячи раз быстрее, да и переделывать базы даных под CP очень сложно (надо написать PAXOS, RAFT, ZAB, TOTEM - чтобы собственно и обеспечивать строгую консистенцию)

@Sn00p привет. Мастер постоянно проверяется на CI - многие берут и работают

акей спс

если есть требования, баги - я буду рад над ними поработать https://github.com/kubernetes-incubator/kargo/issues

у меня норм все работает)

есть требования по апгрейдебили - мы это добили - теперь каждый комит проверяется или он ломает апгрейд или нет

мирантис проект этот ведёт или личная инициатива?

Мирантис спонсирует 2 инженеров над ним работать

Ок понял

есть куча идей и требований - все желающие поконтрибьютить - welcome

http://kubernetes.slack.com - #kargo ну и https://github.com/kubernetes-incubator/kargo/pulls так же мы создали https://groups.google.com/forum/#!forum/kubernetes-kargo но пока там пусто

кто едет на kubecon может лично пообщаться с топ-5 контрибьюторами в карго и поучавствовать в дизайн сессиях

где он будет?

Берлин

http://events.linuxfoundation.org/events/cloudnativecon-and-kubecon-europe

хуавей бриллиантовый спонсор ого

чуют китайцы куда все идёт и к чему

кто едет на kubecon может лично пообщаться с топ-5 контрибьюторами в карго и поучавствовать в дизайн сессиях

А есть кто-то кто едет?

29 марта я не смогу (