ведь все это будет кочевать через сеть и дофига накладных расходов теоритичкски

физический уровень что?

вот есть у меня 3 воркера в короси, и дальше ни чего не могу выдумать, кроме того что бы через контейнеры создать например GFS кластер

как устроить файловое хранилище

если используете штуки типа куба, то файлы разумно хранить в облачном хранилище того же гугла / амазона / селектела (последнее, впрочем, под вопросом)

оке, пасибо

коллеги, глупый вопрос - никто не подскажет, как указать ноде ее публичный адрес, если в системе несколько интерфейсов? Собрал тестовый кластер, но все сервисы публикаются на внутренних IP, kubectl node describe показывает только приватные адреса нод

ох я нукашался в подобном. Заюзал по итогу externalIPs

вот есть у меня 3 воркера в короси, и дальше ни чего не могу выдумать, кроме того что бы через контейнеры создать например GFS кластер

Тебе нужен кластерный сторадж чтоль?

кто так, да

Ну там же k8s с любым говном может жить

Storage orchestration Automatically mount the storage system of your choice, whether from local storage, a public cloud provider such as GCP or AWS, or a network storage system such as NFS, iSCSI, Gluster, Ceph, Cinder, or Flocker.

А теперь по пунктам. Какие объемы?

ох я нукашался в подобном. Заюзал по итогу externalIPs

проще не вариант? вот жеж скотство блин :(

пока конечно не большие PG около 100Гб

проще не вариант? вот жеж скотство блин :(

как то вроде можно лоадбалансинг накрутить, но я ещё это ниасилил

"Automatically mount the storage system of your choice" - врут все, не любой а только тот что поддерживается :) google bucket например я хз как смонтировать без бубнов

пока конечно не большие PG около 100Гб

Возьми нфс. И сделай shared storage. Если яйца крепкие бери Gluster. Если потом будете рости по терабайту в месяц, то ceph

Возьми нфс. И сделай shared storage. Если яйца крепкие бери Gluster. Если потом будете рости по терабайту в месяц, то ceph

я бы сказал, что gluster не следует использовать никогда

я бы сказал, что gluster не следует использовать никогда

Там в 3.8 пофиксили анал карнавал с разваливанием всего. Но я не тестил)

тут как бы проблема в том, что бы держать данные поближе к процессу постгревому

А что за инфраструктура?

поменьше всякой накладухи иметь, на столько на сколько это возможно

железки 1 мастер(мультимастер вот еще интерестный квест), 3 воркера. CoreOS stable, k8s-1.4.3

А это вы снимаете или ваше?

арендованные

арендованные

Уф

GPFS от ibm купите)

Она вроде не дорого

погуглю, спасибо. И что бы кстати решило елси бы железки были наши? Все равно ж железки

погуглю, спасибо. И что бы кстати решило елси бы железки были наши? Все равно ж железки

Если железа много и объмы большие, то хорошо ceph

Но это если от десятков терабайт хорошо)

А вообще

https://clusterhq.com/flocker/introduction/

Первый раз увидел, но выглядит интересно

https://clusterhq.com/flocker/introduction/

оно не сторадж же.

Да? Я просто мельком просмотрел с телефона

А что это?

это типа унифицированное апи к куче разных стораджей.

как openstack cinder

А

А зачем оно если k8s умеет в cinder?)

А зачем оно если k8s умеет в cinder?)

NIH, и Cinder легко ли поднять, если нет openstack'а?

Я как то не задумывался, но г-на ovirt есть дока

И она всего 1.5 страницы емнип

Так что поднимаемо

ну как минимум надо будет поднять сам сторадж, потом keystone, потом cinder. и зачем? :) если можно k8s напрямую отправить в Ceph.

ну как минимум надо будет поднять сам сторадж, потом keystone, потом cinder. и зачем? :) если можно k8s напрямую отправить в Ceph.

Да, только вот если маленький объем то у ceph слишком большой оверхед на моны

Гластер говно и что же выбрать?

моны необязательно держать на отдельных машинах в случае микроинсталляции.

моны необязательно держать на отдельных машинах в случае микроинсталляции.

Я себе плохо представляю микроцеф

Я себе плохо представляю микроцеф

три ноды, три мона, 3n OSD

:)

Ну да, но это все равно оверхед по серверам

Суммаррный объем если даже диски по 600г, 2.4 тб это с тройной репликой (по 4 диска в 1у сервер) а автору то всего 100г надо

И что делать не ясно

С ceph надо быть очень осторожным - любое обновление это риск

С ceph надо быть очень осторожным - любое обновление это риск

Самого ceph?

есть такой принцип, работает - не трожь

обновляй лучше андройд, а это как-то черевато потерей данных

Самого ceph?

именно. и с балансировкой там проблемы

обновляй лучше андройд, а это как-то черевато потерей данных

отвратительный принцип и я даже не буду объяснять - почему

согласен, в потере данных ничего приятного :))

ERROR: S client not available

потому и говорю,что ceph - плохая альтернатива и использовать его следует крайне аккуратно

Интересно, внутри к8с ceph уже запустили?

учитывая что ему нужен прямой доступ к диску - сомнительно

кидайте ссылками

именно. и с балансировкой там проблемы

Шта? Вы не умеете его готовить

Интересно, внутри к8с ceph уже запустили?

Ну и мразь же ты. Можно моны запихнуть в докер, я об этом не подумал)

На всякий случай напомню, что ceph, cinder и прочее опенстек можно обсуждать в @pro_openstack там есть люди, которые все это эксплуатируют.

запихивать цеф в кубернетес нет никакого смысла. это карго культ в худшем его проявлении.

кубернетес про микросервисы, а цеф про блокдевайсы

хотя запихать можно, проблем вообще не вижу

вы в кучу все понамешали

цеф это не шаредсторадж

для шаредсторадж нужна посикс совместимая шаред файлуха и длм

цеф это шаредблокдевайс

и кей-обджект хранилище

вменяемых решений для shared storage в природе не существует

они все выполняют одно требование cap теоремы и то с трудом. все глючит и теряет данные.

если сильно надо, то лучше всего взять openresty и писать свои бинари прямо в цеф по оффсету, программируя на Lua в конфиге nginx. шутка

есть тут кто с бывшего undev?

запихивать цеф в кубернетес нет никакого смысла. это карго культ в худшем его проявлении.

Ну да. Чисто упороться.

https://github.com/ceph/ceph-docker

они уже упоролись бгг

О как

MAINTAINER Sébastien Han

Занятно

Какой то странный Dockerfile

они уже упоролись бгг

Это для разрабов же

Ну и мразь же ты. Можно моны запихнуть в докер, я об этом не подумал)

Уснуть не мог, проверял?:)

есть тут кто с бывшего undev?

Есть

чём там дело кончилось с перепиленым глустером?