Да прост погуглил. Попробовал понять что есть свифт. Нихрена не понял. Пошел спать.

Общих слов много

Кто это писал / переводил ? Для кого этот текст ?

машинный перевод

Не знаю. Я пока плохо разбираюсь. Я бы хотел покупать ресурсы и юзать их. И или платить по мере использования. Виртуалки создаватьь и соединять меж собой через апи

https://selectel.ru/services/cloud/vpc/

с инфраструктурными продуктами селектела был слишком печальный опыт, чтобы я здесь не отписался про это

с инфраструктурными продуктами селектела был слишком печальный опыт, чтобы я здесь не отписался про это

У все со всеми бывает плохой опыт, посмотрите на aws)

?

У все со всеми бывает плохой опыт, посмотрите на aws)

не хватает только ba-dum-tss.mp3

с инфраструктурными продуктами селектела был слишком печальный опыт, чтобы я здесь не отписался про это

А конкретнее ?

А конкретнее ?

ну конкретнее сейчас их свифт например подпятисотивает, примерно 0.1% ответов.

Конкретно с vpc была ситуация, что они выкатили версию без сети внутри. И забивали на тот вал тикетов, которые к ним приходили, поэтому приходилось самому узнавать, что у них там вообще происходит. А в данный момент пытаемся что-нибудь сделать, чтобы забрать файлы из их облака, потому что они в индексе есть, но доступа к ним нет, а существуют ли они на самом деле - они не знают и предлагают (!) подождать до мая (!) и вот тогда уже воспользоваться новой версией (!), причем, насколько понимаю, планируется не апгрейд, а выкатка абсолютно нового приложения, то есть они хотят, чтобы мы еще перелили самостоятельно данные.

https://www.slideshare.net/kioecn/build-an-highperformance-and-highdurable-block-storage-service-based-on-ceph

на просторах интернета найдена интересная презентация

Миш, этих презентаций - вагон)

Там нет ответов на самые главные вопросы, где же узкое горлышко )))

Похоже только с bluestore нас ждёт успех в плане ssd

Похоже только с bluestore нас ждёт успех в плане ssd

А можно для тупых (меня) в чем проблемы с цефом и с ссд ?

Его нельзя разогнать в космос с одной rbd вообще, а со многими rbd в ряде случайных операций средними блоками

Я для себя открыл что это изза задержек в сети

Ой вряд ли

А чо нет то

Ну объясни, у меня сеть 20Гб/с с мин задержками

Iperf подтверждает

Ну объясни, у меня сеть 20Гб/с с мин задержками

мин задержки - это сколько? :) 300 мкс? 100? 10?

Ну объясни, у меня сеть 20Гб/с с мин задержками

Сколько задержка ? Подели 1с на это числр. Получишь предел иопсов. Разве нет ?

Допустим 100

Чего

Сколько задержка ? Подели 1с на это числр. Получишь предел иопсов. Разве нет ?

последовательных - раз. не совсем так - два.

100 мкс

Его нельзя разогнать в космос с одной rbd вообще, а со многими rbd в ряде случайных операций средними блоками

я на этот же эффект смотрю с другой стороны. клиенту (потребителю) довольно трудно ушатать кластер целиком.

10к иопсов

последовательных - раз. не совсем так - два.

А в параллельных во что упирается ?

Как-то не клеится, при считывании с ssd задержка во многих режимах больше и что? + открой ты 100 сокетов параллельно

http://www.supermicro.nl/products/system/3U/5038/SYS-5038ML-H12TRF.cfm надо кому? дешего!

есть кстати легкое подозрение, что применение BBR улучшит жизнь при полной утилизации сети.

10К с 12ю серваками на е3-1230v3/16ram

есть кстати легкое подозрение, что применение BBR улучшит жизнь при полной утилизации сети.

Чо за ббр ?

Чо за ббр ?

гугл недавно выкатил новый congestion algo

гугл недавно выкатил новый congestion algo

Понял

10К с 12ю серваками на е3-1230v3/16ram

Дешево это почем и сколько их шт?

Привет всем. А расскажите, плз, про ceph в варианте Object storage. Если я правильно понимаю, метаданные хранятся на специальных серверах mds. А не является ли это узким местом, если объектов много и они маленькие? И можно ли их масштабировать горизонтально?

Привет всем. А расскажите, плз, про ceph в варианте Object storage. Если я правильно понимаю, метаданные хранятся на специальных серверах mds. А не является ли это узким местом, если объектов много и они маленькие? И можно ли их масштабировать горизонтально?

неправильно.

mds и метаданные на специальных серверах - это CephFS

а где тогда хранятся данные, если это obj storage?

Привет всем. А расскажите, плз, про ceph в варианте Object storage. Если я правильно понимаю, метаданные хранятся на специальных серверах mds. А не является ли это узким местом, если объектов много и они маленькие? И можно ли их масштабировать горизонтально?

+ в варианте обжект сторадж цеффс не надо использовать. Это не отсюда.

а где тогда хранятся данные, если это obj storage?

в rados.

Я на айпаде. Сергей, скинь баянную картинку с архитектурой цефа. Где по уровням

https://hsto.org/storage2/3c4/156/36f/3c415636feba4cc561a542f5fe913066.png

т. е. radosgw это и есть фактически сервер метаданных?

т. е. radosgw это и есть фактически сервер метаданных?

нет. radosgw не хранит метаданные.

Там нет ответов на самые главные вопросы, где же узкое горлышко )))

у меня есть подозрение, что те кто знают у них NDA

А кто использует nobarrier в своих CEPH кластерах?

Мы нееее

Чревато боком

а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?

а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?

в rados, почему ж не в rados.

А кто использует nobarrier в своих CEPH кластерах?

http://xfs.org/index.php/XFS_FAQ#Write_barrier_support.

а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?

В мониторе. Но во время обмена данных нагрузка на монитор практически отсутствет. Как и трафик до него.

В мониторе. Но во время обмена данных нагрузка на монитор практически отсутствет. Как и трафик до него.

в мониторе нет никакой информации об объектах в понимании radosgw.

в мониторе нет никакой информации об объектах в понимании radosgw.

Это да

@AlexeyexelA а ты когда имел в виду СЕРН как объектное хранилище -- это ты какое апи доступа к ним имел в виду ?

@AlexeyexelA а ты когда имел в виду СЕРН как объектное хранилище -- это ты какое апи доступа к ним имел в виду ?

кстати да. а то я на уши присел с radosgw.

@AlexeyexelA а ты когда имел в виду СЕРН как объектное хранилище -- это ты какое апи доступа к ним имел в виду ?

s3

s3

все хранится в rados.

Ну тогда да. Это radosgw

хорошо, поставим вопрос иначе. Если, например, в hadoop при наличии большого количества маленьких объектов узким местом будет память в неймноде, то в случае объектного хранилища ceph что будет?

А. Ну да. Радосгв хранит свои метаданые в радосе. Радос свои метаданные хранит в мониторах

Примерно так

хорошо, поставим вопрос иначе. Если, например, в hadoop при наличии большого количества маленьких объектов узким местом будет память в неймноде, то в случае объектного хранилища ceph что будет?

количество inode на серверах конечных

еще размер специальных индексных объектов. но их можно шардировать.

А радосгв кстати не занимается мерджм и сплиттингом объектов при писании в радос ?

А радосгв кстати не занимается мерджм и сплиттингом объектов при писании в радос ?

сплиттингом - занимается. мерджингом - насколько мне известно - нет.

мерджингом обещает заняться блюстор, во всяком случае я об этом что-то краем уха слышал.

мерджингом обещает заняться блюстор, во всяком случае я об этом что-то краем уха слышал.

Дак блюстор индифферентен к инодам. Нет фс нет инодов

ок, тогда как все это управляется с репликацией, если нет какого-то централизованной точки с метаданными?

Дак блюстор индифферентен к инодам. Нет фс нет инодов

ну там была речь о том что маленькие объекты помещаются сразу в rocksdb, а не в bluefs

ок, тогда как все это управляется с репликацией, если нет какого-то централизованной точки с метаданными?

репликацией занимается rados-уровень.

радос уровень что из себя представляет? это какая-то группа серверов?

радос уровень что из себя представляет? это какая-то группа серверов?

Ну можно и так сказать

я бы рекомендовал все же почитать документацию. или статью какую-нибудь с хабра, например, https://habrahabr.ru/post/313644/

а то мы можем играть в вопрос-ответ с год. :)

ну тогда их должно быть один? иначе консистентность как будет соблюдаться? спасибо, почитаю

их точно будет min_size

хотя бы после записи.

я бы рекомендовал все же почитать документацию. или статью какую-нибудь с хабра, например, https://habrahabr.ru/post/313644/

почитывая этот канал начинает казаться что не всё так радужно там, как на картинках

почитывая этот канал начинает казаться что не всё так радужно там, как на картинках

да. :3

но rgw по опыту заметно лучше свифта

3 ноды по 30 дисков сата )

че-то я немного психанул

а чего не 9 нод по 10 дисков?

потому что