а где тогда хранятся данные, если это obj storage?
в rados.
Sergei
Mark ☢️
Я на айпаде. Сергей, скинь баянную картинку с архитектурой цефа. Где по уровням
Sergei
https://hsto.org/storage2/3c4/156/36f/3c415636feba4cc561a542f5fe913066.png
Alexey
т. е. radosgw это и есть фактически сервер метаданных?
Михаил
Там нет ответов на самые главные вопросы, где же узкое горлышко )))
у меня есть подозрение, что те кто знают у них NDA
Михаил
А кто использует nobarrier в своих CEPH кластерах?
Sergey
Мы нееее
Sergey
Чревато боком
Alexey
а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?
Sergei
а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?
в rados, почему ж не в rados.
Mark ☢️
А кто использует nobarrier в своих CEPH кластерах?
http://xfs.org/index.php/XFS_FAQ#Write_barrier_support.
Mark ☢️
а где тогда метаданные хранятся, если не а rados и не не на выделенном отдельном mds?
В мониторе. Но во время обмена данных нагрузка на монитор практически отсутствет. Как и трафик до него.
Sergei
В мониторе. Но во время обмена данных нагрузка на монитор практически отсутствет. Как и трафик до него.
в мониторе нет никакой информации об объектах в понимании radosgw.
Mark ☢️
@AlexeyexelA а ты когда имел в виду СЕРН как объектное хранилище -- это ты какое апи доступа к ним имел в виду ?
Sergei
@AlexeyexelA а ты когда имел в виду СЕРН как объектное хранилище -- это ты какое апи доступа к ним имел в виду ?
кстати да.
а то я на уши присел с radosgw.
Mark ☢️
Ну тогда да. Это radosgw
Alexey
хорошо, поставим вопрос иначе. Если, например, в hadoop при наличии большого количества маленьких объектов узким местом будет память в неймноде, то в случае объектного хранилища ceph что будет?
Mark ☢️
А. Ну да. Радосгв хранит свои метаданые в радосе. Радос свои метаданные хранит в мониторах
Mark ☢️
Примерно так
Sergei
Sergei
еще размер специальных индексных объектов. но их можно шардировать.
Mark ☢️
А радосгв кстати не занимается мерджм и сплиттингом объектов при писании в радос ?
Sergei
А радосгв кстати не занимается мерджм и сплиттингом объектов при писании в радос ?
сплиттингом - занимается. мерджингом - насколько мне известно - нет.
Sergei
мерджингом обещает заняться блюстор, во всяком случае я об этом что-то краем уха слышал.
Mark ☢️
мерджингом обещает заняться блюстор, во всяком случае я об этом что-то краем уха слышал.
Дак блюстор индифферентен к инодам. Нет фс нет инодов
Alexey
ок, тогда как все это управляется с репликацией, если нет какого-то централизованной точки с метаданными?
Sergei
Дак блюстор индифферентен к инодам. Нет фс нет инодов
ну там была речь о том что маленькие объекты помещаются сразу в rocksdb, а не в bluefs
Sergei
ок, тогда как все это управляется с репликацией, если нет какого-то централизованной точки с метаданными?
репликацией занимается rados-уровень.
Alexey
радос уровень что из себя представляет? это какая-то группа серверов?
Mark ☢️
радос уровень что из себя представляет? это какая-то группа серверов?
Ну можно и так сказать
Sergei
я бы рекомендовал все же почитать документацию. или статью какую-нибудь с хабра, например, https://habrahabr.ru/post/313644/
Sergei
а то мы можем играть в вопрос-ответ с год. :)
Alexey
ну тогда их должно быть один? иначе консистентность как будет соблюдаться?
спасибо, почитаю
Sergei
их точно будет min_size
Sergei
хотя бы после записи.
Sergey
я бы рекомендовал все же почитать документацию. или статью какую-нибудь с хабра, например, https://habrahabr.ru/post/313644/
почитывая этот канал начинает казаться что не всё так радужно там, как на картинках
Sergei
но rgw по опыту заметно лучше свифта
Михаил
3 ноды по 30 дисков сата )
Михаил
че-то я немного психанул
Александр
а чего не 9 нод по 10 дисков?
Михаил
потому что
Михаил
забей, так получилось
VVSina
Sergey
гарантия все дела
Михаил
Михаил
во)
Александр
)))
Михаил
nobarrier+ms_type = async
Михаил
3 ноды по 30 сата дисков
Александр
7200 сата?
Михаил
ага
Александр
Много стоит наверное :( Мне б такое. :(
Sergey
Сколько???
Sergey
Денег )
Sergey
Серверы почем? ))
Михаил
не знаю
Михаил
Серверы почем? ))
Тебе же Ошеров давал визитку, можешь с ним связаться, он расскажет, что это за серваки и сколько стоили
Artem
никто не вкусре- можно для cinder подрезать количество одновременно создаваемых volume? То есть к примеру одновременно создается не больше N дисков- остальные в очереди
Sergey
Аа, это он?
Sergey
Продает?
Sergey
Оке )
Mark ☢️
@SinTeZoiD @spuzirev . Тут подключился некий Брандашмыг Злопастный. Он хороший человек :). Помогите ему понять и выбрать железо для хранилища. Он правда не очень четко объясняет что ему надо.
Александр
Ну там пин же есть 😆 Миша всё равно тз попросит
Михаил
Пин кстати не тут
Александр
А точно)
Александр
Если у вас есть вопрос "Что выбрать X or Y ?" То сначала подробно опишите свои хотелки от этих технологий, тогда возможно вам помогут быстрее.
Ilia
так вроде все давно описано, как тут примерно
Ilia
https://www.supermicro.nl/solutions/storage_ceph.cfm