Евгений
клиент всегда общается с primary osd
edo1
Это я понял
edo1
Вопрос в том, что в случае запросов на запись osd не только сам пишет, но выступает ещё и координатором, передавая запросы на другие osd.
В случае запросов на чтение он просто сам читает, так?
Евгений
Да. Все ускоряшки - это страйпить файлы в cephfs и rbd
edo1
Речь про то, что один объект в rbd попадает в несколько pg и запросы на чтение размазываются по разным osd?
Или что значит "страйпить файлы"?
Mark ☢️
Это означает, что фрагмент который до страйпа хранился в одном объекте, будет делиться на кусочки и храниться в разных объектах. Разные объекты -- разные ОСД. а значит доступ к ним быстрее в виду параллельности.
Anonymous
При чтении - нет
К сожалению да. Есть конечно некоторые вариации, но они связаны с чтения со снапшотов
Дмитрий
https://www.sebastien-han.fr/blog/2014/02/17/ceph-io-patterns-the-bad/
Currently, Ceph does not provide any parallel reads functionality, which means that Ceph will always serve the read request from the primary OSD. Since we often have 2 or more copies, general read performance could be drastically improved. I recall a discussion on the Ceph mailing list about this, however I can’t find any pointers. However I am sure it’s part of the Ceph developers TODO :).
Mark ☢️
Ну так и что в итоге ?
Mark ☢️
Надо видимо экспериментально проверить
Mark ☢️
Читать один и тот же длинный обжект с нескольких мест одновременно и мониторить нагрузку на соотв осд
Anonymous
hammer однозначно только с primary читает
Anonymous
не думаю, что в jewel изменения в этом плане имеются
Mark ☢️
А в крякене ?
Anonymous
учитывая, что там все силы пущены на blustore, то предполагаю, что в filestore нет глобальных изменений в этом плане.
Mark ☢️
Возможно яне шарю но у файлстора и блюстора одинаковый же апи. Ток имплементация разная. Разве нет ?
Mark ☢️
И параллельное чтение это кагбы не к этому соответственно...
Anonymous
мы еще только подумываем перейти на jewel (сентябрь, октбярь) так что о новинках узнаю с опозданием
Anonymous
Возможно яне шарю но у файлстора и блюстора одинаковый же апи. Ток имплементация разная. Разве нет ?
filestory все же это posix io с его плюсами и минусами. а blustore в этом плане горозда проще в плане реализации.
Mark ☢️
Рукалицо
Mark ☢️
Для клиентов они одинаковый апи исполняют жи
Anonymous
ну клиенты это только верхушка айзберга. Надо исходники курить, до кракера и выше еще недошел ))
Georgii
Доброе утро всем, можете подсказать - rbd через интренет будет работать, чтобы предлагаеть решения ддя бэкапа, или только s3 ?
Anonymous
только S3.
Georgii
спасибо!
edo1
Это означает, что фрагмент который до страйпа хранился в одном объекте, будет делиться на кусочки и храниться в разных объектах. Разные объекты -- разные ОСД. а значит доступ к ним быстрее в виду параллельности.
By default, [stripe_unit] is the same as the object size and [stripe_count] is 1
edo1
То есть по умолчанию страйп не делается?
Mark ☢️
да
edo1
Без страйпа если у меня винты по терабайту, то я не могу создать объект на пять терабайт?
Mark ☢️
более того. там по-дефолту есть ограничение на размер объекта
Anonymous
разбив будет, по умолчанию, по 4 Мб
Mike
Mark ☢️
ШТОУ? это как это
Евгений
Без страйпа если у меня винты по терабайту, то я не могу создать объект на пять терабайт?
я даже больше скажу - примерно 20% места на osd надо держать свободными. Получить full osd - это все, гроб-гроб-кладбище
edo1
Так кому верить?
Mark ☢️
эксперименту и доке
J
Страйпы пишутся внутрь объектов. Один объект - одна pg. Одна pg - один первичный osd. Не выйдет. Да и вопрос так то чисто теоретический и бестолковый. Большие объекты всю идею софтовых хранилищ перечеркивают, в общем то.
edo1
Есть ли причины не делать гигантский rds?
edo1
Существенно >50% от хранилища
Евгений
Есть ли причины не делать гигантский rds?
rbd - это не объект, он на них пилится.
Следовательно, можно сделать RBD размером хоть 80% от хранилища ( с учетом size)
Mark ☢️
рбд бай дефолт пилит образ виртуалки на куски по 4 метра
edo1
Вот я это и спрашивал
J
А вопросы такие, друг, от того что ты документацию не читаешь, кажется. Я не чтоб обидеть говорю, а поясняю что если последовательно прочтешь большую часть, то и большая часть вопросов пропадет)
edo1
Читаю, конечно. Но, видимо, стар стал, тяжело воспринимается )
J
Ну там и написано не особо легко, правду сказать.
Mark ☢️
а там не был
Mark ☢️
там не было слв про рдб. я думал просто голый радос
Mike
там не было слв про рдб. я думал просто голый радос
Сам подумай, какой идиот будет выставлять размер rados объекта в терабайт?
Mark ☢️
тут же диванные теоретики имеются. чего ты взъелся.
Sergei
Сам подумай, какой идиот будет выставлять размер rados объекта в терабайт?
опыт подсказывает, что если что-то можно сделать, рано или поздно кто-то это сделает.
Mike
опыт подсказывает, что если что-то можно сделать, рано или поздно кто-то это сделает.
Это конечно так, но головой думать надо
Mark ☢️
Я тут тестировал опенссл с 4-битными ключами
Mark ☢️
Чо б нет
Mark ☢️
$ openssl genrsa 1
Generating RSA private key, 1 bit long modulus
.+++++++++++++++++++++++++++
.
e is 65537 (0x10001)
-----BEGIN RSA PRIVATE KEY-----
MCQCAQACAwEYTgIDAQABAgJMawIDAIwnAgECAgJMawIBAAICRhQ=
-----END RSA PRIVATE KEY-----
Mark ☢️
и как он это сделал вобще ?
Mark ☢️
подобрал пару простых однобитных чисел ?
citius
на макоси с дефолтовым конфигом, только с 31 бита и выше генерит
Mark ☢️
ты не поверишь. у меня как раз гей-ос
Mark ☢️
правда старый
citius
ну у меня тоже сиерра старая.
[0] Citius@NCitius ~ ➞ openssl version OpenSSL 1.0.2h 3 May 2016
Mark ☢️
у мну 10.6.8
Mark ☢️
макос икс
Mark ☢️
openssl version
OpenSSL 0.9.8y 5 Feb 2013
Roman
Хьюстон, есть проблем-с.
На сервере 4х1G порта используемые попарно в LACP.
Roman
2х1G в паблик сеть, 2x1G в кластер.
Roman
Поставил 10G карточки, решил переключить на 10G кластерную сеть, но не едет.
Roman
Цеф нигде не хранит данные об интерфейсах же? uuid или неймы?
Mark ☢️
Не хранит
Anonymous
jumbo frame не?
Roman
Включены.
Mark ☢️
А пинг с хоста на хост работает ?
Mark ☢️
Для начала
Anonymous
подсеть такая же осталась?
Mark ☢️
Селинукс аппармор файрвол отключил ?