Это в базовом варианте 2 обьекта

Тоесть 6 если репликация 3 икс

Окей. Добавляем страйпинг два

Теперь 4 обьекта. Тоесть 12 если репликация 3х

И да. Чтение идет только с праймари (это так. На всякий)

Теперь 4 обьекта. Тоесть 12 если репликация 3х

А почему четыре?

stripe_count=2 значит что страйпы будут распределяться по двум объектам. То же самое и выходит)

http://docs.ceph.com/docs/master/architecture/#data-striping

SAS ssd чем-то лучше чем сата в качестве основного объёма?

SAS ssd чем-то лучше чем сата в качестве основного объёма?

на венде работало быстрее, чем на линуксе. на 2400 vs 1950 мегабайт в секунду. Все бонусы съест сеть или IRQ или еще какая-то НЕХ

@j52089ec7e87 собрал на jbod`ах, хотя я не уверен что это JBOD)) но всё же

http://docs.ceph.com/docs/master/architecture/#data-striping

Там через жопу описано. Надо на портале RedHat читать. Но там вроде платно. Вечером поищу пдф, если сами не найдете

Плюсую. Нихера не понял

@j52089ec7e87 собрал на jbod`ах, хотя я не уверен что это JBOD)) но всё же

Ну и нормально)

Ну и нормально)

теперь осталось понять ,если перфоманс хоть близко к нужному))

Боты

китайские

Еще и друг друга зовут? :)

Всем, привет! Не хочу спамить тут, по поводу OpenStack-курсов, сделал специальный канал, через который можно отслеживать все новости: https://t.me/learningos Запущен новый курс OpenStack Administrator, завтра будет розыгрыш одного места на курсе. Все подробности в канале. И на курс действует скидка до 1 августа. Всем отличного дня!

@SinTeZoiD, привет! Ты обещал найти бумажку от редхата где описан RBD страйпинг нормально. Я б почитал, если она действительно так хороша, как ты говоришь)

@SinTeZoiD, привет! Ты обещал найти бумажку от редхата где описан RBD страйпинг нормально. Я б почитал, если она действительно так хороша, как ты говоришь)

19 страница

не то что бы так хороша, она просто лучше информации на ceph.com

не то что бы так хороша, она просто лучше информации на ceph.com

Так это ж, как и все редхатовские доки... Скопипастили официальную документацию даже обрезав немного.

Так это ж, как и все редхатовские доки... Скопипастили официальную документацию даже обрезав немного.

местами обрезав много

меня редхат дока спасала несколько раз

19 страница

спасибо за гайд

спасибо за гайд

а пожалуйста)

Гоняляет ли кто ceph osd reweight-by-utilisation ? может чего посоветуете по использованию

Гоняляет ли кто ceph osd reweight-by-utilisation ? может чего посоветуете по использованию

Выкиньте каку. Оно полуавтоматическое (требует многих итераций, и не факт что сойдется). А гонять постоянно ребаланс как-то не здорово Руками отбалансировать получается быстрее.

критерий для балансировки есть какой?

К сведению: У меня 24 osd размерами от 0.5 до 3Tb Критерий: Чтобы health_ok - то есть все pg на своих местах и никаких деградаций

т.е. веса в зависимости от размера? грубо говоря если 0.5 тера - 0.5, то 3ТБ - 3.0 ?

Гоняляет ли кто ceph osd reweight-by-utilisation ? может чего посоветуете по использованию

можно гонять, но с значением не меньше 200 и с последующим уменьшением.

т.е. веса в зависимости от размера? грубо говоря если 0.5 тера - 0.5, то 3ТБ - 3.0 ?

да, я сразу при добавлении osd вес вбиваю

Гоняляет ли кто ceph osd reweight-by-utilisation ? может чего посоветуете по использованию

оно нужно когда "место в ceph кончилось, а новые сервера для расширения кластера еще едут"

ни на ceph'е а на OSD

ни на ceph'е а на OSD

в кластере )

можно гонять, но с значением не меньше 200 и с последующим уменьшением.

я со 150 начинал

оно нужно когда "место в ceph кончилось, а новые сервера для расширения кластера еще едут"

когда новые сервера приезжают, оно тоже нужно. потому что вот были у вас сервера с 8x0.5, и вес везде был 1, а приехали с 2x3

Для тех, у кого Kraken и OOM kill дропает OSD: при bluestore_cache_size = 104857600 размер одного демона ~1380MB

Какой размер занимает wal-лог и база rocksdb при работе с bluestore на 1тб ssd?

Какой размер занимает wal-лог и база rocksdb при работе с bluestore на 1тб ssd?

Ну, база же будет расти со временем и зависеть будет не от объема диска, а от количества pg, объектов и их атрибутов. А размер wal должен, по идее, зависеть от интенсивности записи.

Это все понятно. Вопрос: сколько, примерно. 500мб, 1 гиг, 4 гига, 10гиг?

Может те, кто уже имеет в тесте bluestor расскажут о потреблении места?

Ну, база же будет расти со временем и зависеть будет не от объема диска, а от количества pg, объектов и их атрибутов. А размер wal должен, по идее, зависеть от интенсивности записи.

от объёма пиковой нагрузки на запись

ибо позволяет временно превысить иопсы (и мегабайты) на запись по сравнению с основным стораджем

Вот как заббикс ебанулся

3 млн иопсов. ага.

ибо позволяет временно превысить иопсы (и мегабайты) на запись по сравнению с основным стораджем

У меня основной ssd

кэш контроллера даже на столько не способен )

У меня основной ssd

тогда, вангуется мне, не совсем понятно зачем вобще WAL, учитывая что блюстор может часть запросов не писать в вол (то есть, писать только метаданные в журнал и ждать подтверждения сразу с основного стораджа, а не с журнала) (или я ебанулся)

Очень скромная база объемом 200-300MB с 3-5 пользователями может генерировать в пиках до 400-600 IOPS. База на 10-15 пользователей и объёмом в 400-800MB способна выдать 1500-2500 IOPS, 40-50 пользователей БД 2-4GB порождают 5000-7500 IOPS, а базы под 80-100 пользователей легко достигают 12000-18000 IOPS

про 1С

тогда, вангуется мне, не совсем понятно зачем вобще WAL, учитывая что блюстор может часть запросов не писать в вол (то есть, писать только метаданные в журнал и ждать подтверждения сразу с основного стораджа, а не с журнала) (или я ебанулся)

Не хочу тратить время контроллера диска на wal, положить его отдельно хочу.

😀😀

кто шфирование делал (dm-crypt) ?

в цефе

интересует как хранить ключи

зачем ? хочу защититься от маски-шоу.

зачем ? хочу защититься от маски-шоу.

А для вас что ли актуально? Тебе для этого достаточно вайпать карты хранящиеся в директории мониторов же)

Да и это, шифрование на уровне OSD Это очень плохая затея, как по мне. Лучше dmcrypt в самих виртуалках делать тогда.

данные успешно достаются и без мониторов ;)

всем привет! ищу кто грузит ceph, воспользовался утилиткой https://github.com/cernceph/ceph-scripts/blob/master/tools/rbd-io-stats.pl но теперь не могу найти имя тома =) rbd_directory пустой, а нужно найти, например, к какому образу отностится файл rbd_data.be9b9f7f5bbccf в определенном osd

пока приходит в голову прочитать все rbd_id.<NAME> и там есть уже сопоставлять id обьекта

Да и это, шифрование на уровне OSD Это очень плохая затея, как по мне. Лучше dmcrypt в самих виртуалках делать тогда.

почему плохая ?

http://docs.ceph.com/docs/master/rados/deployment/ceph-deploy-osd/

In Ceph v0.60 and later releases, Ceph supports dm-crypt on disk encryption. You may specify the —dmcrypt argument when preparing an OSD to tell ceph-deploy that you want to use encryption. You may also specify the —dmcrypt-key-dir argument to specify the location of dm-crypt encryption keys.

А для вас что ли актуально? Тебе для этого достаточно вайпать карты хранящиеся в директории мониторов же)

актуально

Всем привет! Простой вопрос, что происходит при смене osd_pool_default_size с 2 например до 3? Я так думаю просто создаются доп. реплики и все?

если ты меняешь дефолт-сайз - то не меняется ничего. это будет применено только для новых пулов.

если ты меняешь дефолт-сайз - то не меняется ничего. это будет применено только для новых пулов.

Спасибо за уточнение, я думал на все расскатает.

По шифрованию в осд никто так и не ответит ?

По шифрованию в осд никто так и не ответит ?

Нафига это нужно?

По шифрованию в осд никто так и не ответит ?

:))))))

)))

Ничо я не наркоман