Интенсив по Ceph

Я про программу историю

Как делать

и что делать

OS Basic вообще о другом )

Без практики только

я не путаю openstack и ceph если ты об этом

Саня, скорее я мозгом сплю и не понимаю тебя сейчас. Завтра в личке обсудим?

У меня вопрос тогда о другом

http://learningos.ru/video

за 9800

Пойдем в личку, Пока Миша нас не забанил ))

Ну вопрос по теме

Так что не забанит

😆

так как в документации уже определено и используется абривиатура "Failure Domains". Так вы вводите путаницу

+

Если у меня в ceph будут только ssd то можно ли отключить журнал и писать синхронно?

можно попробовать ceph bluestore вообще

если такие железки есть

Если у меня в ceph будут только ssd то можно ли отключить журнал и писать синхронно?

С filestore - нет

а кто-нибудь использовал bcache или подобное для кеширования осд ?

а он уже в проде ? что разрабы пишут по этому поводу

я думаю что блустор не в проде еще

не знаю

Не стоит пока в прод

Судя по mail list оно местами протекает

Не то, что протекает, аппетиты у него нескромный

Но после некоторых настроек около 1.5гб ОЗУ на osd

Коллега сумел настроить ceph с bluestore на серверах с 24 диска по 2тб и 64гб ОЗУ, чтобы oom killer'у не было работы

Остается 5 дней до начала интенсива по Ceph! Если еще не успел, то записаться можно тут: http://learningos.ru/ceph

думаю попробовать bcache, посоветуйте, что с журналом осд делать - я правильно понимаю, что можно просто на ту же фс положить в файлик ?

Добрый. Только всупил в группу. Возможно было: имею cephfs в 82 тб сырого места из 2 пулов: ceph_data pg 2048, size2 и ceph_metadata pg 2048, size2. Записал на фс 7тб, заняло 14тб. Так вот calamari & openattic говорят что пул ceph_data занят грубо 25%, ceph_metadata 0%. Можно ли создавать фс, отдавая под дату например 4096, а метаданные 1024? Т.е соотношение 80-20% или типо того

Коллега сумел настроить ceph с bluestore на серверах с 24 диска по 2тб и 64гб ОЗУ, чтобы oom killer'у не было работы

Мы хотим рассказ!

Мы хотим рассказ!

Михаил, возможно я веду себя некорректно задавая этот вопрос, но слушать истории а потом пересказывать их за деньги ? это мне кажется не очень честно, вам так не кажется ?

O_o

Миша нашёл где рубить бабла, молодчина!

Михаил, возможно я веду себя некорректно задавая этот вопрос, но слушать истории а потом пересказывать их за деньги ? это мне кажется не очень честно, вам так не кажется ?

да в общем-то всем интересно

Михаил, возможно я веду себя некорректно задавая этот вопрос, но слушать истории а потом пересказывать их за деньги ? это мне кажется не очень честно, вам так не кажется ?

Я рассказываю свой опыт. Но мне интересно послушать и чужой, что не так?

Всем привет! Ребят Ceph на HW Raid можно создавать?

Всем привет! Ребят Ceph на HW Raid можно создавать?

Лучше не надо

Всем привет! Ребят Ceph на HW Raid можно создавать?

Можно

Я рассказываю свой опыт. Но мне интересно послушать и чужой, что не так?

тоесть за свой опыт вы берете деньги, а за чужой опыт не даете ничего ? я к этому.

тоесть за свой опыт вы берете деньги, а за чужой опыт не даете ничего ? я к этому.

?!

Скорость записи почему-то всего 80МБ\с диски sas в Raid50

тоесть за свой опыт вы берете деньги, а за чужой опыт не даете ничего ? я к этому.

Да и свой опыт я тут часто бесплатно раздаю.

тоесть за свой опыт вы берете деньги, а за чужой опыт не даете ничего ? я к этому.

А чего эт вы чужие деньги начали считать? Давайте послушаем вас на конференции?

Миша кстати норм помогает

O_o

К чему такие вбросы я хуй знает

Скорость записи почему-то всего 80МБ\с диски sas в Raid50

Потомучто RAID5, пересоберите в 10-ку.

судя по скрину - проксмокс?

вообще на какую скорость можно расчитывать в raid10?

Скорость записи почему-то всего 80МБ\с диски sas в Raid50

(20%Write 80%Read)

Или какие там цифры выходят?

вообще на какую скорость можно расчитывать в raid10?

Слишком много условий. проще тестить и подгонять под то что вам необходимо.

Это не тест, это говно

вообще на какую скорость можно расчитывать в raid10?

ответ очевиден ведь - все зависит от того на чем он собран

А контроллер какой?

Это не тест, это говно

Как протестировать?

Тут выше скрипт где-то валялся

Искать надо

Как протестировать?

fio или если хочется линейную, то dd с oflag=direct

https://pastebin.com/g9xa2Vup

fio или если хочется линейную, то dd с oflag=direct

c oflag=direct вообще грустно.

34MB\s

34MB\s

Сколько всего шпинделей ?

вообще 3 сервера с 8-ю дисками. Raid10 из 4 дисков система. 4 диска на каждом сервере свободны. на 2 ноде 2 сторожа каскадом 24 диска и на 3 ноде сторедж с 12-ю дисками. На первую ноду планируется тоже сторедж с 12-ю дисками. Как из этого собрать конфетку? Или только фантик от конфетки?

вообще 3 сервера с 8-ю дисками. Raid10 из 4 дисков система. 4 диска на каждом сервере свободны. на 2 ноде 2 сторожа каскадом 24 диска и на 3 ноде сторедж с 12-ю дисками. На первую ноду планируется тоже сторедж с 12-ю дисками. Как из этого собрать конфетку? Или только фантик от конфетки?

А там у тебя уже прод перераспределить диски никак?

нет только тестю. сторедж на следующей неделе будет надо будет собрать правильно и в прод

Зависит от вкуса конфетки (что вам нужно). есть кейсы где RAID лучше будет разбить и отдать отдельными дисками

37TB потому что NFS хранилку подключил

Зависит от вкуса конфетки (что вам нужно). есть кейсы где RAID лучше будет разбить и отдать отдельными дисками

нужно будет поднять 3 сервера 2Веб и 1балансировщик. Требования разраба 2веб по 128GB ОЗУ для пользователей(Tomcat+Domino) и балансировщик не такой требовательный.

нужно будет поднять 3 сервера 2Веб и 1балансировщик. Требования разраба 2веб по 128GB ОЗУ для пользователей(Tomcat+Domino) и балансировщик не такой требовательный.

ява ваша гавно...

ява ваша гавно...

+

согласен, но тут дело не в этом. возможно ли это сделать с тем что имеется?

1GB ethernet для кластерной достаточно?

есть ли у кого реальные цифры чтения\записи? Чтобы понимать стоит ли заморачиваться или нет.

1GB ethernet для кластерной достаточно?

какой то конь в вакукме