« Rev
@ceph_ru   204
Fwd »


Mark ☢️
особенно если грин, то там 80 иопсов - это победа
Александр
У меня тут wd red pro по 6тб появились
Александр
Завтра потестирую
Mark ☢️
не забудь про настройки шумности и включённость кеша в хдпарме
Дмитрий
вообще формулой)
osd journal size = {2 * (expected throughput * filestore max sync interval)}
Михаил
osd journal size = {2 * (expected throughput * filestore max sync interval)}
смелое заявление а в таком случае fs max sync у вас какой?
Дмитрий
6.25ГБ для 10Гбит и 5 сек max sync
Михаил
Мда, а зачем редактировать свое сообщение?)
Дмитрий
потому как нолик лишний на ум пошел )
Dmitry
Мне кажется или как-то быстро они Кракен проскочили? Следующий релиз Luminous, пишут, уже бу
Dmitry
дет lts
Dmitry
This is the fourth development checkpoint release of Luminous, the next long term stable release. This release introduces several improvements in bluestore, monitor, rbd & rgw.
Mark ☢️
Хз. У меня крякен. Работает.
Ilya
Коллеги - помогите выбрать интересные доклады на DevOps - DevConf'17 https://devconf.ru/ru/offers/DevOps
А также коллеги, не забудьте проголосовать про OpenStack meetup https://devconf.ru/ru/offers/offer/305 на котором традиционно бывает что-нибудь про Ceph =). Организаторы DevConf и @confguru в частности любезно предоставляют сообществам возможность встретиться. Давайте поможем себе её реализовать. А также добавлю, что DevConf вот уже на протяжении многих лет - одна из лучших практических конференций в области разработки.
Ilya
а админам то есть что делать там?)
Есть, там целая секция про devops =)
Dsemenov
Ребят вопрос: допустим в качестве стораджа есть ceph и к нему подключенно несколько серверов приложений. Этим серверам надо что бы они видели сторадж как один большой диск с директориями в который они все будут писать и читать, что для этого лучше cephfs или nfs или есть другие более правильные варианты?
citius
Ceph FS
Dsemenov
Супер, спасиб!
Alexander
а Ceph FS стабильно работает разве?
Mark ☢️
а Ceph FS стабильно работает разве?
ну вроде. ток снапшотов там пока считай нет
Mark ☢️
всяко лучше глустера
Yuf
ребята а кто гонял ceph на больших лунах ?
Yuf
недавно задача была на 2 луна по 400TB на одном стородже сделать чтото вроде бы CLVM
Dsemenov
ну вроде. ток снапшотов там пока считай нет
Типа не работают, или работают что "лучше бы не работали"?
Alex
Типа не работают, или работают что "лучше бы не работали"?
Типа там лучше их не делать. Так как если сломантся - нет инфы как чинить.
Dsemenov
вот чёрт
Mark ☢️
Типа не работают, или работают что "лучше бы не работали"?
официально заявляется, что это экспериментальная функциональность. используй на свой страх и риск
Mark ☢️
ну то есть, не используй :)
Mark ☢️
ребята а кто гонял ceph на больших лунах ?
всмысле ? это как понять? один OSD натравить на огромный iSCSI ?
Mark ☢️
но зачем ?
Yuf
Один стородж два сервака
Mark ☢️
Но всеравно не понятно
Mark ☢️
У пеня вопрос: так как даблврайта в блюсторе нет, данные не пишутся в ссдшный журнал, то получается у нас нет кеширования на запись. Соответственно пиковая нагрузка протормозицца.
Mark ☢️
Так вот. Получается, с блюстором надо видимо делать так: делаем пул исключительно из трех осд. Ну а дальше cache tiering или как там жто называется когда виртуальный пул через кеширование в другом пуле.
Mark ☢️
http://docs.ceph.com/docs/master/rados/operations/cache-tiering/
Mark ☢️
Или таки bcache прикручивать както гдето ?
Mark ☢️
А так можно ?
Vlad
Зачем кеширование на запись на хранилище? Этим должен клиент заниматься.
Dimonyga
кэш тиринг с rbd хреново работает
Нормально работает, в бою уже год.
Pavel
Нормально работает, в бою уже год.
Я бы не стал выпускать это в бой, когда доки говорят "known bad workloads"
Roman
Если что-то пойдет не так, то потом получишь неприятные известия.
Roman
Roman
тиринг на рбд не советую.
Mark ☢️
Зачем кеширование на запись на хранилище? Этим должен клиент заниматься.
Ну он и занимается. Но когда гостевуха делает фсинк, виртуалка должна записать с гарантией в сторадж. Если это делать на магнитные -- то мало иопсов. В файлсторе -- он говорит что запись надежно прописалась когда она прописалась В ЖУРНАЛЫ (тоесть на ссд). В блюсторе данные не пишутся в журнал. Ооесть они попадают только на магнитные диски.
set
Если что-то пойдет не так, то потом получишь неприятные известия.
Можете рассказать подробнее? Это из опыта информация? Я очень надеялся на тайринг в сефе, жаль слышать что с ним каке-то проблемы.
Roman
Можете рассказать подробнее? Это из опыта информация? Я очень надеялся на тайринг в сефе, жаль слышать что с ним каке-то проблемы.
Да, к сожалению из опыта. Использую для RBD. При неправильной миграции ВМ происходит split brain, как итог, то данные виртуального сервера уже не восстановить.
set
к сожалению, меня именно rbd интересует. виртуализация и все такое.
Roman
А какая задача? Для чего тиеринг?
Alexey
Да и что значит "не правильная" миграция. Зависает, заканчивается с ошибкой, отменяется ?
Roman
Не лучше ли будет использоваться NVMe под журнал?
Alexey
NVMe - очень сырая реализация пока в лине
Alexey
только промышленные SSD пашут нормально, десктопные с тримом и прочими улучшчайзерами - не вариант
Roman
Roman
После перезагрузки..
Alexey
120 сек, поставьте по больше то. Зачем вообще используете hung-task-timeout
Alexey
А зачем в прод ставить nvme декстоп класса?
В мире грез и пони розовые, а в реальном всякое видеть приходится.
Arkadiy
Больше похоже на проблему с гипервизором, а не с тирингом
Alexey
Если дешево и сердито - то в прод 😊. По поводу проблемы, все таки ЧТО С МИГРАЦИЕЙ то не так
Mike
В мире грез и пони розовые, а в реальном всякое видеть приходится.
Ответ не понятен. Зачем ставить в прод диски/карты из пользовательского сектора?
Alexey
ПРОДЫ у всех разные. Не у всех клиенты сбер и нефтегаз
Roman
Больше похоже на проблему с гипервизором, а не с тирингом
Тоже так думал поначалу, но повторив ситуацию на таком же кластере без тиеринга - проблема не повторяется.
Mike
ПРОДЫ у всех разные. Не у всех клиенты сбер и нефтегаз
Простите, что? Вы давно цены видели? Сколько по вашему стоит nvme? Например, Intel DC p3700 400gb?
Roman
800$
Alexey
Так что там с миграцией то, Roman вы показываете результат, что пишут гипервизоры во время миграции
Михаил
Ответ не понятен. Зачем ставить в прод диски/карты из пользовательского сектора?
Радуйся, что не спрашивают "где мои сотни тысч иопс, это же ЦЕФ?!"
Alexey
Mike что вы до меня докопались, я написал - лучше не использовать NVMe десктоп класса всего то. Есть и те кто уже закупил. Думаю вопрос можно считать исчерпанным.
Mike
800$
Это не дорого. Это цена на рынке, при покупке у партнёров - будут ещё скидки.
« Rev
@ceph_ru   204
Fwd »