чтобы понять как это работает, конечно же нужен стенд

Что будет?

Осд снюхаются и приведут все в норму

То есть он помнит, какие блоки можно брать со старых osd, а какие изменились?

ceph оперирует PG(я их называю группами размещения)

Кстати, с чего начинать читать? )

с архитектуры )

http://docs.ceph.com/docs/master/architecture/

у меня был перевод, но я не оплатил домен к блогу, так что придется на английском )

Да ну английский не особо пугает, хотя на русском быстрее читаю, конечно )))

osd может быть включен только в один пул?

osd может быть включен только в один пул?

Нет.

А кэшированием кто пользовался?

вы про журнал или про cache tier?

Второе. Если есть ssd и hdd, есть ли смысл явно держать данные на ssd?

"явно держать на ssd" - это отдельный пул на ssd?

Да

зависит от задач. Понятно, что оно быстрее

Ну мне пока непонятно ) если на hdd уезжают только холодные данные - то всё должно быть красиво

есть, скажем, 1Тб образов виртуалок и файловая помойка на 15Тб. Как это лучше организовать? Стоит ли тащить всё в ceph?

образы в RBD файлопомойку - смотреть надо

Ну помойку я думал тоже в rbd и самбой отдавать

если иопсы особо не важны - cephfs. Но есть нюансы.

Её только объявили готовой же, как-то страшновато

А почему не rbd?

появляется уютная единая точка отказа-самба

м-м, и часто падает?

или вместе с виртуалкой?

м-м, и часто падает?

ну, я какбы об этом

Ну сейчас она и так есть, самба стоит на большом ящике, будет в виртуалке

Как минимум будет не хуже )

у cephfs есть конечно же уютный mds...

Есть ли причины не делать гигантский rds?

Существенно >50% от хранилища

скажу немного у другом: есть прометей, который жуть как охоч до диска, даже когда падала нода, где оно жило ( память дурила на машине) - оно поднималось через ha и никто не паниковал (пару минут).

поэтому сделать виртуалку с большим диском через rbd - imho, вариант

но только не гнаться за current-ами в цефе

Есть ли причины не делать гигантский rds?

нет причин

# ceph -v ceph version 0.94.9

вот, зашёл на бой вполне себе одного сервиса рунета

вот, зашёл на бой вполне себе одного сервиса рунета

HEALTH_OK?

# ceph -s cluster 7a7e5a27-9678-461f-b39f-829d0fdcb01a health HEALTH_OK monmap e3: 3 mons a

мне не жалко

А я хотел стенд с голубизной поднимать, в расчёте на то, что пока провожусь - оно дефолтом станет в релизе )))

Я так понимаю, всё равно внимание девелоперов на текущих версиях сосредоточено, никто старые не вылизывает. Или я неправильно понял про current?

м-м, насчёт hammer-а могу сказать, что вполне стабилен

но стар, очень стар, по хипстерским меркам :)

м-м, насчёт hammer-а могу сказать, что вполне стабилен

Для RBD самое оно

угу

То есть со старыми версиями вероятности граблей меньше?

скорее, с теми, с которыми есть подтверждённая работа на 4-5k iops

но - rbd, как уже выше было сказано

файлопомойкой могила (mogilefs) занимается

Я понимаю, когда не хочется рисковать с переносом чего-то работающего, но поднимать новый кластер на 0.ххх...

скорее, с теми, с которыми есть подтверждённая работа на 4-5k iops

Не понял

а что там будет? виртуалки или mds?

я пока не планирую обновляться на бою, на тестах гоняю новые цефы, но так, для понимания, что можно выжать

Mds пока не рассматривал

тогда так (опять же - имхо): молоток - рабочий, для rbd - полностью годен.

Я думал релиза Luminous дождаться

Вроде как скоро должен быть

И lts

угу, но - для чего тебе люмина?

Ну на картинках красиво ) Сильно понизили количество io, если им верить

Я про bluestore

для вынимания из filestore rbd по кускам черная магия вроде как есть. А тут что будете делать?

Если к ней приходится прибегать - это причина вовсе не использовать ceph, нет?

Причем полная беда, да.

Теоретически магию можно и для bluestore применить

Тем более, что db и wal есть смысл отдельно хранить (как минимум для hdd)

Но, честно говоря, не хочется использовать продукт, который таких телодвижений может потребовать

У меня 2 кластеро-года на хаммере. Полет нормальный.

Так что по cache tier? Насколько оно хорошо работает?

Соблазнительно, конечно, очень сделать одно большое хранилище и пусть оно само разбирается что на hdd спустить, а что на ssd хранить

Cache tiering will degrade performance for most workloads

это тебе в чатик нутаникса - там тебе сразу расскажут, что нынче модно у них покупать :)

Там рисуют красиво, конечно, но цена...

угу, иначе не получится ездить по гейропам на машинах :)

У меня 2 кластеро-года на хаммере. Полет нормальный.

я бы даже сказал отличный. На мой взгляд самый стабильный релиз после Dumpling

Соблазнительно, конечно, очень сделать одно большое хранилище и пусть оно само разбирается что на hdd спустить, а что на ssd хранить

Тоже вот думаю, стоит ли все руками разносить, или пусть ceph сам решает

ну если ёмкость ssd достаточна, то мне их доводы про снижение производтельности "for most cases" кажутся малоубедительными