у меня на самом деле праздный вопрос, но с долей нормального смысла. например, я к вам приду и скажу "мне нужен быстрый распределенный сторадж для виртуалок на 10 терабайт". вы мне скажете "говно вопрос". я приду и скажу "на 100 терабайт". скорее всего вы мне тоже скажете "говно вопрос". если я буду так увеличивать цифры, вы в определенный момент скажете "а какие конкретно условия эксплуатации?" и будете задавать дополнительные вопросы. тут интересны два момента: 1) когда вы начнете задавать уточняющие вопросы и 2) когда вы начнете сразу говорить "это не наш кейс".

Сразу. Что такое быстрый, что за виртуалки

и нет, мы не продаем сторадж под виртуалки

DSF - Distributed Storage Fabric - хоть и ключевой компонент Nutanix, но не единственный.

>Сразу. Что такое быстрый, что за виртуалки прекрасно. это уже ответ по существу. да, я понимаю, что HC и вот это все. задача уровнем чуть повыше, чем сторадж для виртуалок (я согласен, что в условиях вашего продукта я употребил некорректный термин), ее можно сформулировать как "мне надо запускать io-нагруженные виртуалки". и опять же, совершенно неважно, какая именно у меня нагрузка на самом деле. я могу сказать вам, что у меня приложение делает write 4k, потом сразу sync, потом снова write 4k на соседний "сектор" и снова сразу sync. и так до бесконечности. естественно, я ожидаю, что если я дернул sync и мне вернулся ответ, то данные записались, причем не только на локальную ноду, но и куда-то в другое место, чтобы после героической смерти локальной ноды записанный и синкнутый кусок был успешно прочитан с нового места жизни виртуалки.. и если я приду с последовательно возрастающими запросами "хочу 100 таких операций в секунду, потом 1000 и т.д.", то рано или поздно у вас наступит предел. опыт подсказывает, что предел наступит раньше, чем у рамдиска (хотя какая консистентность и синк у рамдиска...) и, вполне вероятно, раньше, чем у локального NVMe например, хотя тут есть варианты. точно так же я могу прийти с любой другой выдуманной метрикой и при попытке ее увеличении мы нащупаем предел платформы. так вот, мой вопрос: можете ли вы сказать какую угодно, любую на ваш вкус (если можете много - давайте много) точку ограничения применимости технологии?

Разговор за общую теорию лишен смысла. Есть конкретные продуктивные системы с конкретной на них нагрузкой. От этого сильно зависит сайзинг и даже выбор моделей.

И мы под нагруженные системы всегда предлагаем тест-драйв, в том числе для понимания специфики нагрузки.

Например, есть специфичный кейс, который сейчас идет в тесте - пачка клонов оракловых баз, на которых идет test & dev. Осложнено все тем, что гипервизор VMware и на каждой машине в среднем по 3 снапшота VMware

предел локального NVMe, а ничего что одна с догм нутаникса это дата локалити?

Выжимать максимум с локальных накопителей

предел локального NVMe, а ничего что одна с догм нутаникса это дата локалити?

если у вас дата-локалити, но при этом принудительный синк негарантированно передает данные в другое место, то это не синк. после мгновенного отключения питания в датацентре при полном погашении кластера нутаникс данные будут разъехавшимися.

хотя кейс конечно совершенно метеоритный

Сергей, давайте вы сначала прочитаете, а потом будем обсуждать.

Запись идет синхронная.

ок, вопросов больше не имею (: спасибо!

Nutanix в принципе построен для работы с корпоративными данными. Максимум надежности.

никаких кэшей на запись в оперативной памяти, в рейд-контроллерах, никаких несинхронных операций записи

Но мне кажется это слегка оффтопик здесь. Желающие обсудить Nutanix могут сделать это вот тут - https://t.me/nutanix_russia

Подскажите, при монтировании rbd появляется следующее: image uses unsupported features: 0x38 насколько я понимаю, ядерный клиент пока не умеет layering, но QEMU-RBD умеет?

Подскажите, при монтировании rbd появляется следующее: image uses unsupported features: 0x38 насколько я понимаю, ядерный клиент пока не умеет layering, но QEMU-RBD умеет?

вроде да

а еще может быть слишком большой размер тома хотя там вроде другая ошибка

Подскажите, при монтировании rbd появляется следующее: image uses unsupported features: 0x38 насколько я понимаю, ядерный клиент пока не умеет layering, но QEMU-RBD умеет?

А ОС и ядро какие, скажи, пожалуйста.

CentOS7, 3.10.0-514.el7.x86_64

А тип RBD 1 или 2 используется?

2

Тут ничего не могу, к сожалению, сказать насчет того какую из фич не поддерживает ядро центоси, но дело да, в этом. Выключать руками надо, видимо.

ага, все, разобрался)

у меня просто были сомнения, не наталкивается ли на ту же ошибку qemu-rbd

оказалось нет, qemu-rbd все поддерживает, а образ у меня был коцаный с самого начала

В битом образе все дело?

Коллеги, у меня rbd snap rollback за пару часов добежал до 99% и уже пару часов так висит. Пора начинать волноваться?

у меня вобще гигантский вопрос почему роллбек такой медленный

поэтому если надо откатиться я от снапшота делаю новый образ (отфоркиваю тоесть)

и юзаю его. сильно быстрее

Коллеги, у меня rbd snap rollback за пару часов добежал до 99% и уже пару часов так висит. Пора начинать волноваться?

Как там образ-то?

Уже завтра узнаем.

А на мой вопрос ответит кто?

Так и не развис, пришлось прибивать. Получается 3 подряд идущих снапшота при попытке на них откатиться зависают на 99%.

При этом снапшот можно смонтировать, данные там в норме.

Непонятно, что происходит.

Попытка сделать клон удалась, но kvm с таким диском не стартует, пишет error reading headers.

Все чудесатее и чудесатее

Что то было у proxmox и снапшоты. Склероз. Мувнул их и стартовало.

Sorry for delay 🙁

Хей, ребята. Не знаю было или нет, но я ща наткнулся и нашел документ очень полезным. http://storageconference.us/2017/Papers/CephObjectStore.pdf Анализиуют усиление записи с разными бэкэндами и размерами блока для OSD.

Хей, ребята. Не знаю было или нет, но я ща наткнулся и нашел документ очень полезным. http://storageconference.us/2017/Papers/CephObjectStore.pdf Анализиуют усиление записи с разными бэкэндами и размерами блока для OSD.

CEPH как всегда сосет по сравнению с продвинутыми АЫ

FS

Это какими

BeeFS например

Beegfs?

ага

CEPH как всегда сосет по сравнению с продвинутыми АЫ

Как всегда нашелся кто-то кто толсто набрасывает сравнивая блочное хранилище-комбайн с сетевыми фс.

Как всегда нашелся кто-то кто толсто набрасывает сравнивая блочное хранилище-комбайн с сетевыми фс.

не сравниваю а реально работаю сейчас как раз заменяю CEPH на другое

Ceph хорошо что еть RBD но в этом он не одинок

S3 в сефе вообще говоно по производительности

не сравниваю а реально работаю сейчас как раз заменяю CEPH на другое

Ну чо начал то. Щас будешь доказывать упорно что цеф говно) Ты по возможности без субъективных оценок коротко расскажи тогда что и как хранишь, как решил перейти с цефа на другое и как в итоге все получилось)

Ну чо начал то. Щас будешь доказывать упорно что цеф говно) Ты по возможности без субъективных оценок коротко расскажи тогда что и как хранишь, как решил перейти с цефа на другое и как в итоге все получилось)

а я вот сейчас решаю как раз что мне брать, 30 тб всего будет данных, и ssd надо 18 шт будет отдавать по напрямую виртуалкам, и вот хз что брать

вариантов море, а недоктатков у каждого ещё больше

кстати, у меня первое рабочее место, где меня ругают за излишнее беспокойство и приписывание себе ответственности

как мне сказали в среду, я ни за что не отвечаю

😂

пара набросов и будет обсуждение часика на 3

пара набросов и будет обсуждение часика на 3

Но оно бестолковое будет)

как мне сказали в среду, я ни за что не отвечаю

это пока не сломалось

это пока не сломалось

я сегодня это бумажно подтвержу

он согласен 😊

а я вот сейчас решаю как раз что мне брать, 30 тб всего будет данных, и ssd надо 18 шт будет отдавать по напрямую виртуалкам, и вот хз что брать

Зачем тут ceph? Слишком мало места

Зачем тут ceph? Слишком мало места

просто других аналогов с rdb не особо знаю, нужно иногда выделять будет целый диск целиком из пула, к тому же хотелось бы хранить все виртуалки со всех серверов, кроме pci ssd в 1 месте

Зачем тут ceph? Слишком мало места

Нормально места)

Нормально места)

Мало. Либо совмещать на текущих серверах с другими типами дисков, либо делать all flash. Для второго варианта - места мало, в итоге решение будет ощутимо дороже.

просто других аналогов с rdb не особо знаю, нужно иногда выделять будет целый диск целиком из пула, к тому же хотелось бы хранить все виртуалки со всех серверов, кроме pci ssd в 1 месте

clusterFS те в помощь

clusterFS те в помощь

например и сиснтезоида о гластере оч плохое мнение, он от него отговорил

например и сиснтезоида о гластере оч плохое мнение, он от него отговорил

ну ему видней

я половину условий не знаю, тупо не говорят, а под закупку хотят уже примеры, вот и предусматриваю всё возможное

В твоём мире видимо розовые пони по небу летают?

И что значит городить любой? Проповедь интегратора? Городить зоопарк?

ну ему видней

Ясен хрен. Он ломается как печенька

А кто-то пробовал RDMA messenger на чистом infiniband? Не через ipoib или RoCE.

я половину условий не знаю, тупо не говорят, а под закупку хотят уже примеры, вот и предусматриваю всё возможное

Так ща вопрос в закупке оборудования? Закупай более-менее универсальные серверы с прицелом на Ceph, а если что там и Sheepdog и Scality и ScaleIO и чо хошь вообще заработают нормально и ресурсы не пропадут.

Так ща вопрос в закупке оборудования? Закупай более-менее универсальные серверы с прицелом на Ceph, а если что там и Sheepdog и Scality и ScaleIO и чо хошь вообще заработают нормально и ресурсы не пропадут.

Еще раз свои соображения насчет ссд и прочего перескажи, пожалуйста. Интересно же)