Так ща вопрос в закупке оборудования? Закупай более-менее универсальные серверы с прицелом на Ceph, а если что там и Sheepdog и Scality и ScaleIO и чо хошь вообще заработают нормально и ресурсы не пропадут.

Это хрыч. Что ни посоветуй будет нытье

Еще раз свои соображения насчет ссд и прочего перескажи, пожалуйста. Интересно же)

мне нужно для кассандры, сциллы и тп будет выделять ssd, напрямую виртуалке, на 6 ссд примерная нагрузка 70к запросов в сек

А кто-то пробовал RDMA messenger на чистом infiniband? Не через ipoib или RoCE.

А в этом смысла нет большого, наверное. Разницу будет видно только на очень большой нагрузке.

сцилла в проде ололо

сцилла в проде ололо

ну смотреть будем осенью

это не прод, а разработка

на проде пока оракл

Так а при чем тут SDS всякие если ты хочешь диски напрямую виртуалкам отдавать? Или эт пример такой что типа производительность как у ссд надо?

сцилла в проде ололо

Почти работает, если совместимость с 2.1 только нужна

Так а при чем тут SDS всякие если ты хочешь диски напрямую виртуалкам отдавать? Или эт пример такой что типа производительность как у ссд надо?

типа нужно под одни виртуалки напрямую выделять, а ещё части виртуалок нужно примерно по 6-8к запросов в сек будет и запись по 200-300 метров в сек данными(постресс)где то просто будет хранение, почти без нагрузки

что разрабы придумают, то и будет

Ну тут даже и советовать чо-то бесполезно. Например, непонятно почему нужно выделять напрямую диски виртуалкам. Про запросы не надо, надо по количеству операций чтения и записи и про размер блоков которыми это делается. Вот постгрес - это же синхронная запись блоками по 8к. 300мб/с это очень грубо 40к IOPS на запись только для постгреса.

В общем, чот та еще история.

В общем, чот та еще история.

обычная история. хрыч придумал с потолка какую-то хрень, начал задалбывать людей в чатах. скоро будет контракт с делл. потом увольнение, потому что "они все идиоты"

дяденьки, а можно глупый вопрос?

обычная история. хрыч придумал с потолка какую-то хрень, начал задалбывать людей в чатах. скоро будет контракт с делл. потом увольнение, потому что "они все идиоты"

смешно, как бы кластер они там так и не сделали ещё, зато уже по второму кругу ремонт начали

если у нас 3 сервера, на них разернут ceph и одновременно там же запущены 3 гипервизора, нормально ли будет работать живая миграция виртуалок?

дяденьки, а можно глупый вопрос?

Не бывает ж таких.

если у нас 3 сервера, на них разернут ceph и одновременно там же запущены 3 гипервизора, нормально ли будет работать живая миграция виртуалок?

нормально.

если у нас 3 сервера, на них разернут ceph и одновременно там же запущены 3 гипервизора, нормально ли будет работать живая миграция виртуалок?

УМВР именно так

ну если пулы не erasure coding с дикой нагрузкой , то конечно.

вчера просто задали мне этот вопрос, а я не смог ответить однозначно, так как не пробовал сам

ну если пулы не erasure coding с дикой нагрузкой , то конечно.

Десять раз опечатался и поправил блин)

ну если пулы не erasure coding с дикой нагрузкой , то конечно.

а в этом случае что произойдет?

а в этом случае что произойдет?

Ничего) Я про него сказал потому что до процессора более жадный чем пулы с репликацией. А так правило простое - если процессора и памяти хватет и на Ceph и под виртуалки, то совмещай на здоровье. Почеум ж нет то)

работает. проверено в бою

Ничего) Я про него сказал потому что до процессора более жадный чем пулы с репликацией. А так правило простое - если процессора и памяти хватет и на Ceph и под виртуалки, то совмещай на здоровье. Почеум ж нет то)

ну да, вопрос производительности тут очевиден и понятно, как это оценивать

Ничего) Я про него сказал потому что до процессора более жадный чем пулы с репликацией. А так правило простое - если процессора и памяти хватет и на Ceph и под виртуалки, то совмещай на здоровье. Почеум ж нет то)

Но так делает не рекомендуется

если у нас 3 сервера, на них разернут ceph и одновременно там же запущены 3 гипервизора, нормально ли будет работать живая миграция виртуалок?

Вполне себе работает. https://www.youtube.com/watch?v=6_D7eIK9Np8

спасибо большое за ответы

ceph реально очень перспективен, но у многих есть опасения и переживания ))

если что - proxmox 4.4 + ceph (3 nodes)

если что - proxmox 4.4 + ceph (3 nodes)

ок, отлично

журналы - на разделах ssd

ceph - sata

А в этом смысла нет большого, наверное. Разницу будет видно только на очень большой нагрузке.

Так спрашиваю не про полезность, а про возможность, делал ли кто. Полезность есть, если говорить про ssd ceph

Так спрашиваю не про полезность, а про возможность, делал ли кто. Полезность есть, если говорить про ssd ceph

Если себя пересилю и не разленюсь, попробую может)

Но у меня одна механика практически.

а ещё вопрос, а я правильно понял, что для OSD нужна только XFS? Или не принципиально и можно юзать ext4 и почему такая любовь к XFS?

а ещё вопрос, а я правильно понял, что для OSD нужна только XFS? Или не принципиально и можно юзать ext4 и почему такая любовь к XFS?

Смотря для чего. ext4 даст лучшую производительность, потому что можно вырубить журнал. Но у нее ограничения на размер расширенных атрибутов и на длинные имена файлов.

ps скачал книжки по ceph, буду погружаться ))

Смотря для чего. ext4 даст лучшую производительность, потому что можно вырубить журнал. Но у нее ограничения на размер расширенных атрибутов и на длинные имена файлов.

так вроде xfs тоже шустрая?

так вроде xfs тоже шустрая?

Выходит что не такая.

угу

Смотря для чего. ext4 даст лучшую производительность, потому что можно вырубить журнал. Но у нее ограничения на размер расширенных атрибутов и на длинные имена файлов.

Вырубить журнал? Смело

Вырубить журнал? Смело

И двойное журналирование выходит. Один журнал - Ceph, а второй - у файлстора, XFS.

угу

Вот, внизу. http://docs.ceph.com/docs/argonaut/config-cluster/file-system-recommendations/

Вот, внизу. http://docs.ceph.com/docs/argonaut/config-cluster/file-system-recommendations/

спасибо

Журнал вырубать низя

Коррапт фс будет

то есть они ещё на btrfs нацелились, ясно

Нет. Уже ушли с него

Кароч жди люминоуса и в нем блюстор

Нет. Уже ушли с него

шустрые

Кароч жди люминоуса и в нем блюстор

ок

это какая версия уже будет?

Там ваще фс нету практически

12

ок

спасибо

А вообще, кто бы чо ни говорил, но можно с осторожностью и Bluestore пробовать. К тому моменту как будете в продукт пихать все это выйдет уже в стабильном виде.

Да

Выше ссылку скидывал на бумажку с тестированием усиления записи.

Я пробовал на раннем крякене. У меня сегфолтилось

Ассершн фейлед вернее

А вообще, кто бы чо ни говорил, но можно с осторожностью и Bluestore пробовать. К тому моменту как будете в продукт пихать все это выйдет уже в стабильном виде.

у нас пока 10.2.7

ок

Экст4 имеет сильные ограничения. Не надо его

Экст4 имеет сильные ограничения. Не надо его

не, я не против, просто хотел понять

Дак это в офиц доке

Выходит что не такая.

Шустрая, ещё какая. У xfs нет проблем с производительностью при обработки xattr. Ext4 была впереди xfs по тестам, процентов на 5-10. Сейчас разрабы не советуют использовать ext4.

Дак это в офиц доке

не изучил ещё все, только начал погружаться в ceph

Экст4 имеет сильные ограничения. Не надо его

не сильные) Я ж написал какие.

Там по длине атрибутов штоле

Не помню

Кароч цеф может но там какойто костыль

Ещё нашли проблему при работе с ext4, в рассылке было обсуждение, требовалось патчить ext4.

Шустрая, ещё какая. У xfs нет проблем с производительностью при обработки xattr. Ext4 была впереди xfs по тестам, процентов на 5-10. Сейчас разрабы не советуют использовать ext4.

Ну а так, я ж своим опытом, парни, делюсь, а не рекомендациями разработчиков. Жцрнал, кстати, на экст4 не выключал в итоге.

Ну а так, я ж своим опытом, парни, делюсь, а не рекомендациями разработчиков. Жцрнал, кстати, на экст4 не выключал в итоге.

Ты так говоришь, буддто никто здесь кроме тебя ceph не использует.

Мне достаточно чтения рассылки разрабов и CPW.

Я так говорю потому что вместо конкретных проблем вы цитируете доки и говорите чо-то в духе "слышал, работает плохо". Без обид)

Я по работе поеду, если чо, от разговора не уклоняюсь)