http://hosting.wedos.com/cldata/329/moonshot.jpg

или вы их переиспользуете под квм ноды?

а какой тип данных? холодный стородж для файла?

да, beegfs - не ест ресурсов совсем

ага типа гиперконвергентная система

вышла

тогда интересно

нам нужны цифры

)

и расскажи про карточки и свичи

если вы рдма юзаете

что там на нем лежит?

образы виртуалок же

а легкие контейнеры не пробовали? lxc например

@kvaps мужик кинь каких-то цифер плиз, если нельзя публично - то хоть в личку

Цифры к сожалению выдать не могу, так как обещал этого не делать. Ссылка выше - тест изнутри виртуалки во время простоя, при нагрузе показала себя более чем. Так как грузили очень нехило :)

Цифры к сожалению выдать не могу, так как обещал этого не делать. Ссылка выше - тест изнутри виртуалки во время простоя, при нагрузе показала себя более чем. Так как грузили очень нехило :)

ну это понрятно, оно просто локально по дискам работает

вопрос в отказоустойчивости, расчитываете ли вы на это?

и расскажи про карточки и свичи

карты 10G, свитчи, из той же оперы, могу спеку сча найти если интересно

тут интересует в первую очередь юзаете ли вы что-то из рдма

ибо тогда вообще сказка по задержкам будет

ибо тогда вообще сказка по задержкам будет

если я не ошибаюсь то задержки там невилируются на уровне файловой системы с отложенным синком оно за даннымим старается не ходить на другой сервер

если там синхронная запись в копию - то задержки важны

непонятно как в таком случае оно живет с относительно большими по размеру файлами образов

Хм, то-то думаю звучит знакомо - https://habrahabr.ru/post/270187/

блин я листаю спецификацию - походу завтра буду бомбить босов что ыб мне 10 серваков взяли в аренду

блин я листаю спецификацию - походу завтра буду бомбить босов что ыб мне 10 серваков взяли в аренду

там 3 достаточно)

не

3 - это тупо потыкать

мне надо 10

по 4 ссд винта в каждом

@kvaps можете что то по отказоустойчивости прокоментировать, как оно реагирует когда падает нода

там цена вопроса 300 баксов в месяц

по 4 ссд винта в каждом

в софтрейды?

в софтрейды?

а это хорошо или плохо? :)

не просто 4 винта

а это хорошо или плохо? :)

в этом случае хорошо

на ноду - а там ставь как хочешь

в этом случае хорошо

почему?

а это хорошо или плохо? :)

разве софтрейд – это плохо?

разве софтрейд – это плохо?

вот и я спрашиваю

почему?

на сайте ини сами рекомендуют так делать, эот же не блочная репликация

я не говорил что плохо или хорошо, интересуюсь просто)

карты 10G, свитчи, из той же оперы, могу спеку сча найти если интересно

нашел спеки: https://www.hpe.com/h20195/v2/GetPDF.aspx/c05069173.pdf

не за 300 баксов в месяц ты хардварный рейд не получишь

разве что фейк рейд

в таком случаи лучше софтварный

наливали ли в кластер данные порядка 70% и потом рубали ноды

с этим проблем нет

вопрос в отказоустойчивости, расчитываете ли вы на это?

отказоустойчивость имеется

ты хош сказать, что оно лучше ceph работает?

)

@kvaps можете что то по отказоустойчивости прокоментировать, как оно реагирует когда падает нода

когда нода падает все запросы переезжает на ноду которая состоит в паре с упавшей нодой

ты хош сказать, что оно лучше ceph работает?

разные же вещи

ты хош сказать, что оно лучше ceph работает?

ты не поверишь!

то был легкий сарказм)

просто я могу сказать что с ceph было немало приколов

но кейс был сугубо блочная хранилка но данных дохуилярд

на самом деле ceph я тоже использую, но немного для другого

когда нода падает все запросы переезжает на ноду которая состоит в паре с упавшей нодой

а образы успевают синкатся между нодами, они же там не маленькие?

а образы успевают синкатся между нодами, они же там не маленькие?

они сразу в два таргета пишутся

всегда

кстати файл бъется на блоки и уже синкаются блоки?

а запись синхронная?

почти как drbd только на уровне fs

они сразу в два таргета пишутся

тогда летенси важна)

при отвале мдс - фриза не наблюдается?

пока переед на новый?

фриз есть - но небольшой

а запись синхронная?

честно не знаю, но думаю что асинхронная

при отвале мдс - фриза не наблюдается?

там же их можно пачками на каждой ноде подымать для отказоустойчивости

ну если асинхронная и при тупом реплика факторе 2 - у тебя при отвале мдс - будет непонятно какая копия актуальная

честно не знаю, но думаю что асинхронная

завист от алгоритма репликации, оно ждет пока на обе ноды запишется, в вашем случае

ну если асинхронная и при тупом реплика факторе 2 - у тебя при отвале мдс - будет непонятно какая копия актуальная

там много мдс

вопрос в ругом

как там работают мдс

размазывают ли они неймспейс между собой

если каждый отвечает за свой кусок - то при отвале мдс - будет фриз, пока другой не подхватит этот кусок неймспейса

если каждый отвечает за свой кусок - то при отвале мдс - будет фриз, пока другой не подхватит этот кусок неймспейса

если сеть быстрая то думаю терпимо

ну вот именно и интересно на сколько длинен фриз

если есть рдма - то насколько это нивилирует задержки

вообще тема интересная

а злые дядьки ругать не будут что в комерческих целях используете?)

а злые дядьки ругать не будут что в комерческих целях используете?)

мы купили

ну вот именно и интересно на сколько длинен фриз

как долго будут висеть текущие операции от клиента больше зависит, переключение почти моментальное, все новые операции идут на новую железку уже

а что с теми по которым не пришло фидбэка что все записалось?

как долго будут висеть текущие операции от клиента больше зависит, переключение почти моментальное, все новые операции идут на новую железку уже

тут наверно уже вопрос как сам гипервизор такие фризы обрабатывает

кстати а какие образы qcow2, raw?

raw

qcow2 - ваще тихий ужас)

raw

а снапшоты как тогда?

хех

пока никак :)

qcow2 - ваще тихий ужас)

подробнее тут

ну я бы вам привел цифры, но как уже сказал не могу. можете погуглить, даже на чистых ssd производительность у qcow2 почти никакая

чуть лучше себя ведет qed или preallocated qcow2 но все равно производительность ниже плинтуса

ну я бы вам привел цифры, но как уже сказал не могу. можете погуглить, даже на чистых ssd производительность у qcow2 почти никакая

хмм, странно, врое же virtio решает эту проблему, раньше помню давно правда такое было

юков с прелокейт метадата на 30% была ниже производительность на 60 рейде из 10к сас дисков

от рав дисков

везде было виртио блк