Я про то, что rbd не ко всему хорошо и удобно прикручивается

Я про то, что rbd не ко всему хорошо и удобно прикручивается

Но квм его искаропки умеет

И либвирт тож е

Забей

Вот рбд собсно. Еще drbd юзают. Но он совсем гавно.

Я про сторадж когда у тебя штук десять нод по паре винтов на каждом

Чем его сетапить?

Цеф рбд?

Поднять цеф а в нем рбд образы хранить

Я про сторадж когда у тебя штук десять нод по паре винтов на каждом

Вот -- цеф собсно

Да што за собсно слово - паразит-то у меня…

Я про сторадж когда у тебя штук десять нод по паре винтов на каждом

По паре конечно маловато

Но цеф, да

Суть такая, есть сервер сторадж на 30+ дисков(два рейд-массива), хочу второй такой же, проблема в выборе и быстродействии, попробовать можно всё, но стенда нет, вирьуалка не годится, объёмы по 10+тб

Што

Нууу, можно и цеф натянуть

Што

Я хз как объяснить, есть nas1, внутри лежат образы, они раздаются по 10гб сети, но, я хочу сделать кластерный nas, встал вопрос что выбирать.

Из вариантов гластер и цеф ближе всего

Нууу, можно и цеф натянуть

Можно, вот сижу и думаю и жду срачей, что лучше и что больше подходит

Я хз как объяснить, есть nas1, внутри лежат образы, они раздаются по 10гб сети, но, я хочу сделать кластерный nas, встал вопрос что выбирать.

Так понял

Из вариантов гластер и цеф ближе всего

Глустерфс глючное гавно

Без обоснований?

Потести

Путем выдергивания нода на ходу

Всстает крабом весь кластер на раз два

С диким срачем в логи. Это неприемлемо блеять

На в базовых функциях работает хорошо. Если не случилось фейла. Такой у меня опыт с ним.

Цеф убить не удалось. Живучий сука

Без обоснований?

Уф, учитывая отсутствие мастер нод есть шансы split brain

Понятно.

А как с io?

Хуёво

Надо блюстор в цефе

А он кагбе не совсем стейбл. Говорят. Но типэ официально стейбл.

А сейчас есть в проде? Какой объём?

https://telegram.me/pro_openstack

Тебе сюда нащот продов

Уф, учитывая отсутствие мастер нод есть шансы split brain

У тебя вроде в проде есть ceph или ошибаюсь?

У тебя вроде в проде есть ceph или ошибаюсь?

У меня

Оно у тебя под виртуализацию или что-то иное?

Оно у тебя под виртуализацию или что-то иное?

Ага

Большой сторадж?

Надо блюстор в цефе

Мне не дали кракен даже в тест. Сказали пусть пару месяцев настоится

Мне не дали кракен даже в тест. Сказали пусть пару месяцев настоится

А я щас зопарел поднять одно товарища

Реально сегодня

Посмотреть хочу

У меня сейчас xfs и bcache+ext4, есть ли смысл вообще делать то что я хочу, но вопрос не только в "отказоустойчивости", вопрос ещё и в io

У меня сейчас xfs и bcache+ext4, есть ли смысл вообще делать то что я хочу, но вопрос не только в "отказоустойчивости", вопрос ещё и в io

Ну дак ты подними и затести

По факту цеф да тормознее чем прямой винт

Но если тебе хватает то вот не пох

Хм, я же уже писал, что у меня нет стенда и вопрос именно по объёму и io

Хм, я же уже писал, что у меня нет стенда и вопрос именно по объёму и io

А померяй иопсы по фактической нагрузке

Большой сторадж?

Где то 400тб

Посмотреть хочу

Я надеюсь ты нам расскажешь потом?

Я надеюсь ты нам расскажешь потом?

Расскажу. Пингуй время от времени

Ага

У меня сейчас xfs и bcache+ext4, есть ли смысл вообще делать то что я хочу, но вопрос не только в "отказоустойчивости", вопрос ещё и в io

2 сервера под цеф так себе вариант. Один сервер падает и половина кластера до свидания

Дорого выйдет 3 сервера, 1 сервер это где-то 600-700 т.р., не думаю что дадут х2

2 сервера под цеф так себе вариант. Один сервер падает и половина кластера до свидания

Ну два всяко лучше чем один )

Если размер пула сделать два, то может и ничо…

Дорого выйдет 3 сервера, 1 сервер это где-то 600-700 т.р., не думаю что дадут х2

Это что за сервер такой?

Если размер пула сделать два, то может и ничо…

Клаудмаус или как их там вот сделали

Клаудмаус или как их там вот сделали

И што

А погугли

Эмм. Щас гугльну

Это что за сервер такой?

https://www.supermicro.com/products/system/4u/6048/SSG-6048R-E1CR36N.cfm

Примерно в 600 сейчас стоит

А ну так это не тот ли чювак которые рм минус эр эф сделал по всему кластеру ?

А не, вру, дешевле

Примерно в 600 сейчас стоит

В оригинале, raid расшифровывался как redundant array of inexpensive disks. А по факту пиздец как экспенсив

Также и с цефом. Они как раз говорят что можно поднять нехуевый сторадж на коммодити хардваре

Тоесть уж лучше 12 серверов по 100 тыр чем два по 600

Проблема не в кол-ве серверов, а втом как сейчас работает

Проблема не в кол-ве серверов, а втом как сейчас работает

Ну так попроси у ночальства несколько дешевых серверов вместо одного жырного

Реально пижже будет. Сгорел один да и хуй с ним

Не получится(

А так даже стопнуть на пропылесосить очково.

Такие сверхкомпактные полки ка у тебя они для гугла типа. Типа когда физический объем в кубаметрах и питалово имеет значение

raid10(20 hdd), raid6(не помню сколько)+raid10(4 ssd)

Вообщем у меня он полностью забит

Блджад. Я грю если бы вместо сервака на 100500 винтов купить бы 10 серваков на 10050 винтов -- это для твоих объемов значительно пижже

Имхо

Наверное так и есть, но сейчас мне нужно как-то разнести данные и сделать отказоустойчивость

И еще. При цефе рэйд не нужен :)

А там у тебя вобще образы вм хранятся ?

Да, ovirt образы хранятся

На фс...

И еще. При цефе рэйд не нужен :)

Да? O_o

Ну тогда тебе проще всего через глустерфс сделать

Да? O_o

Ну да. Он сам какбе реплики мутит

Вот я тоже в его сторону склонялся..

Ну да. Он сам какбе реплики мутит

И в варианте аля рэйд6 тоже умеет

рейд6 под bcache

bcache=raid10(ssd)+raid6(hdd)

Но бля. Наебнецца глустер -- придется лечить анус

Поставлю гластер и уволюсь ?

ceph 4 ssd(1tb)+4 hdd(4tb) = на 1 машину норм будет?