ну. я хочу увеличить количество осд на одном ноде
сек, сейчас ссылку найду. Мы у этих ребят покупали БУ дисковые полки.
Anonymous
Anonymous
там обычный JBOD, в связи с этим контроллер надо докупаить
Mark ☢️
чтобы смысл имело — это надо сетевуху от 10гбит
Anonymous
но и дисковая полка что-то в районе 40к обошлась
Anonymous
на 24 диска
Mark ☢️
это не похоже на говно и палки
Mark ☢️
не наш стайл
Anonymous
https://www.ittelo.ru/shd/shd-huawei/hw-oceanstors2300/
Anonymous
во
Anonymous
так как на бекапанах скорость не сильно важна, мы их забили 8 Тб дисками без разбивки журналов, полет год и все хорошо
Mark ☢️
а как к ним подключаться?
Mark ☢️
6 гигабит сас
Mark ☢️
не, не годно
Mike
Ну, либо FC, либо FCoE, либо ISCSI
В первом случае, надо специальный контроллер, в остальных - через сетевуху
Не надо так жестко. Просто jbod с SAS линками
Anonymous
6 гигабит сас
ак прикинь у себя сколько выйдет. Я не думаю, что у тебя постоянный поток данных в 6 гигабит
Anonymous
угу
Mike
Сейчас полки уже с 12гб SAS линий. И по одному кабелю идет идёт четыре линии 6 или 12Гб SAS,
Anonymous
кстати, Ребят, кто нибудь обновлялся с hammer'а на jewel? Требования к производительности сильно увеличились?
Anonymous
CPU и память ...
J
кстати, Ребят, кто нибудь обновлялся с hammer'а на jewel? Требования к производительности сильно увеличились?
Обновлялся.
А почему должны были увеличиться?
Как все работало на стареньких ксеонах X5650, так и работает. Оперативки больше тоже не стало съедаться.
Anonymous
ну ок тогда.
Anonymous
а то у меня на 8 ядах, без HT, 36 OSD.
J
Без EC пулов ничо страшного, думаю.
Dmitry
так как на бекапанах скорость не сильно важна, мы их забили 8 Тб дисками без разбивки журналов, полет год и все хорошо
В каком смысле - без журналов? Это все под цефом?
Anonymous
В каком смысле - без журналов? Это все под цефом?
Имеется ввиду, что журналы на этих же osd лежат
edo1
А смысл в полках для цефа?
edo1
Стоят они примерно как платформа от той же микры
Dmitry
Это просто добавление шпинделей
Dmitry
Полки дешевле чем полноценный сервак
edo1
Да ну
Dmitry
Особенно если сервера уже есть
edo1
https://www.regard.ru/catalog/tovar118593.htm
Dmitry
Это корпус - докинем туда проц, мамку, память, 3 HBA
Dmitry
Сеть
edo1
Извиняюсь, думал на платформу
Mark ☢️
кстати, Ребят, кто нибудь обновлялся с hammer'а на jewel? Требования к производительности сильно увеличились?
там фаст-диффы появились в рбд - а это космическая летучка в плане снапшотов и операций с ними
edo1
Но все равно когда в последний раз смотрел - пока примерно в те же деньги выходила
Sn00part
ничего железяку сконструировали-то
http://www.anandtech.com/show/11702/intel-introduces-new-ruler-ssd-for-servers
kiosaku
денег, поди, хочет за edsff ...
Александр
ничего железяку сконструировали-то
http://www.anandtech.com/show/11702/intel-introduces-new-ruler-ssd-for-servers
А внутри много много сд карт ))))
Александр
Бот что ли
Sergey
Вот вопрос, ну подрубили Вы полку на пол сотни винтов к серваку, а если помер сервак, то у вас стали недоступны 50 винтов и все данные которые на них были, допустим один винт 4 терабайт и занято 2, 2 умножает на 50 вы имеете 100 терабайт которые надо ребалансить
Sergey
Чёт трафик будет веселый, плюс от резко пришедшей нагрузки на другие диски у вас сильно просядет производительность это лучший вариант, худший - начнут сыпаться другие
Sergey
Это я рассказал историю успеха одного кластера на петабайт данных)
Евгений
Чёт трафик будет веселый, плюс от резко пришедшей нагрузки на другие диски у вас сильно просядет производительность это лучший вариант, худший - начнут сыпаться другие
При таких масштабах домен отказа обычно - шкаф, а не один сервак
Sergey
При таких объемах никто в здравом уме не будет полку на пару десятков винтов цеплять на один сервер
Sergey
Серваки тоже мрут
Anonymous
Вот вопрос, ну подрубили Вы полку на пол сотни винтов к серваку, а если помер сервак, то у вас стали недоступны 50 винтов и все данные которые на них были, допустим один винт 4 терабайт и занято 2, 2 умножает на 50 вы имеете 100 терабайт которые надо ребалансить
пусть и ребалансится, нужно просто параметры подкрутить
Sergey
100 терабайт даже на 10 гигабитной сетке
kiosaku
м-м, с таким вопросом в соседний чат, к нутаниксу
Sergey
Посчитайте чистое время ребалансировки
kiosaku
они (вроде двое) бьют себя в грудь, что пофиг
Anonymous
Чёт трафик будет веселый, плюс от резко пришедшей нагрузки на другие диски у вас сильно просядет производительность это лучший вариант, худший - начнут сыпаться другие
из-за этого и рекомендуется использовать size=3,min_size=2
kiosaku
кто бы его прописал для proxmox-а ...
Sergey
Кластеру все равно надо будет восстановить количество реплик
kiosaku
хотя бы писать перестанут
Sergey
А мин сайз это то количество реплик при котором кластер будет жить, оно никак не влияет на сам процесс ребаоансировки
Anonymous
спросите у cern они вам ответят, как они 30 ПБ гоняют :)
Sergey
У меня 2 кластерам один петабайтный второй два
Anonymous
и? Если упирается в сеть, значит наращиваем сеть
Anonymous
помоему все логично, Сергей
Sergey
У них один диск это один ссд подрубленный к отдельному микрокомпу на базе арм
Sergey
)
Sergey
Больше суток чистого времени
Sergey
А кластер сутки работает
Sergey
Пишите и отдаёт данные
Sergey
Сильно улучшает разделение сети для самого кластера и доступа для клиентов
edo1
Ну да, это теоретический минимум
Sergey
Но диски сильно просядут
Anonymous
ак вы что хотите? Я не понимаю..
Sergey
Плюс если есть у дисков наработка годика три сильно выпростает шанс получить каскадное вылетание дисков
edo1
Кстати, кто какие диски использует?
Sergey
Это уже проверенный кейс