smartarray - жизнь-боль.
adaptec - туда же, чтоб его
LSI Megaraid свят-свят-свят
нехочунебуду.жпг)
J
kiosaku
3ware ещё хорош был в девичестве
Konstantin
smartarray - жизнь-боль.
adaptec - туда же, чтоб его
LSI Megaraid свят-свят-свят
Нету lsi( сам плююсь на адаптек
Евгений
ему сунули три ссд по три тера каждая, он стал виснуть вглухую раз в неделю
Konstantin
40к желёзка, а кэш на ssd не умеет, позор
kiosaku
вобщем, есть положительный опыт подъёма на боевом кластере proxmox+ceph нового пула ceph для отдельного класса дисков с последующей миграцией машин
kiosaku
пока что hammer был
kiosaku
ну и без ручной правки crushmap
kiosaku
с отваливанием серверов и т.п.
kiosaku
насчёт "душка" - не согласен. hammer - stable
Sergei
насчёт "душка" - не согласен. hammer - stable
я насчет стабильности "stable" имею другое мнение. немного непопулярное во многих кругах. :)
Konstantin
Михаил
А вот здесь я троллил
Вверху есть прикрепленное правило и я раз 15 напоминал, что флудить надо в @cloud_flood
так что на этой прекрасной ноте я отлучаю вас от канала.
kiosaku
обращайтесь - вместе посмотрим на пациента
Евгений
насчёт "душка" - не согласен. hammer - stable
тут у нас один энтузиаст, то есть я, обновил на половине нод с дисками ведро, а на другой половине - не обновил.
Такоооое шоу началось, мама не горюй
kiosaku
с хаммера на "поновее" ?
Sergei
а, я необразованный.
Михаил
да если свежих фич не надо можно и на хаммер
kiosaku
нужен rbd
kiosaku
ну я ж выше писал везде про proxmox :)
J
ну я ж выше писал везде про proxmox :)
Про smartarray расскажи поподробнее)
У меня его никогда не водилось.
Выходит что производительность не страдала, но из-за кэширования данные писались на диск с задержкой. Причем это прозрачно для ядра, то есть, оно понимало что данные в кэше, а не на диске. Так чтоль?
kiosaku
ну, там ситуация сложная с этим smartarray
kiosaku
оно, по-умолчанию, кеширует и запись на jbod
kiosaku
ну и it-mode не умеет обычно
kiosaku
толку от кеширования записи на ssd обычно ноль
kiosaku
ибо оно быстрое
kiosaku
плюс ещё и драйвер местами криво системе рапортует
J
Ну я пытаюсь понять вот чо.
Операция записи считалась в контроллере законченной и контроллер возвращал подтверждение только после того как сольет из кэша на диск?
kiosaku
вот тут увы ничего сказать определённого не могу - не реверсил прошивку - надо читать всемирный разум
kiosaku
но то, что проксу явно это не нравилось - факт
kiosaku
оставим до утра/дня - посмотрим, как себя за ночь покажет
J
но то, что проксу явно это не нравилось - факт
А, то есть, не только метрики пиздой шли, но и на самом деле страдала производительность?
kiosaku
там есть тонкий момент - при включённом и большом wb кеше
kiosaku
оно, тбм, набивает его до упора
kiosaku
(не записывая на диски при этом)
kiosaku
а потом начинает его весь объём сбрасывать по дискам
kiosaku
забивая, тбм, на всю остальную работу
kiosaku
что за, тбм, это придумал - уже, видимо, никто не узнает
Sergei
а что есть тбм?
J
@nodekra
Вот видишь какая хуета бывает.
Sergei
это же эвфемизм
Sergei
но не могу расшифровать
Sergei
толстобрюхий мудила?
kiosaku
тут-был-мат
Sergei
а, ок.
kiosaku
ну или три буквы по желанию
kiosaku
вобщем, хьюлеты, как всегда - в ударе
kiosaku
причём это только эмпирически вычисляется, т.к. никакой возможности от контроллера узнать, что там у него в кешах творится - нет
kiosaku
всё, на сегодня хватит :)
J
имхо вопрос к контроллеру больше
Ну а я тебе о чем.
Рейд контроллеры энтерпрайзные это такая же зловредная хуета как офисный принтер. Никогда не знаешь как и когда он тебя за зад укусит.
Konstantin
Mark ☢️
А расскажите за обжект стриппинг
Mark ☢️
Есть ли в нем смысл для рбд ?
Mark ☢️
А то в рбд и так можно указать размер обьекта который 4 мб по дефолту
J
Есть ли в нем смысл для рбд ?
Ну, собственно, о нем и речь.
http://docs.ceph.com/docs/jewel/man/8/rbd/#striping
По-умолчанию в объект пишется пока он не заполнится, а если со stripe unit и stripe count поиграться, получишь размазывание нагрузки на strip_count дисков.
Но я только игрался, у меня все образы v1, так уж сложилось.
Mark ☢️
Дак тогда фрагментация жы
Mark ☢️
И обьектов много
Mark ☢️
На магнитных дисках это пипец как важно
Mark ☢️
Же
J
И обьектов много
Это нет теоретически)
Что так ты писал бы, допустим для трех образов три объекта что так.
edit:
Вот это, скорее всего, мое заблуждение, но пока оставлю. Опозорился ж уже)
Но в случае со страйом данные разных образов намешаны в объектах.
Mark ☢️
Жость
J
А фрагментации тоже нет как таковой потому что в объектах нету дыр и в них страйпы разных образов один за другим пишутся.
Mark ☢️
Разных рбд образов в одном обьекте ?!
Mark ☢️
Ужоснах
J
И ты прав, типа объектов больше.
J
Забавно, конечно.
Вот так пользуешься всей этой крутотой, а узнаешь в деталях как оно устроено постепенно)
J
Ну да, про смешивание страйпов разных образов в одном объекте нигде нет.
Ну а про количество объектов - все равно то ж самое будет.
Допустим, пишется 480 мегабайт в кластер состоящий из 36 дисков с тройной репликацией внутри пула. Без страйпов было бы 120 объектов и писалось бы в каждый объект пока он не заполнится. То есть, в каждый момент времени нагружен только первичный OSD и его пиры.
А со страйпом когда stripe_count=12 получаются те же самые 120 объектов, но при записи и чтении обращение идет уже к 12 первичным OSD. Так то для механики подобное не очень хорошо, но нагрузка то делится)
Mark ☢️
Хрень ты посчитал
Mark ☢️
Допустим у тебя образ 8 мегабайт