Sergey
не
Sergey
3 - это тупо потыкать
Sergey
мне надо 10
Sergey
по 4 ссд винта в каждом
Anonymous
@kvaps можете что то по отказоустойчивости прокоментировать, как оно реагирует когда падает нода
Sergey
там цена вопроса 300 баксов в месяц
Anonymous
Sergei
в софтрейды?
а это хорошо или плохо? :)
Sergey
не просто 4 винта
Anonymous
а это хорошо или плохо? :)
в этом случае хорошо
Sergey
на ноду - а там ставь как хочешь
Logan
а это хорошо или плохо? :)
разве софтрейд – это плохо?
Sergei
Anonymous
почему?
на сайте ини сами рекомендуют так делать, эот же не блочная репликация
Anonymous
я не говорил что плохо или хорошо, интересуюсь просто)
𝚔𝚟𝚊𝚙𝚜
Sergey
не за 300 баксов в месяц ты хардварный рейд не получишь
Sergey
разве что фейк рейд
Sergey
в таком случаи лучше софтварный
𝚔𝚟𝚊𝚙𝚜
Sergey
ты хош сказать, что оно лучше ceph работает?
Sergey
)
𝚔𝚟𝚊𝚙𝚜
@kvaps можете что то по отказоустойчивости прокоментировать, как оно реагирует когда падает нода
когда нода падает все запросы переезжает на ноду которая состоит в паре с упавшей нодой
Sergey
то был легкий сарказм)
Sergey
просто я могу сказать что с ceph было немало приколов
Sergey
но кейс был сугубо блочная хранилка но данных дохуилярд
𝚔𝚟𝚊𝚙𝚜
на самом деле ceph я тоже использую, но немного для другого
Anonymous
когда нода падает все запросы переезжает на ноду которая состоит в паре с упавшей нодой
а образы успевают синкатся между нодами, они же там не маленькие?
𝚔𝚟𝚊𝚙𝚜
всегда
Sergey
кстати файл бъется на блоки и уже синкаются блоки?
Sergey
а запись синхронная?
𝚔𝚟𝚊𝚙𝚜
почти как drbd только на уровне fs
Anonymous
Sergey
при отвале мдс - фриза не наблюдается?
Sergey
пока переед на новый?
𝚔𝚟𝚊𝚙𝚜
фриз есть - но небольшой
𝚔𝚟𝚊𝚙𝚜
а запись синхронная?
честно не знаю, но думаю что асинхронная
Anonymous
при отвале мдс - фриза не наблюдается?
там же их можно пачками на каждой ноде подымать для отказоустойчивости
Sergey
ну если асинхронная и при тупом реплика факторе 2 - у тебя при отвале мдс - будет непонятно какая копия актуальная
Anonymous
честно не знаю, но думаю что асинхронная
завист от алгоритма репликации, оно ждет пока на обе ноды запишется, в вашем случае
Sergey
вопрос в ругом
Sergey
как там работают мдс
Sergey
размазывают ли они неймспейс между собой
Sergey
если каждый отвечает за свой кусок - то при отвале мдс - будет фриз, пока другой не подхватит этот кусок неймспейса
Sergey
ну вот именно и интересно на сколько длинен фриз
Sergey
если есть рдма - то насколько это нивилирует задержки
Sergey
вообще тема интересная
Anonymous
а злые дядьки ругать не будут что в комерческих целях используете?)
𝚔𝚟𝚊𝚙𝚜
ну вот именно и интересно на сколько длинен фриз
как долго будут висеть текущие операции от клиента больше зависит, переключение почти моментальное, все новые операции идут на новую железку уже
Sergey
а что с теми по которым не пришло фидбэка что все записалось?
Anonymous
кстати а какие образы qcow2, raw?
𝚔𝚟𝚊𝚙𝚜
raw
𝚔𝚟𝚊𝚙𝚜
qcow2 - ваще тихий ужас)
Anonymous
raw
а снапшоты как тогда?
𝚔𝚟𝚊𝚙𝚜
хех
𝚔𝚟𝚊𝚙𝚜
пока никак :)
Anonymous
qcow2 - ваще тихий ужас)
подробнее тут
𝚔𝚟𝚊𝚙𝚜
ну я бы вам привел цифры, но как уже сказал не могу. можете погуглить, даже на чистых ssd производительность у qcow2 почти никакая
𝚔𝚟𝚊𝚙𝚜
чуть лучше себя ведет qed или preallocated qcow2 но все равно производительность ниже плинтуса
Anonymous
Sergey
юков с прелокейт метадата на 30% была ниже производительность на 60 рейде из 10к сас дисков
Sergey
от рав дисков
Sergey
везде было виртио блк
Anonymous
чуть лучше себя ведет qed или preallocated qcow2 но все равно производительность ниже плинтуса
qed же в новом qcow2 есть ну они там странно сделали, на новых версиях гипервизоров больше фичь на qcow2 примерно как zfs on linux
𝚔𝚟𝚊𝚙𝚜
virtio решает проблему обработки системных вызовов, но не решает проблему файлового формата
Sergey
а какой версии кему был?
𝚔𝚟𝚊𝚙𝚜
хотя я бы не рискнул его в проде использовать
Anonymous
а на seepdog вы смотрели?
Anonymous
спашотики + raw и кластер с отказоустойчивостью
Sergey
кто-то недавно мне говорил про петерянные 60теров на гавкающей овце