Subbotin
нужно если ты хочешь вменяемой производительности. а так например вовсе не обязательно чтобы приложение использовало оперативной памяти не больше чем есть физически в сервере. ведь есть своп.
Anonymous
как своп тебе поможет в раздаче файлов? :)
Subbotin
это уже было лирическое отступление и сравнение
Anonymous
но наверное это не в go.go надо обсуждать :)
Subbotin
да - система может работать если метаинформация о файлах не влезает в дисковый кэш. но будет тупить.
да - система может работать если приложение с бизнес-логикой не влезает в оперативку и вываливается на своп. но будет адски тупить.
Anonymous
да я думал просто узнать секреты раздачи фоточек из мелких храналищ :)
Anonymous
а тут все какие-то общие фразы
Anonymous
" будет тупить"
Subbotin
что такое мелкие хранилища?
Subbotin
сформулируйте вопрос внятно
Subbotin
вам на него внятно ответят
Anonymous
ну 10 терабайт изначально
Anonymous
Subbotin
Anonymous
1 файл минимум 1 байт, т.е. 1000 млрд файлов итого
Subbotin
Anonymous
и решения эти будет зависеть от необходимых результатов
Anonymous
ну ок, пусть будет (раз фоточки) - минимум 1000 байт :)
Subbotin
и проблемы с математикой
Anonymous
Subbotin
потому как 10 терабайт превратились в 1 триллион при размере файла в 1 байт?
Subbotin
10 триллионов тогда
Anonymous
ну не знаю, воспользуйся калькулятором :) всегда считал что 10 в 12 степени = тысяче миллиардов :)
Subbotin
а 10 терабайт это 10 в 13
Subbotin
но с таким подходом файлы надо идентифицировать по смещению только. потому что места для хранения имени не остаётся
Anonymous
возьмите 1000 байт :)
Anonymous
1 или 10 действительно малореально
Subbotin
возьмите 1000 байт :)
ну ок. 10 миллиардов файлов если без метаинформации типа имении файла. при таком размере (меньше блока файловой системы) и таких крошечных размерах работать с этим именно как с файлами скорее всего нет необходимости. такое стоит сложить в специализированное kv хранилище типа касандры
Anonymous
:)
Anonymous
это же фоточки
Subbotin
фоточка размером в килобайт
Subbotin
мухи в натуральную величину?
Anonymous
ну да, опять неудачно :) это скорее просто "изображения"
Anonymous
можно считать что файлов будет 1-2-3 млрд
Anonymous
не уверен что тут нужна каким-то боком кассандра :)
Subbotin
это всё равно нет тянет на фоточку. средняя фоточка в 2018 году это не меньше сотни килобайт
Anonymous
:) не важно. если будет меньше 1 млрд файлов - неинтересный кейс получается.
Subbotin
а если больше то надо хранилище брать уже не 10 терабайт
Anonymous
ну пусть не десять, 100. какая разница то. в общем ваш ответ - сложить в кассандру? :)
Subbotin
Anonymous
это и есть реальный вопрос
Anonymous
миллиард фоточек хранить
Eugenii
у нас в конторе под файло используется moosefs/lizardfs с метаинформацией в монге, лижат не мерянные залежи
но деталей к сожалению не знаю, не моя епархия
Anonymous
как конкретно то?
Subbotin
это и есть реальный вопрос
так. вам надо сохранить миллиард фоточек типичного среднего размера от сотен килобайт до нескольких мегабайт? вам их надо просто хранить или работать с ними?
Anonymous
:) это и есть кейс
Anonymous
Daniel
Subbotin
ну вот сергею непонятно пока что надо
Anonymous
читайте выше, изначально 10 терабайт фотохарнилище (если я правильно помню, лень мотать). но т.к. это мало, я предложил 1 млрд фоток заложить.
Daniel
сергей, у меня есть два доклада про ваш кейс
Anonymous
да он не мой :)
Daniel
они старые, но, похоже, все еще актуальные
Anonymous
Anonymous
Anonymous
Anonymous
выше почитайте
Anonymous
просто 10 терабайт это неинтересно
Anonymous
Anonymous
если его проект успешен они быстро наполнятся :)
Daniel
архив не?
/dev/null - самый лучший архиватор, если не предполагается разархивирование
Sasha
Anonymous
самое интересное что такой вопрос обязательно раз в несколько лет встретишь где-то :) ("сделать свой файлохостинг")
Daniel
Sasha
А на счет резарвирования. Чесно думаю 6го рейда хватит. Делать еще доп бекап это еще 100Тб куда-то класть/реплицировать/актуализировать. Ну возможно со временем, но по началу нумаю вполне хватит рейда
Anonymous
Sasha
Anonymous
пока что тебе только это и предлагают :)
Daniel