Subbotin
лента очень, очень дорогая.
вроде она дешевая, только железо для записи дорогое. но лента есть в облаке тоже
Anonymous
решение не для нищебродов
смотря сколько запросов все таки. Само хранилище на амазоне копейки
Daniel
самый дешевый вариант в соотношении гб и стоимости
ну давайте считать. сколько у нас дневной прирост?
Sasha
Дальше когда дело пойдет сделам заркало Стора для бекапа/балансировки
Pavel
решение не для нищебродов
10 ТБ мелких файлов нищеброды не хранят
Anonymous
лента к кейсам такого рода не актуальна
Pavel
так что адекватное решение как по мне
Anonymous
ну давайте считать. сколько у нас дневной прирост?
смысл в этом дневном приросте? Не понял
Subbotin
ну давайте считать. сколько у нас дневной прирост?
и не забудь ещё про дневной трафик на отдачу. и распределение между горячими файлами и холодными
Daniel
вроде она дешевая, только железо для записи дорогое. но лента есть в облаке тоже
сама лента дешевая, конечно. дорогой магнитофон и библиотека. и скорость записи у нее невысокая, магнитофонов надо несколько на сколько-нибудь серьезный объем. я последний раз считал лет 5 назад, и винты выходили на круг дешевле
Roman
Чатик привет! Расскажите пожалуйста о своем опыте создания файлового хранилища. Опишу свою задачу. Необходимо организовать файло хранилище для фоточек. Файлов будет много, очень (4Tb - 10Tb +) Наслышан о проблеме хранения большого количества файлов в одной директории. Есть решения этой проблемы. https://ru.stackoverflow.com/questions/591729/Хранение-большого-количества-изображений-в-одной-директории-на-сайте Думал есть како-то опенсорс решение аля Amazon S3. Нашел Minio.io, на сайте внушительный список фич. Думал вот Minio мне все сделает с пол пинка. Попробовал его так он фигачит файлы в один бакет(папку). А что на счет вышеописанной проблемы ? Это как-то настраивается ? Может кто имел дело с ним ? Или эта проблема ложится на реализацию программиста ? Нашел коммент основного разработчика Minio что проблема хранения большого количества файлов в одном каталоге это вообще не проблема. https://github.com/minio/minio/issues/4544#issuecomment-308778712 Что это вообще за хрень ? Не проблема Оо))
он прав и проблемы такой нет. но я советую подумать о том что будет если одна из нод minio умрёт(куда будет запись и что будет когда она вернется в строй).
Anonymous
в общем пока 2 совета - сложить в кассандру и воспользоваться дорогим сервисом от амазона :)
Daniel
нет
Subbotin
в общем пока 2 совета - сложить в кассандру и воспользоваться дорогим сервисом от амазона :)
нет. фоточки в касандру складывать не надо. читайте внимательно
Daniel
это на круг очень дорого для больших объемов
Anonymous
нет. фоточки в касандру складывать не надо. читайте внимательно
куда надо? хотелось бы услышать рецепт адекватного фотохостинга в 2018 году :)
Subbotin
Викинуть minio и писать по мере заполнения серваков static1, static2 итд
а частота чтения у вас не зависит от давности записи файлов?
Pavel
У меня есть логичная идея, если 10Тб надо просто сохранить и не читать, то /dev/null -- самый оптимальный способ записи по соотношению цена/качество.
Anonymous
такая шутка уже была
Roman
150ТБ в рейде норм
в каком рейде и с каким количеством дисков?
Sasha
а частота чтения у вас не зависит от давности записи файлов?
Данные в основном будут холодные. Для Гарячих кеш будет
Anonymous
в каком рейде и с каким количеством дисков?
как думаешь, что там напихают за 300 баксов в месяц, ясень что не enterprice )
Sasha
в каком рейде и с каким количеством дисков?
Еще не считал. 15 дисков по 10Тб. 6й рейд
Roman
ну например ext4 имеет inode size 256 байт
а еще целый ворох проблем имеет.
Anonymous
Еще не считал. 15 дисков по 10Тб. 6й рейд
ты не забывай еще бекапы делать ). Это минимум еще один такой же сервер )
Daniel
вы видимо давно и правда смотрели. Текущие скорости LTO - 8 это ~ 1 ГБ в сек и в каждую кассету входит по 10-12ТБ
lto8 вышел год назад и поглядите на цены, на кассету и на магнитофон винт все еще дешевле на этих объемах
Михаил
да-да, openstack swift :)) или ceph ))))
Ну че ты начинаешь. Нормально же общались. 10тб и на амазоне можно хранить если не часто теребонькат то вполне нормально по баблу
Anonymous
Daniel
но, вообще, я эту тему обсосал со всех сторон еще 4 года назад :)
Sasha
райд и на enterprice нужен
Он везде нужен) для спокойствия
Anonymous
Михаил
Он везде нужен) для спокойствия
А ты программист или из одминов?
Anonymous
перейдет на другой уровень рейд :)
Михаил
Дев
@onokonem сделай с этим милым человеком что-нибудь пока он не сделал херовую архитектуру
Anonymous
нет, я про количество дисков и их объем
ааа, ты про это имел ввиду..
Roman
Еще не считал. 15 дисков по 10Тб. 6й рейд
нуну. время ребилда почти неделю и все это время все будет диииико тормозить
Subbotin
125 баксов в месяц
мы тыт уже потратили человеко-часов на стоимость больше чем месяц хранения
Sasha
что делать в случае гибели static1?
А вообще нужно заркало по хорошему
Daniel
где можно ознакомиться с результатами?
общий обзор: https://www.youtube.com/watch?v=bOqSexPzSIE конкретный опыт: https://www.youtube.com/watch?v=oMQLR-BhnJU&t=1011s
Roman
А вообще нужно заркало по хорошему
ну т.е. мы просто так храним 2 копии )
Anonymous
ну вот :) что-то конкретное
Anonymous
Саша Змтс больше не придёт в го чат за советами по организации хостингов :)
Subbotin
вы в итоге пришли к s3 like поверх касандры же?
у них была особенность - файлы очень маленькие
Roman
125 баксов в месяц
это только хранение. посчитай еще трафик(чтобы туда залить + хотя бы 10% этого объема отдать)
Михаил
ну дак, не тематический канал )))
Ну он не хочет в тематический идти. А херню делать хочет
Anonymous
Ну он не хочет в тематический идти. А херню делать хочет
люди учаться только на своих ошибках, мы просто будем наблюдать 😁
Subbotin
что есть очень маленькие?
типа пару килобайт емнип
Anonymous
С каких пор ты пишешь на golang?)
задели больную тему 😏
Roman
https://assets.ctfassets.net/oxjq45e8ilak/5czD77g8o8keMgO2WUmQsO/fadb0cea120792fb0d60dbf0109a012d/Vadim_Tsesko_Reactive_ok.ru_music_streamer.pdf
Roman
ну почитайте этот доклад и ссылки в нём
Roman
как одноглазники хранят статику для музыки
Михаил
А в чем херня ?
тебе выше вроде объяснили что статику удобнее хранить в s3 like хранилищах и желательно не у себя
Sasha
Отказатся от рейда и делать полный бекап ?
Anonymous
А в чем херня ?
в том что свое ничего делать не нужно, а пользоваться готовым амазоном, гуглом, ажуром в качестве хранилища S3