Anonymous
ну и как бы чтобы хранить всего лишь 10 терабайт - достаточно обыкновенных файлов по папкам :)
Anonymous
ты видимо в единицах измерения ошибся :)
Anonymous
так минио и не предназначен чтобы тебе сделать фотохостинг
Anonymous
он нужен чтобы S3 заменить
Anonymous
ну минйо структуру аналогичную и на FS использует)
Anonymous
минйо это только реализация протокола S3
Anonymous
Ну не хранить их же в одной папке(бакете)
чем бакет не нравится с десятками-сотнями млн файлов?
Sasha
чем бакет не нравится с десятками-сотнями млн файлов?
А это ОК хранить десятки-сотни файлов в одной папке ?
Anonymous
вопрос только в самом конечном хранении, на миной точно ничего хорошего из этого не выйдет. Хотя и млн файлов тестировал, норм крутился
Sasha
Тут подсказывают что можно создавать папки в бакете)
Sasha
Ну вот это меня и волнует
Anonymous
угу, но если обращаться напрямую по ссылке к файлу, то будет все ок
Anonymous
:)
Sasha
Ну в любом случае нужно набросать прототип, а там дальше виднее будет
Anonymous
ты приходи когда будет 10 петабайт :)
Anonymous
ты приходи когда будет 10 петабайт :)
да даже с 1 ТБ, но очень мелкий файлов, можно умереть. Дело не в размере, а в количестве этих файлов
Alexander
я тут видел архитектурное решение, когда файлы в svn хранились
Anonymous
вместе с БД ))
Alexander
и обновление происходило как чекаут в другую ветку
Alexander
Alexander
сам я так делать никогда не буду конечно. но кто-то может тоже попробовать и рассказать
Anonymous
Anonymous
с бд не проще, одурешь мастабировать. За все нужно платить.
Sasha
Согласен. Так и планировал. Путь к файлу в базу, файл на диск. Все в общем обычно.
Anonymous
зависит от количества операций ввода-вывода в единицу времени
совсем нетолько. Это зависит от многих факторов.
Anonymous
Anonymous
совсем нетолько. Это зависит от многих факторов.
я про 1 терабайт. если io будет больше возможностей диска и кеша - встанет. нет - то и нет.
Артур
безработный
где научился работать с данными такого объема?
Артур
все крутыши из чата которых я спрашиваю безработные наверное тем кто на работе просто некогда отвечать =)
Anonymous
где научился работать с данными такого объема?
я не утвержал что прям "научился" :)
Sasha
безработный
Я этот статус называю - Творческий отпуск)
Anonymous
я про 1 терабайт. если io будет больше возможностей диска и кеша - встанет. нет - то и нет.
мы видимо о разных уровнях интерпритации. Я как специалист по СХД по иному мыслю )
Anonymous
нетревиальные задачи, нужно решать нетревиальными методами. тут все зависит от конечной цели.
Anonymous
мы видимо о разных уровнях интерпритации. Я как специалист по СХД по иному мыслю )
ну чувак хочет хранить 10 терабайт. щас один hdd такого объёма. нагрузка скорее всего будет мелкая. следовательно хватит обычных папок.
Anonymous
Есть некоторые "архитекторы" которые умудряются хранить в блобах oracle XML, а потом жалуются, что СХД гавно)
Anonymous
это прям из моей практики)
Anonymous
я не говорил "на одном" :)
Михаил
Чатик привет! Расскажите пожалуйста о своем опыте создания файлового хранилища. Опишу свою задачу. Необходимо организовать файло хранилище для фоточек. Файлов будет много, очень (4Tb - 10Tb +) Наслышан о проблеме хранения большого количества файлов в одной директории. Есть решения этой проблемы. https://ru.stackoverflow.com/questions/591729/Хранение-большого-количества-изображений-в-одной-директории-на-сайте Думал есть како-то опенсорс решение аля Amazon S3. Нашел Minio.io, на сайте внушительный список фич. Думал вот Minio мне все сделает с пол пинка. Попробовал его так он фигачит файлы в один бакет(папку). А что на счет вышеописанной проблемы ? Это как-то настраивается ? Может кто имел дело с ним ? Или эта проблема ложится на реализацию программиста ? Нашел коммент основного разработчика Minio что проблема хранения большого количества файлов в одном каталоге это вообще не проблема. https://github.com/minio/minio/issues/4544#issuecomment-308778712 Что это вообще за хрень ? Не проблема Оо))
Не проблема. s3 like стораджа рулят. 10тб фоточек это мало
Anonymous
один очень очень большой сервер с очень очень большим диском :)
Anonymous
в чорной чорной комнате
Артур
Anonymous
ну чувак хочет хранить 10 терабайт. щас один hdd такого объёма. нагрузка скорее всего будет мелкая. следовательно хватит обычных папок.
все зависит от количества файлов. Больше файлов - больше памяти. Если у вас ОП мало, хоть на PCI SSD гоняйте - затыки будут.
Anonymous
Чатик привет! Расскажите пожалуйста о своем опыте создания файлового хранилища. Опишу свою задачу. Необходимо организовать файло хранилище для фоточек. Файлов будет много, очень (4Tb - 10Tb +) Наслышан о проблеме хранения большого количества файлов в одной директории. Есть решения этой проблемы. https://ru.stackoverflow.com/questions/591729/Хранение-большого-количества-изображений-в-одной-директории-на-сайте Думал есть како-то опенсорс решение аля Amazon S3. Нашел Minio.io, на сайте внушительный список фич. Думал вот Minio мне все сделает с пол пинка. Попробовал его так он фигачит файлы в один бакет(папку). А что на счет вышеописанной проблемы ? Это как-то настраивается ? Может кто имел дело с ним ? Или эта проблема ложится на реализацию программиста ? Нашел коммент основного разработчика Minio что проблема хранения большого количества файлов в одном каталоге это вообще не проблема. https://github.com/minio/minio/issues/4544#issuecomment-308778712 Что это вообще за хрень ? Не проблема Оо))
ceph radosgw )
Anonymous
как количество оперативной памяти зависит от количества файлов?
Anonymous
в смысле - почему "больше файлов - больше памяти"?
Subbotin
как количество оперативной памяти зависит от количества файлов?
ну как минимум вся метаинформация о файлах должна влезать в оперативку.
Subbotin
иначе просто дно
Anonymous
+
Sasha
ceph radosgw )
ceph смотрел, кажется немного геморно, но как вариант тоже можно рассматривать
DMITRY
ceph имеет смысл только прям для реально больших хранилищ в несколько петабайт
Михаил
не так дорого будет
Sasha
на хецнере дешевле)
Sasha
150ТБ в рейде норм
Anonymous
ceph смотрел, кажется немного геморно, но как вариант тоже можно рассматривать
ну как Миша написал ниже, лучше свое не мастерить, по современным меркам 10Тб это мусор
Anonymous
150ТБ в рейде норм
оно вам надо? Бекапы делать не будете? )
Anonymous
ну как минимум вся метаинформация о файлах должна влезать в оперативку.
ну и сколько нужно оперативки чтобы хранить метаинформацию о 1000 млрд файлов? :)
Anonymous
наверное будете, + еще деньги на хранение бекапов
Anonymous
А чем Рейд плох ?
тем что это не бекап)
Anonymous
ну и сколько нужно оперативки чтобы хранить метаинформацию о 1000 млрд файлов? :)
активные файлы будут целиком хранится в памяти и это огромный плюс в производительности
Anonymous
я не про это спрашивал :)
Sasha
оно вам надо? Бекапы делать не будете? )
Бекап медленнее/проблематичнее востанавливать. А тут веник всунул и рейд все сам сделает
Anonymous
там не "файлы" влезают в память :)
Sasha
😄
Subbotin
ну например ext4 имеет inode size 256 байт
Anonymous
Миша умеет вовремя зайти в чат)
ну дак, мы то в теме большего количества файлов и оперативы :)
Anonymous
ну например ext4 имеет inode size 256 байт
это круто конечно всё, непонятно только как могут существовать файловые системы больше чем размер оперативки :)
Anonymous
т.е. все же не нужно чтобы "вся метаинформация о файлах влезала в ОП"? :)