Сейчас не кину - но что-то типа использования арк для меты или данных
Спс
Алексей
Alexey
И какого размера средний файл
у нас разного размера файлы, есть разные системы которые имеют дело с этой системой хранения. В одной системе файлы от 5 кб до 100 Мб, в другой в среднем от 30 МБ до 2 гигов
Fedor
Что могу сказать - надо что-то такое, что может использовать все диски
Алексей
а как у вас организована система хранения ? я просто с такими объемами никогда дел не имел
Я тоже))) вот теперь сижу и читаю
Fedor
А не только по порядку
Fedor
60тб это немного
Алексей
Есть файлы))
Алексей
Теперь надо систему сделать, чтобы масштабировать дальше
Alexey
60тб это немного
Смотря какие 60 ТБ, нам вот нужно чтобы было 2 сервера, и чтобы на каждом сервере эти 60 ТБ были в составе Raid. То есть предположим Raid10 на 60ТБ на одном сервере, и столько же на другом.
Alexey
То есть итого 240 ТБ чистых
Алексей
Сырых
Алексей
Чистых 120
Alexey
Алексей
😊
Алексей
А что прямо обязательно два?
Алексей
Почему не три?
Alexey
На три денег не дадут
Алексей
Да так может дешевле выйдет, не думал?
Alexey
а два, чтобы если в один ДЦ попадет метеорит, чтобы данные были и в другом, (это слова нашего тех дира)
Алексей
Т. Е. Это зеркала?
George
ну кстати год назад видел сравнение, что у zfs на метаданные меньше накладных расходов по объёму, чем у того же ext4
Алексей
Тогда чистых данных всего 60
Alexey
Да
Alexey
но требования
Алексей
А что за файло
Alexey
2 сервера
Alexey
по 60 ТБ в рейд
Алексей
Крупные, мелкие?
Alexey
Крупные, мелкие?
у нас разного размера файлы, есть разные системы которые имеют дело с этой системой хранения. В одной системе файлы от 5 кб до 100 Мб, в другой в среднем от 30 МБ до 2 гигов
Алексей
Че это видео хостинг или что?
George
да там снепшоты нафиг не нужны будут, главное файлы не потерять, сейчас у нас около 400 тысяч файлов в этом хранилище. на примерно 350 ГБ, попросили изучить вопрос в таком роде как "У нас сейчас есть пару ТБ как хранилка, там сейчас уже занято столько то, подразумевается что в ближайшие 1-2 года будет очень сильный рост и за 1-2 года размер файлов вырастет до 30 ТБ" То есть примерно если говорить по активности сейчас это 70% чтение файлов, и 30% запись файлов, где то через месяц после того как запись файла произошла, ее чтение в течении месяца сводится практически к нулю, то есть файлы из горячих потихоньку переходят в холодные. Ну и к тому же мы не можем использовать S3 хранилища.
надёжность и скорость это обычно не совместимые вещи. zfs про надёжность, которая стоит вам скорости, естественно
Алексей
Alexey
А что по доступу? Сильно множественный?
Хороший вопрос, сейчас у нас Nginx показывает 300тыс обращений в сутки, а руководство говорит что рост подразумевается до 100 раз
Алексей
не могу комментировать, но по размеру файлов написал 👆
Ну тогда хотя бы скажи насколько рандомный доступ, грубо говоря если файл запрошен, он будет целиком выдан в любом случае или частично?
Alexey
Алексей
Значит доступ последовательный часто
Fedor
Может проще распределённое хранилище
Fedor
Шардинг все дела
Fedor
Мелкие хранилища резервировать проще чем большие
Fedor
Три для консенсуса 😁😁😁
Алексей
😊
Alexey
Я искал книгу по системам хранения, где этому учат не знаю, но все что я смог найти это вот эта книгу, которая как по мне безполезная
Alexey
Fedor
Это кажется не про то
Алексей
Чет да
Alexey
да я понял
Alexey
мне кажется нет таких книг прост
Fedor
Архитектор есть у вас?
Алексей
А что у вас сейчас вообще?
Fedor
Нормальный
Fedor
Если прям хайлоад то вы не сможете
Алексей
Архитектор видать начальство))))
Fedor
С двумя серверами и медленными дисками
Алексей
А рабам отдуваться
Fedor
Ага)
Алексей
И денег не дадим
Alexey
А что у вас сейчас вообще?
Конкретно сейчас Raid1 на 2ТБ, так как ни о каких объемах речи 2 года назад не шло от слова совсем, и даже эти 2ТБ выбили нехотя, мол зачем нам столько
Алексей
Кхм
Fedor
Архитектура для маленького приложения и маленьких нагрузок не годится при больших нагрузках
Alexey
Архитектура для маленького приложения и маленьких нагрузок не годится при больших нагрузках
мы стартап, который смог
Алексей
А 60 вам ща куда если всего два тера?
Alexey
А 60 вам ща куда если всего два тера?
ситуация такая, бизнес предупредил тех дира, тех дир меня
Fedor
)))))))))
Fedor
Весело у вас)
Alexey
не то слово
Алексей
Ага
Алексей
А сколько у вас сейчас дисков?
Алексей
Два по два?
Алексей
И типа тянет?
Fedor
И сколько медиана по файлам
Fedor
По размеру
Fedor
Умножь на рпс