Если у тебя всё место занимает БД например, где все данные - горячие, эта метрика довольно важна
БД - базы данных , куда постоянно снуют кучу пользователей ?
Georg🎞️🎥
Fedor
Да
Fedor
Я очень грубо описал
Fedor
Но суть примерно такая
Georg🎞️🎥
Это то что надо 👌
Georg🎞️🎥
Но как увязать это в хранилку теперь ))) 🤦♂️🤦♂️😱😱
Fedor
Спрогнозировать нагрузку по иопсам и отталкиваться от этого
Fedor
Иначе будет много места, но оно будет медленным при случайном доступе, который обычно наблюдается при множестве потребителей
Georg🎞️🎥
Спрогнозировать нагрузку по иопсам и отталкиваться от этого
Ну я могу лишь подрубить клиента и смотреть - комфортно ли идут рабочие процессы или нет 🤷🏻♂️
Fedor
Если это бекапы - то пофиг в целом, пользователь часто один и пишет последовательно
Georg🎞️🎥
Если это бекапы - то пофиг в целом, пользователь часто один и пишет последовательно
У нас чтение больше ))) бывает случайных доступ да 🤷🏻♂️
Но переехать на ssd пока не по карману
Fedor
Так что такие большие диски хороши разве что для бекапов и редко используемых данных
Georg🎞️🎥
Так что такие большие диски хороши разве что для бекапов и редко используемых данных
Я решил что 8tb оптимально под видео 🤔больше - уже стремно
Fedor
Например, если 1 пользователь - ты смело можешь выжать 250 иопс с диска последовательного чтения
Fedor
Если два - то раза в 2-3 меньше, так как бошки будут скакать по дорожкам
Fedor
И так далее
Fedor
Если видеомонтаж - то это случайный доступ со всеми вытекающими, так как исходники обычно больше кешей
Fedor
А если хранение с камер - то может ещё и ничего
Fedor
Следующий уровень, вызывающий задержки - это зфс, которая вроде как пишет не совсем последовательно
Fedor
Так что тут только испытания покажут на реальных продолжительных нагрузках
Georg🎞️🎥
Если видеомонтаж - то это случайный доступ со всеми вытекающими, так как исходники обычно больше кешей
Так и есть, но обычно как: исходники одной серии записаны рядом обычно 🤔но не всегда 🤷🏻♂️
Arc не напачкался точно, разве что arc2 вкачать сильно
Maksim
Собрать - нет, провести ребилд- да
пытаюсь понять. если во время ребилда произойдёт ошибка чтения в одном бите, то zfs не исправит её разве просто на лету за счёт чексум?
Fedor
Так и есть, но обычно как: исходники одной серии записаны рядом обычно 🤔но не всегда 🤷🏻♂️
Arc не напачкался точно, разве что arc2 вкачать сильно
Сначала рамы под завязку, иначе будет медленнее, чем было
Fedor
пытаюсь понять. если во время ребилда произойдёт ошибка чтения в одном бите, то zfs не исправит её разве просто на лету за счёт чексум?
Я говорил про рейд5, а не про райдз:) там могло что-то поменяться.
Fedor
И зфс определяет проблему, но исправляет только имея копию данных
Georg🎞️🎥
Сначала рамы под завязку, иначе будет медленнее, чем было
Ну вот 500 планирую , сейчас 200, неохота лезть посередине продакшена в сервер )) на зип сервере уже 400
Fedor
Ну вот 500 планирую , сейчас 200, неохота лезть посередине продакшена в сервер )) на зип сервере уже 400
Вот как до конца добьёшь, можно будет подумать об л2арк
Georg🎞️🎥
Вот как до конца добьёшь, можно будет подумать об л2арк
Ну туда максимум 700 влезет )) типа прям до 700 добить ? 32gb плашки дорогие )) даже на вторичке ))
Fedor
И посмотри верхние ограничения у зфс по памяти. Я не помню, чтобы они были, но мало ли
Fedor
Georg🎞️🎥
Вот как до конца добьёшь, можно будет подумать об л2арк
А почему нельзя огромный arc2, туда же сливается все из arc ? 🤔
Georg🎞️🎥
И посмотри верхние ограничения у зфс по памяти. Я не помню, чтобы они были, но мало ли
И я так понимаю , спешил для жирных файлов не особо нужен 🤷🏻♂️
Fedor
А почему нельзя огромный arc2, туда же сливается все из arc ? 🤔
Как минимум, потому, что индекс по л2арк лежит в рам
Fedor
И я так понимаю , спешил для жирных файлов не особо нужен 🤷🏻♂️
Я пользуюсь старинной 0.6, так что по спешлам не подскажу
Georg🎞️🎥
Как минимум, потому, что индекс по л2арк лежит в рам
Что это значит ? )) не хватает понимания ))
Maksim
И зфс определяет проблему, но исправляет только имея копию данных
а, ну да. там же чексумма а не код с коррекцией
Fedor
Что это значит ? )) не хватает понимания ))
Чтобы обслуживать наличие самого л2арк надо выделять под это отдельную память
Georg🎞️🎥
Чтобы обслуживать наличие самого л2арк надо выделять под это отдельную память
Аааа … и соответсвенно это накладывает ограничения на размер arc2
Где то было соотношение - вспоминаю
Fedor
Точных цифр не помню, но довольно ощутимое количество уходит. Зависит от размера блока, само собой
Fedor
Из опыта на 4к надо не менее 256 рамы на л2арк в 2тб
Fedor
Рамы на сервере
Fedor
4к размер блока
Fedor
Проводил испытания в хардкорном стиле 😁
Fedor
Но это вполне показательно
Georg🎞️🎥
Да и то, работало через жопу)
Я через гуй фринаса сижу - там блок 1M стоит , типа файло же жирное у меня
Fedor
Файлов кешируется на стороне клиента?
Georg🎞️🎥
Файлов кешируется на стороне клиента?
Да, монтажки на локальные ssd свою лабуду пишут. На сервак только файл проекта (он там копеечный) и просмотровки лёгкие
Так что 99,9 - это просто чтение
Fedor
Тогда видимо л2арк тебе не сильно нужен
Fedor
У тебя нет постоянно читающихся одних и тех же файлов
Fedor
Промеряй то что у тебя сейчас
Fedor
Поставь на мониторинг
Georg🎞️🎥
У тебя нет постоянно читающихся одних и тех же файлов
Как раз наоборот:
Например в серию могут вносить правки и постоянно одни и теже файлы гонять
Пока серия в монтаже - тоже к одном и тем же файлам можно пару недель обращаться
Кэш у клиента - это другое немного
Georg🎞️🎥
У тебя нет постоянно читающихся одних и тех же файлов
Можно за день несколько рендеров 1 и той же серии сделать 🤷🏻♂️
Fedor
Если общий размер в среднем данных к которым обращаются больше твоего арка, тогда можно думать об л2
Fedor
Те, к кому обращений больше, будут дольше задерживаться в арках
Georg🎞️🎥
Если общий размер в среднем данных к которым обращаются больше твоего арка, тогда можно думать об л2
Сильно больше , когда переключаешься на исходники (((
Fedor
Сильно больше , когда переключаешься на исходники (((
Если два разных сервиса - исходники и неисходники, попробуй их разделить
Fedor
Чтобы не мешали друг другу
Georg🎞️🎥
Если два разных сервиса - исходники и неисходники, попробуй их разделить
Ну вот сейчас период - только исходники ))) жирные ))🤷🏻♂️
Верстаем уже на эфир
Fedor
Кеш у зфс в целом оставит часто используемые данные даже при скачивании исходников, но хватит ли этого
Georg🎞️🎥
Если общий размер в среднем данных к которым обращаются больше твоего арка, тогда можно думать об л2
Подрубал arc2 на 1,6 тера
Потом убирал и его сейчас нет
Честно говоря , разницы какой то не ощущаем (((
Ivan
И надёжнее чем ссд насколько я могу судить
ну хз, у меня все сасы сдохли, а часть сата хдд до 10 лет дожила. правда внушительная часть дисков дольше 7 лет не протянула. а сасы по 5 лет. пром nvme кажется весьма привлекательными, особенно при преимущественно нагрузке чтением.
Georg🎞️🎥
ну хз, у меня все сасы сдохли, а часть сата хдд до 10 лет дожила. правда внушительная часть дисков дольше 7 лет не протянула. а сасы по 5 лет. пром nvme кажется весьма привлекательными, особенно при преимущественно нагрузке чтением.
Ivan
Ivan
или это переходник на u2 ?
Vladislav
Georg🎞️🎥
Сейчас доже 8tb u2 за 50к можно раздобыть 🥰
Georg🎞️🎥
