George
На первом доступе с диска запрос меты может быть быстрее
Georg🎞️🎥
Уже не первый раз спрашиваете) даже отвечал раньше. Протестить проще всего вам будет)
Простите мою невнимательность 👋👋🤦‍♂️… не могу вспомнить , что в итоге … возьму пару ssd тогда для теста … согласен ..👋 Скажете, а по командам по arc2, ссылки на которые вы дали, требуется ли ребут систем ?👋👋👋 Какой то разницы не увидел в принуждение к заполнению arc2 ))
George
но primarycache=all должен быть
George
иначе в arc данные не остаются = неоткуда в l2arc данные перекладывать
Georg🎞️🎥
только учтите что именно special vdev просто так нельзя вывести из пула после добавления
У меня тестовый сервер пока , я на нем 13 трунас гоняю, перед переходом основного с 11 на 13👋👋спасибо
Georg🎞️🎥
но primarycache=all должен быть
Он вроде по дефолту так 🤔я эту NasТройку не трогал ))
Georg🎞️🎥
если вы про noprefetch, то не нужен ребут
Дада про него Включил … Прогнал несколько терабайт рендера видео - пока не увидел разницы 🤔 видать префетч сам хорошо тащит
Georg🎞️🎥
трансы, zfs ммммм, не оптимальный выбор если на запись
На чтение 👋на запись просто в него несколько тер сливаем 🤔
Georg🎞️🎥
ну если повторного доступа до тех же блоков данных нет, то разницы не будет
А я отрендерил три раза один и тож же блок данных на полтора тера )))
Олег
На чтение 👋на запись просто в него несколько тер сливаем 🤔
что чтение что запись.... Для видео смысла в ZFS нет, там нечего сжимать и важна скорость
George
А я отрендерил три раза один и тож же блок данных на полтора тера )))
за полтора тера данные могли вымыться просто из кеша, да
George
всё же 1.5 тера
Georg🎞️🎥
что чтение что запись.... Для видео смысла в ZFS нет, там нечего сжимать и важна скорость
Это вы как установили ? Можете предложить альтернативу ? А мне сжимать не надо и часто читаем одни и те же данные - то бишь кэш , не вижу минусов 🤷🏻‍♂️
Georg🎞️🎥
всё же 1.5 тера
Arc 386gb, arc2 - 1,6 tb🤔🤷🏻‍♂️
George
что чтение что запись.... Для видео смысла в ZFS нет, там нечего сжимать и важна скорость
в zfs не только сжатие есть) и часто для видео NAS как раз таки и юзают
George
а там массивчик собрать, да данные не потерять
Georg🎞️🎥
в zfs не только сжатие есть) и часто для видео NAS как раз таки и юзают
Много кто из коллег в видео производстве zfs используют да, не с потолка же я его взял :))))
Олег
Ну видать кешь дешов для них или задачи читать одно и тоже))) У меня пишется 50 мбит и вещается 400, на zfs просто загнется на том на чем сейчас работает, пробовал уже
George
Жирный нас на пром свичах и оптике )))
ага, именно. бОльшая часть данных обычно лежит потом, ждёт своего часа
Олег
ага, именно. бОльшая часть данных обычно лежит потом, ждёт своего часа
у меня таких данных уже 150TB, но та такая помойка на ZFS с микрокешем
George
Ну видать кешь дешов для них или задачи читать одно и тоже))) У меня пишется 50 мбит и вещается 400, на zfs просто загнется на том на чем сейчас работает, пробовал уже
тут надо смотреть как вещаете. На CDN для вещания обычно есть кеши жирные на горячие вещи, да. Но на ZFS 100 иопсов с блина получить да можно
Georg🎞️🎥
на HDD? без ssd кешей?
Да, отключил ssd cash на продакшена - ничего не даёт. Когда пачку дисков пишу - штук пять - он весь канал забивает и стабильно держит сковорость👋
George
на hdd zfs как раз на запись кстати может делать mdadm+что-то, рандомная запись примерно в случайную аггрегируется
Georg🎞️🎥
на HDD? без ssd кешей?
Я могу поделится конфигом и прочем, если у вас Схожие задачи 👋
George
Не могли бы это по другому сказать ))) не понял вас )))
в zfs асинхронная запись пишется одной транзакцией регулярно, любая рандомная запись в ней (в txg) может быть записана разом оптом, примерно последовательно на диск
George
по этой же причине чтение будет всегда преимущественно рандомным))
Georg🎞️🎥
с удавольствем узнал бы
У нас видео производство. Поэтому жирные видео файлы , потоковое чтение, 10gb канал👋 Мне хватает sas2 hba шек На 16 портовом hba висят 50 Блинов sas в пяти ведевах 1M размер сектора Никаких сжатий - все отключено нафиг. Aptime и синхронная запись тоже выключены. Расширено по 10 х2 Intel 520. Свич промышленный dell, это важно - хорошо прокапчивает наши объемы.🤷🏻‍♂️ssd кэш пока то не быстрее пула )) не вижу профита в потоковом чтении у нас )) памяти помогает похоже )) стоит 200, на запасном сервере 400 - позже введу в эсксплуатауию Старых sas2 hba хватает как уже сказал )) Подробные вопросы можете в личку кидать👋я не глубоко погружён - но для своих потребностей вроде получилось собрать )) Да, шаримся по smb, Mac OS у нас
Олег
У нас видео производство. Поэтому жирные видео файлы , потоковое чтение, 10gb канал👋 Мне хватает sas2 hba шек На 16 портовом hba висят 50 Блинов sas в пяти ведевах 1M размер сектора Никаких сжатий - все отключено нафиг. Aptime и синхронная запись тоже выключены. Расширено по 10 х2 Intel 520. Свич промышленный dell, это важно - хорошо прокапчивает наши объемы.🤷🏻‍♂️ssd кэш пока то не быстрее пула )) не вижу профита в потоковом чтении у нас )) памяти помогает похоже )) стоит 200, на запасном сервере 400 - позже введу в эсксплуатауию Старых sas2 hba хватает как уже сказал )) Подробные вопросы можете в личку кидать👋я не глубоко погружён - но для своих потребностей вроде получилось собрать )) Да, шаримся по smb, Mac OS у нас
200-400gb озу на хранилку конечно сильно. Спвсибо за ответы, нужно сильно потестировать многое из вашего, один smb чего стоит. Свитч нексус у нас, диски сата обычные. Вектор тестов понял - Спасибо огромное
Georg🎞️🎥
200-400gb озу на хранилку конечно сильно. Спвсибо за ответы, нужно сильно потестировать многое из вашего, один smb чего стоит. Свитч нексус у нас, диски сата обычные. Вектор тестов понял - Спасибо огромное
У меня сас☝🏻он больше команд умеет Ну да озу много - видео ж, я б 700 воткнул , как осилю 24 плашки по 32))) Ну смб клёво и просто )))🤷🏻‍♂️
Georg🎞️🎥
смб2 да круто, не отваливается?
Ни разу , ещё с 20года и на 11 фринасе. Ну камни два ксенона соответсвенно
Arseniy
Возвращаясь к нашим баранам (прошу не пинать), верно ли я усвоил следующую информацию? 1. recordsize - настраиваемый размер блока. Если у нас записываемый файл 16к, recordsize 4к, то ZFS "нарежет" файл на 4 блока по 4к, и передаст ОС Хоста запрос на 4 операции записи. 2. Если у нас recordsize 16к (при тех же исходных данных), ZFS "нарежет" файл на 1 блок, передаст ОС запрос на 1 операцию записи. 3. Если у нас recordsize 32k (больше самого файла), нарезка также на один блок и на одну операцию записи, просто файл в итоге займёт больше места из-за размера блока. А вся прелесть, собственно, только в том, что каждый блок имеет метаданные, и чем меньше блоков использовано при записи файла, тем быстрее пройдёт процесс, "легче" снапшоты и меньший объём занимают контрольные суммы. Или что-то не так снова?)
George
Возвращаясь к нашим баранам (прошу не пинать), верно ли я усвоил следующую информацию? 1. recordsize - настраиваемый размер блока. Если у нас записываемый файл 16к, recordsize 4к, то ZFS "нарежет" файл на 4 блока по 4к, и передаст ОС Хоста запрос на 4 операции записи. 2. Если у нас recordsize 16к (при тех же исходных данных), ZFS "нарежет" файл на 1 блок, передаст ОС запрос на 1 операцию записи. 3. Если у нас recordsize 32k (больше самого файла), нарезка также на один блок и на одну операцию записи, просто файл в итоге займёт больше места из-за размера блока. А вся прелесть, собственно, только в том, что каждый блок имеет метаданные, и чем меньше блоков использовано при записи файла, тем быстрее пройдёт процесс, "легче" снапшоты и меньший объём занимают контрольные суммы. Или что-то не так снова?)
последний неправильно, т.к. файл меньше рекордсайза то он 16к займёт
Arseniy
Тогда что мешает по дефолту ставить как можно больший rexordsize, если места он лишнего не сожрёт, а количество операций записи уменьшится?
George
чтение 1 байта = чтение всего блока, запись 1 байта - RMW блока
George
read-modify-write
George
128к по дефолту норм по причине того, что латенси доступа к 4к и к 128к на HDD отличается всего процентов на 5
Arseniy
Что-то я не пойму тогда, если блок=128кБ, в блоке лежит файл 16кБ, блок реально "весит" 16кБ, но читается всё равно все 128, так выходит?
Arseniy
Ну, в рамках этого частного случая, так и получается...
Arseniy
я просто указал, что в данном случае, если диск имеет размер сектора 4кБ, установлен ashift=12. Не более
George
Ну, в рамках этого частного случая, так и получается...
нет, я уже несколько раз писал что если файл меньше рекордсайса то он займёт свой размер (16к в данном случае) кратно размеру сектора (4к)
Vladislav
Вы упускаете эту прослойку
Vladislav
Что-то я не пойму тогда, если блок=128кБ, в блоке лежит файл 16кБ, блок реально "весит" 16кБ, но читается всё равно все 128, так выходит?
При обращении к файлу будет прочитан весь блок с этим файлом, при записи этот блок будет ещё и весь перезаписан
Arseniy
Ок, увеличивая recordsize мы можем оптимизировать работу ФС для работы с большими файлами, но снизить производительность при работе с файлами, размер которых ниже recorsize-блока. С дисками тягомотина... Физически - 4к, есть некая "прослойка", сообщающая системе, что сектора 512б. И как он запишет физически 512б, если сектор 4к? Записанные 512б займут весь сектор?
Vladislav
Поэтому сейчас дефолт для ФС (ntfs к примеру) это 4к
Arseniy
Тогда, если простыми словами, в чём будет разница между ashift=9 и ashift=12?
Arseniy
Огромное спасибо, мозги встают на место (хочется верить)
Vladislav
А нет вру
Vladislav
Будет
Arseniy
Будет
В чем? Если с точки зрения прослойки, что в лоб, что по лбу - логические 512б, физически 4кб. Работа идёт через сектора 512б. В одном случае, будет вызвано 8 операций на запись/чтение, в другом - 1 операция (которая скрывает в прослойке те же 8 операций))
Vladislav
Контроллер на диске всегда считывает 4к сектор, поэтому если мы со стороны ashift говорим что там тоже 4к, то контроллер считывая весь сектор на 4 (и оставляя его в кэше диска) отдаст в итоге целиком весь сектор на 4к
Vladislav
Потому что эти 8 операций по 512 будут отправлены "вместе"
Vladislav
То бишь, мы перегрузим ОЗУ лишней частью из 7х512б, вместо того, чтобы забрать нужные 1х512б, так?
Это буде так только если мы будем пытаться работать с файлами меньше ashift
Vladislav
То бишь, мы перегрузим ОЗУ лишней частью из 7х512б, вместо того, чтобы забрать нужные 1х512б, так?
К примеру, создав текстовый файлик в ASCII с содержимым 0123456789. Тогда чтобы его считать мы отправим запрос на recordsize (4k), затем на zfs disk, затем 8 секторов по 512, чтобы контроллер диска считал 4к сектор. И контроллер диска считает 4к, отдаст их по 512, нам вернётся сектор 4к с zfs disk, чтобы потом вернуть recordsize, из которого нам нужно будет только 10 байт
Arseniy
P.S. ОЗУ контроллера диска, не ПК*
Ага, принял. Спасибо большое!)
Georg🎞️🎥
Как вычислить размер для спешл ? ))) и я так понимаю , он должен быть максимально быстрый ?👋👋👋
Georg🎞️🎥
ZIL?
Не, который под метаданные Зил мне ничего не даёт 🤷🏻‍♂️