Владимир
Владимир
решил тут правильное значение указать, не даёт разрешения, не зватает прав)
Сергей
Владимир
тома
Владимир
файлсистем там уже 216
Сергей
том - это zvol. filesystem - это обычные файлы, где обычно контейнеры лежат
Владимир
rootfs: local-zfs:subvol-100-disk-0,size=1073G
Владимир
что это?
Сергей
тома
rootfs:subvol это filesystem. Размер можно через zfs set refquota установить
Владимир
rootfs:subvol это filesystem. Размер можно через zfs set refquota установить
а как в проксмоксе подправить чтобы он там верное значение показывал?
Владимир
да
Владимир
но его можно расформировать, он уже не нужен
Д
Добрый день кто нибудь использует esos +iscsi proxmox
Иван
Добрый день. Подскажите какие диски взять SATA 2.5 HDD объемом 2 Tb. Что-то не могу подобрать.
Владимир
Добрый день. Подскажите какие диски взять SATA 2.5 HDD объемом 2 Tb. Что-то не могу подобрать.
та они все ноутбучные же)), бери лучше 3,5 там хоть есть из чего выбрать).
Владимир
Я ноутбучные беру разве что для тех случаев когда мне они нужны чисто как хранилка к которой я очень редко обращаюсь
Олег
ноутбучные, но хорошие у меня под загрузку обычно в зеркале
Олег
мне страшно))
подсквжите что произойдет с zfs если отпадет 80% дисков есть желание к полке добавить полку и боюсь не потеряю ли все если одна полка на часок отпадет
Владимир
это лучше вопрос не ко мне))
Ivan
поидее это недеструктивное изменение. когда диски вернутся, всё должно продолжить работать
Ivan
Только 2.5 влезут(
тогда быстрооборотистые и чтоб не smr
Ivan
в идеале ssd 😃
Олег
тогда быстрооборотистые и чтоб не smr
все smr 5400 и большие кеши как понял
Олег
7200 hitachi и в путь
Владимир
и кеш хотя бы 64 наверное
Олег
ну или ssd, но ssd mlc это два бюджета на диски минимум
Владимир
больше на ноутбучных наверное не будет
Владимир
дааа?)
Владимир
давно я не смотрел 2,5))
Олег
дааа?)
это вообще техника smr большой кеш который компенсирует просадки
Ivan
а не лучше ли для zfs отключать кэши дисков ?
Олег
а не лучше ли для zfs отключать кэши дисков ?
так понял да лучше и еще 10к технологий, поэтому я пришел к freenas где все должно быть продумано годами за нас
Олег
но могу надеятся на то чего нет
ivdok
а не лучше ли для zfs отключать кэши дисков ?
А как ты это сделаешь? Соберёшь UART-шнурок и полезешь в контроллер диска?
ivdok
hdparm
Ему пофиг будет
Ivan
Ему пофиг будет
хз. встречал диски где по дефолту выключено. где нет - выключение давало эффект.
Fedor
зфс самому виднее, когда включать, когда отключать. у него это в исходниках прописано.
Fedor
типа "если данное устройство - не партиция, а полный диск - включить кеш"
Fedor
по крайней мере, в зфс, который от солярок пошёл.
Vladislav
типа "если данное устройство - не партиция, а полный диск - включить кеш"
это плохие настройки, ибо на дисках бывает кривая разметка и в ZFS добавляется партиция, а не сам диск
TokaToka
Друзья, а подскажите пионеру - чем больше vdev в пуле, тем выше скорость чтения/записи? Или я документацию вверх ногами читаю? Диски под данные одинаковые 45*2 тб hdd (7200, consumer graded), под кэш 2*1тб ссд и зил 256гб ссд. Собираюсь работать с большими файлами (20гб и больше) по смб (без вариантов :( ), recordsize поставил 1m. Это не проблема, просто вопрос по архитектуре, поэтому тэгов не ставил, но если что - свистните, исправлюсь :)
Vladislav
И для Самбы нужен некоторый тюнинг
TokaToka
И для Самбы нужен некоторый тюнинг
Catia и fruit включить знаю, что-то ещё нужно?
TokaToka
Заранее благодарен!
Vladislav
У меня FreeBSD, там в основном буффера и tcp
TokaToka
У меня FreeBSD, там в основном буффера и tcp
Кручу фринас, в штатных настройках как файлопомойка на 1вдев/пул на 12 банок себя оправдал более чем, очень понравился. Но вот вещи посерьёзнее, с потоковым чтением/записью и 40гб линком однозначно нуждается в правильной архитектуре и тюнинге.
George
Друзья, а подскажите пионеру - чем больше vdev в пуле, тем выше скорость чтения/записи? Или я документацию вверх ногами читаю? Диски под данные одинаковые 45*2 тб hdd (7200, consumer graded), под кэш 2*1тб ссд и зил 256гб ссд. Собираюсь работать с большими файлами (20гб и больше) по смб (без вариантов :( ), recordsize поставил 1m. Это не проблема, просто вопрос по архитектуре, поэтому тэгов не ставил, но если что - свистните, исправлюсь :)
Не совсем линейно, но очень грубо - да, если у вас много независимых потоков. Запись скейлится в целом, чтение - примерно тоже, но есть вероятность что нужны будут блоки с одного вдева. В какой-то момент, конечно же, упрётесть в несовершенство кода в виде нагрузки на цпу и в скорость озу. Arc на разной нагрузке у меня выдавал 9-13гбайт/сек чтения.
George
нет. Я сейчас поищу табличку тестирования https://wintelguy.com/raidperf.pl https://jro.io/nas/#overhead
Почему нет, вопрос же про вдевы. Твоя первая ссылка вообще врёт что +1 вдев линейно иопсов прибавляет)
George
А для arc озу лучше докинуть
TokaToka
А что под "кешем" имеется в виду? L2arc? На большом пуле имеет смысл скорее special vdev сделать
Да, l2arc. Т.е. 1 vdev на данные, 1vdev под l2arc? По-моему фринас так и предлагает, по-крайней мере zpool status видит их как отдельный вдев. Или я не так понял? С озу проблем нет, сейчас 256гб, но легко можем поднять.
Vladislav
Почему нет, вопрос же про вдевы. Твоя первая ссылка вообще врёт что +1 вдев линейно иопсов прибавляет)
Я калькулятор не писал, если считаете, что там есть ошибки - напишите разработчику.
Dmitry
А, фринас, в нём special vdevs не довезли ещё iirc
а просто в FreeBSD тоже еще нету?
George
а просто в FreeBSD тоже еще нету?
Ага, через годик до стейбла бзд довезут наверное
George
извините, что влезаю, а что такое special vdev?
https://openzfs.github.io/openzfs-docs/man/8/zpoolconcepts.8.html?highlight=special#Special_Allocation_Class
Vladislav
Ага, через годик до стейбла бзд довезут наверное
Пусть сначала в основной ветке zfs закроют треть из 1100 ишью
George
Пусть сначала в основной ветке zfs закроют треть из 1100 ишью
При чём тут это?) в openzfs 2.0 просто тащат на фрибсд код из zfsonlinux который стал openzfs. Там про special vdev 1 чтоли ишью свежая и то не воспроизводима пока нормально Так то открытая ишью != критичный баг, куча про доку, фич реквестов, не актуального, что надо давно закрыть. Велком желающие поучаствовать в раскопках :)
Vladislav
не спасибо, я только буду тестировать FreeBSD 12-STABLE с ZFS и только в этом контексте буду репортить проблемы с ZFS.
TokaToka
Примерно, ага, каждый блок на 1 вдев, т.е. При recordsize=1m каждый 1м блок будет на 1ом вдеве лежать рандомно
Спасибо, так и представлял это. Т.е., например, если я сделаю 9 vdev raidz2 по 5 дисков, это большую часть времени (за исключением ситуаций попадания нужных блоков в 1 vdev) будет быстрее, чем 1 большой vdev на 45? И насколько корректно делать raidz2 из 5 дисков? (с одной стороны у меня прояснилось, с другой запуталось, не ругайте сильно нуба))
George
Спасибо, так и представлял это. Т.е., например, если я сделаю 9 vdev raidz2 по 5 дисков, это большую часть времени (за исключением ситуаций попадания нужных блоков в 1 vdev) будет быстрее, чем 1 большой vdev на 45? И насколько корректно делать raidz2 из 5 дисков? (с одной стороны у меня прояснилось, с другой запуталось, не ругайте сильно нуба))
Всё верно, 1 raidz = иопсы одного самого медленного диска в нём. Raidz2 из пяти дисков - почему бы и нет. Если вам хватит перформанса. Можно конечно просто mirror ов налепить, лучше по иопсам, но больше места сожрёт. Или 5 raidz2 по 7 дисков можно, меньше иопс даст но больше места. Вообще ещё spare по хорошему иметь один хотя бы
George
Т.е. Более жирный 1 raidz - больше полезного места, но иопсы одного диска.
TokaToka
А, точно, спасибо за напоминание про спейры, совсем голова с недосыпа дырявая. Ок, пересчитаю диски и влевы, через сутки-двое соберу и потестирую, напишу, что получилось. Всем большое спасибо за участие! Вы лучшие)