« Rev
@ru_zfs   592
Fwd »


Animal
ну на 10Гбит норм скопируется, быстро. Я пока на 1Гбите. Ну те НАС-роутер я бондингом сделал, но другие девайсы - 1Гбит. )) Думаю врядли ближайшее время массово на 10Гбит перейду.
Y
зы. на самом деле я не раз делал апгрейд пула и даже с 28 на 5000 переехал без проблем, но это было еще на прошлом ПУЛе - у меня их всего 2 (кроме всяких других НАСов) был - первый был 8+2 в конце 2012го сделал, а в 2018 была аказия куда слить всю инфу (при этом тоже RAIDZ2) и переделал пул на 10+2 с тех пор и не менял ничего... но надо двигатся потихоньку ...
Animal
да зашел посмотреть тут ради чтобы в тренде быть - видимо да. говорю там недавно относительно даже плоттер на гп появился. как раз идеально для такой матери - на гпу генерить плот - писать в диски на ОЗУ а потом сбрасывать на диски для добычи. ))
Animal
3 видюхи для генерации, например 8 сата вижу + как говорят 2 шт м2 ну а 3 дырки писиайе еще контроллеров для сата напихать - идеально же. )) сам смак конечно поддержка 4тб оперативы.
Animal
1000 птата и столько же 1тб озу поди )) но для бытовых нужд этого сдается мне выше крыши на данный момент. ну или как говорится были бы деньги
Georg🎞️🎥
Это скорее чию майнить или типа того. Ща там как раз плоттер на ГПУ запилили. 😆
Мамка для рабочей станции 👌7 пи си ай слотов , огого как удобно )) у меня 8 )
Animal
зачем? если только не 3D рендеринг например. если откинуть майнинг
Animal
ну или да - под строительство бооольшого дискового пространства
Georg🎞️🎥
зачем? если только не 3D рендеринг например. если откинуть майнинг
Да, то, что требует 2-3 гпу и много памяти , и пнооо всяких подключений Правда уже мощнее на амд строить , нежели чем Интел 🤷🏻‍♂️
Georg🎞️🎥
ну или да - под строительство бооольшого дискового пространства
Для большого дискового пространства 7 слотов не нужны ))) а вот под память слотов бы 24 )) как на серверных мамках))
Animal
ну 2-3 гпу может и игруха потребовать. во эти.. как LAST OF US на PC выпустили по первой там такие требования нарисовали...мама не горюй. потом вроде подправили
Animal
не спорю. не профи но в курсе что КАДы / 3Д всякие жрутс..
Georg🎞️🎥
не спорю. не профи но в курсе что КАДы / 3Д всякие жрутс..
Видео хорошо жует )) до 7 карт понимает 🤣🤣🤣🤦‍♂️ Davinchi Resolve ))
Animal
ну и это тоже...считай 3Д практически...
Animal
ну образно
Animal
можно и BOINCom нагрузить )) только зачем ))
Animal
да да 2Д тоже...
Animal
я все понял
Fedor
Это уже темы для флуд чата.
Georg🎞️🎥
Виноват 😭
Mikey Tide
Всем привет. Новичок. Делаю 10 раид на проксе. У меня 10 дисков по 16тб. Toshiba mg08
Mikey Tide
Вопрос какой указать размер блока и какой ashift использовать
Mikey Tide
Стандарт 8к и 12
Mikey Tide
До этого стоят блок 128к
Mikey Tide
У дисков 4096 (эмуляция 512) в характеристиках
Mikey Tide
Что почитать чтобы понять тему, и какие советы можете дать? Посоветовали вас
Mikey Tide
Увидел, а практический совет можно по данным выше?
central
Увидел, а практический совет можно по данным выше?
Что хотите делать с хранилищем?
Mikey Tide
Что хотите делать с хранилищем?
В основном там лежат виртуалки большого объема. И базы данных от 1тб до 10тб
Mikey Tide
Делается реплика на другую ноду. + бэкапы делаются
Ivan
Открытый практикум Linux by Rebrain: ZFS Успевайте зарегистрироваться. Количество мест строго ограничено! Запись практикума “DevOps by Rebrain” в подарок за регистрацию! 👉Регистрация Время проведения: 5 Апреля (Среда) в 20:00 по МСК Программа практикума: 🔹RAID, LVM, ZFS 🔹Основы ZFS 🔹Начало работы с ZFS Кто ведет? Андрей Буранов - Специалист по UNIX-системам в компании VK. Опыт работы с ОС Linux более 7 лет. Опыт преподавания более 5 лет. Входит в топ 3 лучших преподавателей образовательных порталов.
Ivan
не сочтите за рекламу. надеюсь что-то интересное расскажут.
Wild_Wind
Как заменить в пуле один диск (/dev/sda5) на другой (/dev/nvme0n1p2)? zpool replace rpool sda5 /dev/nvme0n1p2 И всё, или ещё какое-то шаманство необходимо? Скраб уже прогнал на всякий случай, ошибок 0.
Wild_Wind
https://m.youtube.com/watch?v=TvaK2I3LY68
Спасибо. Максимально неинформативное видео, особенно учитывая что у меня не NAS, а обычный root pool, даже не mirror/raidz, для гентача на zfs. Но да, zpool replace, судя по доке, должно хватить.
Fedor
Спасибо. Максимально неинформативное видео, особенно учитывая что у меня не NAS, а обычный root pool, даже не mirror/raidz, для гентача на zfs. Но да, zpool replace, судя по доке, должно хватить.
Точно не помню уже, как это делается, но можно проводить тесты в зфс, используя для этого преаллоцированные файлы.
Fedor
при работе с файлами в части управления используются все те же самые инструменты и вызовы
Wild_Wind
Как заменить в пуле один диск (/dev/sda5) на другой (/dev/nvme0n1p2)? zpool replace rpool sda5 /dev/nvme0n1p2 И всё, или ещё какое-то шаманство необходимо? Скраб уже прогнал на всякий случай, ошибок 0.
#replace zpool replace rpool sda5 /dev/nvme0n1p2 zpool set autoexpand=on rpool zpool online -e rpool /dev/nvme0n1p2 zpool set autoexpand=off rpool Вот так работает. * если диск того же размера, то крайние 3 команды не требуются.
Станислав
#replace zpool replace rpool sda5 /dev/nvme0n1p2 zpool set autoexpand=on rpool zpool online -e rpool /dev/nvme0n1p2 zpool set autoexpand=off rpool Вот так работает. * если диск того же размера, то крайние 3 команды не требуются.
Как мне казалось, "zpool online -e rpool ..." для ручного расширения и не требует "autoexpand=on". Последний параметр сделал бы это автоматически при смене накопителя на больший или, если вы установили его после замены накопителя, расширит при импорте
edo1
пытаюсь понять использование special device в zfs вот вывод zdb: block psize lsize asize size Count Size Cum. Count Size Cum. Count Size Cum. 512: 13 6.50K 6.50K 13 6.50K 6.50K 0 0 0 1K: 8.54K 12.8M 12.8M 8.54K 12.8M 12.8M 0 0 0 2K: 132K 354M 367M 132K 354M 367M 0 0 0 4K: 463K 2.37G 2.73G 415K 2.22G 2.58G 233K 931M 931M 8K: 412K 4.81G 7.53G 410K 4.82G 7.39G 591K 5.35G 6.25G 16K: 401K 8.04G 15.6G 400K 8.03G 15.4G 480K 9.29G 15.5G 32K: 54.3K 2.11G 17.7G 52.1K 2.02G 17.4G 165K 5.61G 21.2G 64K: 34.0K 3.18G 20.9G 32.9K 3.23G 20.7G 33.7K 3.12G 24.3G 128K: 18.8K 3.37G 24.2G 63.3K 8.79G 29.5G 20.1K 3.54G 27.8G 256K: 21.1K 7.64G 31.9G 15.6K 5.61G 35.1G 21.4K 7.71G 35.5G 512K: 24.1K 17.5G 49.4G 13.9K 9.94G 45.0G 24.2K 17.5G 53.1G 1M: 34.0K 50.1G 99.4G 13.9K 20.1G 65.1G 34.0K 50.1G 103G 2M: 113K 342G 441G 12.9K 37.0G 102G 113K 342G 445G 4M: 299K 1.17T 1.60T 444K 1.73T 1.83T 299K 1.17T 1.60T 8M: 0 0 1.60T 0 0 1.83T 0 0 1.60T 16M: 0 0 1.60T 0 0 1.83T 0 0 1.60T а вот вывод zpool list: storage2 1.94T 1.60T 346G - - 8% 82% 1.00x ONLINE - sdb1 1.82T 1.55T 266G - - 8% 85.7% - ONLINE special - - - - - - - - - sdd102 133G 53.2G 79.8G - - 49% 40.0% - ONLINE special_small_blocks установлен в 128K. в выводе zdb таких блоков меньше 30ГБ как набралось на ssd 50+ГБ?
George
в выводе одних 128К на 29.5гб
edo1
нет, 29.5 — это накопительным итогом, как раз что ≤128К
edo1
и смотреть вроде бы нужно на asize (где чуть меньше), но это уже не так важно
George
нет, 29.5 — это накопительным итогом, как раз что ≤128К
да, ошибся. Тогда мету посчитать нужно ещё
edo1
меты копейки
George
по zdb можно посчитать, 20гб как раз выглядят как 1-2% которые на мету могут для такого объёма уйти
edo1
Blocks LSIZE PSIZE ASIZE avg comp %Total Type 718 75.1M 30.6M 91.7M 131K 2.46 0.01 SPA space map 77.3K 1.22G 1.21G 2.42G 32.1K 1.01 0.15 DMU dnode 1.83M 1.83T 1.60T 1.60T 897K 1.15 99.82 ZFS plain file 64.3K 136M 133M 514M 8.00K 1.02 0.03 ZFS directory 1.97M 1.83T 1.60T 1.60T 835K 1.15 100.00 Total
edo1
порезал строки с asize меньше 100М
edo1
изначальная цель была прикинуть как будет работать сервер с другой пропорцией hdd/ssd. и я понял, что я не понимаю как расходуется место )
edo1
4kb
edo1
Из вывода zdb же видно )
George
Из вывода zdb же видно )
не, у конкретного vdev покажи
George
у разных vdevs разные ashift могут быть
George
у тебя минимальный ашифт 4к по выводу
George
Серьёзно?
конечно
George
кажется там минимум 13 приехал
edo1
А как посмотреть?
George
А как посмотреть?
zdb -C покажи, там есть ashiftы
edo1
12
George
12
у всех вдевов?
edo1
да
edo1
MOS Configuration: version: 5000 name: 'storage2' state: 0 txg: 4 pool_guid: 3140242044664126792 errata: 0 hostid: 633376181 hostname: 'dl15' com.delphix:has_per_vdev_zaps vdev_children: 2 vdev_tree: type: 'root' id: 0 guid: 3140242044664126792 create_txg: 4 children[0]: type: 'disk' id: 0 guid: 16469481521438245499 path: '/dev/sdb1' whole_disk: 0 metaslab_array: 146 metaslab_shift: 34 ashift: 12 asize: 2000392028160 is_log: 0 create_txg: 4 com.delphix:vdev_zap_leaf: 129 com.delphix:vdev_zap_top: 130 children[1]: type: 'disk' id: 1 guid: 12081732368104729971 path: '/dev/sdd102' whole_disk: 0 metaslab_array: 133 metaslab_shift: 30 ashift: 12 asize: 143071379456 is_log: 0 create_txg: 4 com.delphix:vdev_zap_leaf: 131 com.delphix:vdev_zap_top: 132 features_for_read: com.delphix:hole_birth com.delphix:embedded_data
George
MOS Configuration: version: 5000 name: 'storage2' state: 0 txg: 4 pool_guid: 3140242044664126792 errata: 0 hostid: 633376181 hostname: 'dl15' com.delphix:has_per_vdev_zaps vdev_children: 2 vdev_tree: type: 'root' id: 0 guid: 3140242044664126792 create_txg: 4 children[0]: type: 'disk' id: 0 guid: 16469481521438245499 path: '/dev/sdb1' whole_disk: 0 metaslab_array: 146 metaslab_shift: 34 ashift: 12 asize: 2000392028160 is_log: 0 create_txg: 4 com.delphix:vdev_zap_leaf: 129 com.delphix:vdev_zap_top: 130 children[1]: type: 'disk' id: 1 guid: 12081732368104729971 path: '/dev/sdd102' whole_disk: 0 metaslab_array: 133 metaslab_shift: 30 ashift: 12 asize: 143071379456 is_log: 0 create_txg: 4 com.delphix:vdev_zap_leaf: 131 com.delphix:vdev_zap_top: 132 features_for_read: com.delphix:hole_birth com.delphix:embedded_data
https://github.com/openzfs/zfs/discussions/14257 тут обратная ситуация описана с zvol. А есть ещё что-то не дефолтное? dedup тоже отключен? copies дефолтный? Если прям всё дефолтное, то теоретически можно перебрать все блоки через zdb и порыться что легло (я бы искал блоки больше 128К), т.к. по разбиению ZFS plain file и правда бьётся суммарно. special_small_blocks с создания пула в 128к стоит?
Y
на свежезагруженной для эксперимента машине, без постоянного l2arc, то есть и ARC и L2ARC оба пустые, никакой истории нет, поэтому файл сарзу кешируется читаем 500 гига файл (с масива стабильное чтение 1 гиг/сек) - тут жаже без сетки эксперимент RAMы скажем 16 L2ARC скажем 500 [off](при этом мы знаем что первые 12 гига могут записаться со скоростью больше чем читается с масива, скажем 1.6 но это не важно - главное быстрее) а оставшиееся 488 - со скоростью 200 мегасеков[/off] и так читаем мы скажем в нуль или в сетку 40 гига - во что-то много быстрее чем все кеши и т.п. (ну кроме памяти) считали первые 16 гига.... заполнили кеш в памяти - скорость чтения с масива - 1 гиг считали еще 12 гига... заполнили кеш на кеш-диске - скорость чтения с масива - 1 гиг (кеш то быстрее) поехали читать оставшиеся 472 гига (из файла в 500) - скорость чтения с масива - 1 гиг что произойдет ? 1. скорость чтения с масива упадет до скорости записи в l2arc ? 200 мега - ведь он будет тормозится скоростью записи l2arc ? 2. скорость масива останется 1 гига - но как оставшиееся 472 гига попадут в l2arc - ведь они туда не успеют записатся до окончания чтения файла (472 секунды, а что бы их записать в l2arc надо в 5 раз больше - 2360 секунд) то есть данные считаются с пула не успевая записатся в кеш и часть данных просто не попадет в кеш ? 3. допишутся потом потихоньку, раз файл надо закешировать, или просто проигнорируются ?
Y
кроме того - вопрос: если пул читается со скоростью 1 гига, а кеш скажем SATA2 (для усложнения) обычный SSD - 250... то ясно что по рандому SSD выигрывает... но что будет при линейном чтении файла который есть в кеше ? он считается со скоростью 1 гига с пула или 250 мега из кеша (скажем из ARC его уже вытеснило в l2arc за ненадобностью) ?
Artem
Возьми да поставь эксперимент. У тебя какие-то очень странные условия. Кэш медленнее пула - эт вообще прям пять
« Rev
@ru_zfs   592
Fwd »