Гуд, благодарю. Ещё вопрос тогда. Диски в разных контроллерах отличаются по количеству и производительности. Везде хдд, но сами хдд по iops отличаются. В таком случае всё равно, всё в один пул и один vdev? Или пытаться сбалансировать их в приблизительно одинаковые по производительности vdev одного пула? Ну т.е. пример - четыре хдд 3.5 дюйма сата на встроенном контроллере и и по 6 хдд 2.5 дюйма в двух дискретных контроллерах. Их все в один пул и один вдев? Или один пул и raidz2 на 4-х дисках встроенного контроллера и два вдев raidz3 на 6-ти дисках каждого отдельного контроллера?

Вот не стал бы я такое делать. Эскадра равняется по тихоходу

Если не затруднит, уточните посыл пожалуйста.

Гуд, благодарю. Ещё вопрос тогда. Диски в разных контроллерах отличаются по количеству и производительности. Везде хдд, но сами хдд по iops отличаются. В таком случае всё равно, всё в один пул и один vdev? Или пытаться сбалансировать их в приблизительно одинаковые по производительности vdev одного пула? Ну т.е. пример - четыре хдд 3.5 дюйма сата на встроенном контроллере и и по 6 хдд 2.5 дюйма в двух дискретных контроллерах. Их все в один пул и один вдев? Или один пул и raidz2 на 4-х дисках встроенного контроллера и два вдев raidz3 на 6-ти дисках каждого отдельного контроллера?

Ок, т.е. однотипные диски в отдельные vdev с собственной избыточностью. В таком случае штраф по перфомансу будет минимален. Благодарю всех за помощь. Ещё момент (понимаю, что он описан в доках, но раз уж зацепились) - при операциях чтения\записи в пулах с несколькими vdev нагрузка равномерно распределяется между всеми vdev или по мере заполнения используются отдельные vdev последовательно? Ну т.е. при 10% заполнения пула, где эти 10% целиком укладываются в объём первого vdev - использоваться будет только он? Случай со special не рассматриваем.

Всем привет. Есть хост машина с zfs raid 1 на nmve дисках от samsung. И по результатам тестирования скорость записи занижена 1700 а скорость чтения 5500 хотя заявленная скорость накопителя 3500 на чтение и 3500 на запись. Тесты проводил через dd. Может кто сталкивался с таким поведением или я в корне не верно провожу тестирование сокрости ?

Не уверен, чем обусловлена скорость записи, но скорость чтения скорее всего достигнута за счет ARC.

Что есть arc? Извиняюсь если глупые вопросы.

Вам стоит почитать про архитектуру ZFS. ARC - кеш в оперативной памяти. По сути при тесте чтения, само чтение похоже происходило из этого кеша, т.е. из оперативки, а не с ссд. Ну и как вариант с обоих ссд одновременно, т.к. у Вас зеркало. Но я не могу точно ответить не зная что у Вас там и как сконфигурировано и как Вы тестировали.

Я вас понял. Кеш выделял 8гб . Завтра попробую произвести тестирование через fio

Я вас понял. Кеш выделял 8гб . Завтра попробую произвести тестирование через fio

Я вас понял. Кеш выделял 8гб . Завтра попробую произвести тестирование через fio

пересоздайте пул с ashift=13

Я даже особо не конфигурировал поставил из коробки проксмокс на zfs raid 1

Ну он особо много места не знамает почему бы его в зеркало не поставить раз он сам это умеет.

Ну вот поэтому пара обычных сата ссд на 250 ГБ за глаза. nvme для таких целей как по мне расточительно. В любом случае при установке есть опции настройки ФС, там можно было попробовать ashift=13 (ashift=12 там по умолчанию), остальное не должно влиять. Ну и я бы попробовал, если возможно, установить прокс на одну ссд, а вторую просто отформатить в ext4 и подмонтировать и вот на ней уже прогнать тесты. Может проблема в аппаратной части.

Пробовал тесты на win диски показывают по 3500 что по очереди что в однавременнлм тесте.

Ну вот, тест на голой ext4 покажет хотя бы направление проблемы - если не железо то либо ОС либо сам дистр и драйвер в ядре.

Кстати, а какие рекомендации для ashift если zfs будет использоваться как хранилище для виртуалок ? (1x NVME) ?

если я поставил ashift=13, не переборщил?

главное, чтоб смог загрузиться

лично я не видел устройства с блоками по 8K

диски на 18Т и 20Т уже с блоками на 8к

Всем привет. Есть хост машина с zfs raid 1 на nmve дисках от samsung. И по результатам тестирования скорость записи занижена 1700 а скорость чтения 5500 хотя заявленная скорость накопителя 3500 на чтение и 3500 на запись. Тесты проводил через dd. Может кто сталкивался с таким поведением или я в корне не верно провожу тестирование сокрости ?

флешки довольно ненадежны

Имеем pool: rpool state: ONLINE scan: resilvered 1.03G in 0 days 00:00:30 with 0 errors on Tue Nov 10 09:43:59 2020 config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 ata-ST1000LM024_HN-M101MBB_S30YJ9BH627271-part3 ONLINE 0 0 0 Нужно добавить диск в зеркало, root@v14:~# zpool attach rpool /dev/disk/by-id/ata-WDC_WD10SPCX-21KHST0_WD-WX11A86A7X0H-part3 missing <new_device> specification Чет не соображу какую комманду построить, подскажите плиз

device забыли

Доброго дня, а какой командой я могу посмотреть статистику l2arc и почему команда arc_summary -p 3 может показывать L2ARC status: DEGRADED

именно этой командой и смотреть. Может наверное если ваш l2arc приказал долго жить

bad checksums.

bad checksums.

не от того, что команда страницы устарела? Там вроде так и ругаеццо

Ну так там и написано что вместо -р писать -s

l2arc?

arc_summary -s l2arc