Телепаты спят уже

Сейчас речь не идёт про то, где конкретно затык. Его я найду. Меня в целом интересует оценка. Допустим, если память ок, сетка ок. То скорость по идее должна быть сопоставима с 6ти кратной скоростью записи одного диска?

Сейчас речь не идёт про то, где конкретно затык. Его я найду. Меня в целом интересует оценка. Допустим, если память ок, сетка ок. То скорость по идее должна быть сопоставима с 6ти кратной скоростью записи одного диска?

Ну для 2ТБ рам, 100Гб/с DA, выделенным meta cache на nvme, l2arc на 4тб nvme (enterprise), ZIL на pcie 4.0 и копировании 1 файла на 2ГБ выглядит мало

Сейчас речь не идёт про то, где конкретно затык. Его я найду. Меня в целом интересует оценка. Допустим, если память ок, сетка ок. То скорость по идее должна быть сопоставима с 6ти кратной скоростью записи одного диска?

Ради всего хорошего, аналогия с машиной: Вам звонит человек и говорит, "я за 10 секунд могу разогнаться до 100, это ок?" А у человека Феррари/гоночная машинка. Нет, не ок А у человека асфальто укладчик. Ну нихера себе А у человека bmw. Ну в целом ок

Сейчас речь не идёт про то, где конкретно затык. Его я найду. Меня в целом интересует оценка. Допустим, если память ок, сетка ок. То скорость по идее должна быть сопоставима с 6ти кратной скоростью записи одного диска?

но что такое скорость записи одного диска?🤔 Ты когда нибудь, выбирая накопитель, смотрел обзоры и обращал внимание на методики тестирования? Скажем в том же простонародном КристалДискМарк Воь что ты видишь на этой пикче?)

Ради всего хорошего, аналогия с машиной: Вам звонит человек и говорит, "я за 10 секунд могу разогнаться до 100, это ок?" А у человека Феррари/гоночная машинка. Нет, не ок А у человека асфальто укладчик. Ну нихера себе А у человека bmw. Ну в целом ок

блин, мы такие душнилы оба конечно) Но это ради общего блага)

Я оценил общий сарказм)). Ладно разберусь

Я оценил общий сарказм)). Ладно разберусь

Его тут нет на самом деле

Сейчас речь не идёт про то, где конкретно затык. Его я найду. Меня в целом интересует оценка. Допустим, если память ок, сетка ок. То скорость по идее должна быть сопоставима с 6ти кратной скоростью записи одного диска?

144*8 это где ~900 Мбит/с, для 1Г более чем хороший показатель

Я оценил общий сарказм)). Ладно разберусь

есть желание помочь прежде всего)

Если есть стойкое ощущение, что этого мало, то прежде чем идти в коммьюнити стоит собрать немного инфы

144*8 это где ~900 Мбит/с, для 1Г более чем хороший показатель

Нее, момент. 144 Mb/c это на весь пул скорость записи

Если бы 900 было, я бы даже и не советовался бы

Винда указывает в МБ/с

У меня линь

У меня линь

Вот видишь

Уже новая инфа

Теперь давай смотреть на то, каким образом пул отдан в систему, nfs/iscsi/smb

А ещё можно удалиться и собрать всю требуемую инфу

Вполне бывает, что в процессе сбора инфы - вопрос про скорость решается сам собой

Короче. Система Линукс, 32 гига оперативки, ZIL нет, пул состоит из 12 SAS дисков. 6 vdev по 2 диска в mirror

Берёшь: 1 диск - тестируешь скорость локально Берёшь этот же диск тестируешь его скорость через сетку (тот же linux и iscsi/NFS/smb) Берёшь собираешь такой же рейд на mdadm - тестируешь

^

Выходит что так и буду пробовать

👍

Теперь давай смотреть на то, каким образом пул отдан в систему, nfs/iscsi/smb

^

Для примера какой вопрос сразу содержит нужную инфу "Есть Ubuntu 20.04 ядро 5.4.0-150 версия zfs из мастер ветки собрана по инструкции с сайт , проц epyc 7302 (один сокет), 256 Гб рама, создан пул из 4 зеркал по 960Гб (8 дисков pm9a3), в нем создан zVol, тестирую через <Fio команда 1> <Fio команда 2> <Fio команда 3> Собирал такой же пул на mdadm получил результаты <результат 1>, <результат 2>, результат 3> (полные логи pastebin.com). На ZFS создавал пул командой команда Zvol создавал командой команда В настройках ZFS выбрал 224 рама для l2arc Специалов нет. Логи fio zvol тут <pastebin.com>" И это минимальный перечень, когда вопрос касается скорости пула

Короче. Система Линукс, 32 гига оперативки, ZIL нет, пул состоит из 12 SAS дисков. 6 vdev по 2 диска в mirror

а сеть 1Г или 10? И протокол доступа к хосту не назвал, Владислав выше спросил

Сеть 40гигабит

Nfs

Как выдана, включён ли nfs rdma, что показывает пул локально?

Как выдана, включён ли nfs rdma, что показывает пул локально?

В смысле что показывает локально?

Bruh

Берёшь: 1 диск - тестируешь скорость локально Берёшь этот же диск тестируешь его скорость через сетку (тот же linux и iscsi/NFS/smb) Берёшь собираешь такой же рейд на mdadm - тестируешь

Жду тогда ответа на это

Либо может телепаты проснутся раньше

Так тогда по этой логике х6 самого медленного диска.

zpool iostat с какими-то ключами под нагрузкой

10 после той команды- время агрегации

вместе с этим iostat -dx 10

Увидишь, есть ли загрузка

Может ты копируешь кучу мелких файлов и сам протокол передачи тормозит

Подскажите каким образом zvol с виндой можно замонтировтаь на хост с правами записи ? Пробовал монтировать /dev/zvol/pool/vm-id-p2 или через kpartx - фс монтируется только в ридонли.

Подскажите каким образом zvol с виндой можно замонтировтаь на хост с правами записи ? Пробовал монтировать /dev/zvol/pool/vm-id-p2 или через kpartx - фс монтируется только в ридонли.

? Через mount ntfs?

? Через mount ntfs?

я даже не пробовал указать тип фс, т.к. он сам неплохо определяется, раз уж видны данные для чтения.

mount -t ntfs /dev/zvol/Storage/vm-366-disk-0-part2 /mnt -o rw touch /mnt/test touch: cannot touch '/mnt/test': Read-only file system

вот попробовал

Тогда посмотри в логах почему ro

Тогда посмотри в логах почему ro

[611734.336555] ntfs: volume version 3.1. это всё

jounalctl тогда смотри

И ntfsfix

попробуй

jounalctl тогда смотри

Jun 05 14:05:26 srv systemd[4047336]: mnt.mount: Succeeded. Jun 05 14:05:26 srv systemd[1]: mnt.mount: Succeeded. Jun 05 14:05:39 srv kernel: dm-0: detected capacity change from 1124352 to 0 Jun 05 14:05:39 srv kernel: dm-1: detected capacity change from 208586752 to 0 Jun 05 14:06:02 srv kernel: ntfs: volume version 3.1.

Ребята, а вообще кто-нибудь проводил у себя тесты скорости в сравнении zfs и mdadm? Ну вдруг. Интересно просто какие у кого результаты

И ntfsfix

помогло. печально что ядерный ntfs драйвер ничего полезного не сообщает при монтировании.

Ребята, а вообще кто-нибудь проводил у себя тесты скорости в сравнении zfs и mdadm? Ну вдруг. Интересно просто какие у кого результаты

при обычной работе имея в запасе энное количество рамы по ark даже на глаз заметно что с zfs работает быстрее. но у всех свои кейсы, например на синтетических тестах mdadm при малом количестве рамы будет быстрее. и пока у zfs всё плохо с хорошими nvme, т.к. каждый чих на процессоре влияет на их производительность.

при обычной работе имея в запасе энное количество рамы по ark даже на глаз заметно что с zfs работает быстрее. но у всех свои кейсы, например на синтетических тестах mdadm при малом количестве рамы будет быстрее. и пока у zfs всё плохо с хорошими nvme, т.к. каждый чих на процессоре влияет на их производительность.

Вот у меня рамы 32гига, массив из 10 дисков в raidz2 8+2. Запись локальная на него, со скоростного nvme ssd в пул даёт приблизительно 850Мб/сек

помогло. печально что ядерный ntfs драйвер ничего полезного не сообщает при монтировании.

Нонче в ведре 2 драйвера нтфс -- один старый ридонли. один новый жуткой бажности но зато ридрайт

А чтение с пула на тот же nvme около 180мб/с

И я не пойму пока в чем затык. Сегодня буду тестить

Нонче в ведре 2 драйвера нтфс -- один старый ридонли. один новый жуткой бажности но зато ридрайт

не знал. ядерный с rw хуже юзерспейсного ntfs-3g ?

А чтение с пула на тот же nvme около 180мб/с

raidz неоч по скоростям.

ZFS vs mdadm 0-й рейд в обоих случаях

не знал. ядерный с rw хуже юзерспейсного ntfs-3g ?

У меня - хуже. Постоянно портит ФС при записи.

нтфс-3ж может и тормозит, но зато ни разу у меня ничего не портил, в течение 10 лет

Конфиг NVMe (это был в октябре прошлого года где-то)

ZFS vs mdadm 0-й рейд в обоих случаях

Я правильно понимаю, что цифры больше, лучше? В таблице

*

Да

А что такое qd?

Судя по таблице zfs медленнее чем mdadm, верно?

Конечно

За исключением когда делается 64 потока. Тогда он на уровне с одним потоком mdadm Синий график - 1 поток mdadm Жёлтый график - 1 поток LVM Оранжевый график - 1 поток ZFS Серый график - 64 потока ZFS

Владислав, прошу прощения за возможнр глупый вопрос, а почему конечно? Я то с zfs начал морочиться как раз потому что вроде как слышал, что у него скорость высокая, ну и плюс более современная штука. А так я уже лет 14 на mdadm сижу

в ряде кейсов сервисы от зфс помогают увеличить отклик

Владислав, прошу прощения за возможнр глупый вопрос, а почему конечно? Я то с zfs начал морочиться как раз потому что вроде как слышал, что у него скорость высокая, ну и плюс более современная штука. А так я уже лет 14 на mdadm сижу

https://arstechnica.com/information-technology/2020/05/zfs-101-understanding-zfs-storage-and-performance/

Если после прочтения останутся вопросы - жду их

в ряде кейсов сервисы от зфс помогают увеличить отклик

сильно специфичных кейсов с сильным преобладанием одинакового чтения*

За исключением когда делается 64 потока. Тогда он на уровне с одним потоком mdadm Синий график - 1 поток mdadm Жёлтый график - 1 поток LVM Оранжевый график - 1 поток ZFS Серый график - 64 потока ZFS

а теперь покажи разницу когда надо реплицировать несколько десятков терабайт на mdadm и на ZFS))

ага. например, я видел практически идеальный кейс - миррор репозиториев

ага. например, я видел практически идеальный кейс - миррор репозиториев

Согласен

а теперь покажи разницу когда надо реплицировать несколько десятков терабайт на mdadm и на ZFS))

Откуда? По какому протоколу? Через какую сеть? С какой конфигурацией?