/report

Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична

Для nvme, патчить зфс будеш?

А можно ли использовать один диск для l2arc и для ZIL?

А можно ли использовать один диск для l2arc и для ZIL?

Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична

А можно ли использовать один диск для l2arc и для ZIL?

Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична

Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична

Что на них работать будет?

Виртуалки с 1с и mssql

Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние.

Ну и зачем там рейд вообще😜

Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние.

У меня не один сервер, а 4 штуки, у всех разные разделы по размеру, по этому как то хочется порезать это место на всех

О каком размере речь? На каком железе будет хранилка?

proxmox на борту CPU(s) 160 x Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz (4 Sockets) 380GB RAM, nvme-Dell_Ent_NVMe_AGN_RI_U.2_1.92TB 10 штук, но парочку я уже спристроил в другие вм. Баз 1с уже за 30 штук вместе с тестовыми, самая большая база документооборота 250 гб +

еще один момент - чтобы повесить все nvme на один проц - это надо спец контроллер дорогущщий покупать. в противном случае numa еще медленней рейд сделает.

Может есть тут люди, которые пробовали NUMA на intel?

Кстати... Это в кейсе с ZFS или в принципе raid?

Numa почти одинаков что у амд, что у интел

Может есть тут люди, которые пробовали NUMA на intel?

У меня есть сейчас в пользовании Epyc 7F52, на котором дичь твориться с доступом к памяти.

proxmox на борту CPU(s) 160 x Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz (4 Sockets) 380GB RAM, nvme-Dell_Ent_NVMe_AGN_RI_U.2_1.92TB 10 штук, но парочку я уже спристроил в другие вм. Баз 1с уже за 30 штук вместе с тестовыми, самая большая база документооборота 250 гб +

Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична

еще один момент - чтобы повесить все nvme на один проц - это надо спец контроллер дорогущщий покупать. в противном случае numa еще медленней рейд сделает.

а хотя я затупил. если взять 2 платы х4 nvme, то можно всё на один проц навесить. через два pcie слота ведущих в один проц. это если бифуркация поддерживается.

а хотя я затупил. если взять 2 платы х4 nvme, то можно всё на один проц навесить. через два pcie слота ведущих в один проц. это если бифуркация поддерживается.

Вот на моей матери дичь, два Цпу и все pci только на 1 Цпу ведут

В плане

Было интересно сколько сможет ZFS отдать с кэша при 8ми каналах памяти. Отключил сжатие полностью, чтобы не делать лишней работы. Дотягивал что-то до 80+ Гбайт/с. Но это если повезет, т.к. при очередном замере может упасть до 50-и, а иногда и до 30-и. Приходилось удалять датасет, создавать заново и повторять замеры, которые всё-таки чаще упирались в 40-50Г

Так себе тест....

Почему же? Я правильно понимаю, что membench измерит скорость доступа к памяти по 8ми каналам? Просто речь же про работу на этом железе ZFS. Суть в том, что, несмотря на общий доступ через Infinity Fabric во втором поколении, твориться ерунда с доступом к областям памяти, которые были выделены другому numa

Zfs же показывает это примерно никак, это как смотреть на двойное параметрическое уравнение, где меняются ВСЕ переменные, и делать на основе этого выводы Ты ведь не делал вот такие графики, чтобы понимать где стопор?

Zfs же показывает это примерно никак, это как смотреть на двойное параметрическое уравнение, где меняются ВСЕ переменные, и делать на основе этого выводы Ты ведь не делал вот такие графики, чтобы понимать где стопор?

Так я в поисках стопора. Если есть что подсказать, то пожалуйста. Суть в том, что на 1м процессоре Intel с тем же количеством ядер поведение более предсказуемое и, я бы сказал, абсолютно стабильное

Открываем мембенч, смотрим результаты Открываем fio на raw диск, смотрим результаты

а хотя я затупил. если взять 2 платы х4 nvme, то можно всё на один проц навесить. через два pcie слота ведущих в один проц. это если бифуркация поддерживается.

Открываем схему тестов и смотрим как у Интела и у АМД сделана разводка pcie линий

Открываем схему тестов и смотрим как у Интела и у АМД сделана разводка pcie линий

Так в том то и суть, что я из кэша читал, а не с диска. Диск тут лишь для того, чтобы на нём сохранить.

Ты проверял, что ты из кэша читал?

Недавно вопросом задавался, хотел узнать сколько из арк может выдать Epyc 7F52 в 8-канальном режиме. Если не использовать сжатие, то результат был следующим и всё упиралось в производительность ЦП: root@pc:~# fio fio.ini write: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1 ... fio-3.25 Starting 47 processes Jobs: 47 (f=47): [R(47)][100.0%][r=82.6GiB/s][r=84.6k IOPS][eta 00m:00s] write: (groupid=0, jobs=47): err= 0: pid=2380076: Mon Dec 11 00:01:52 2023   read: IOPS=87.3k, BW=85.3GiB/s (91.6GB/s)(853GiB/10003msec)     slat (usec): min=73, max=48881, avg=534.59, stdev=953.43     clat (nsec): min=641, max=16384k, avg=1594.93, stdev=36037.08      lat (usec): min=74, max=48887, avg=536.56, stdev=954.81     clat percentiles (nsec):      |  1.00th=[   764],  5.00th=[   844], 10.00th=[   884], 20.00th=[   932],      | 30.00th=[   980], 40.00th=[  1048], 50.00th=[  1128], 60.00th=[  1240],      | 70.00th=[  1400], 80.00th=[  1656], 90.00th=[  2192], 95.00th=[  2960],      | 99.00th=[  5344], 99.50th=[  6688], 99.90th=[ 11712], 99.95th=[ 15040],      | 99.99th=[136192]    bw (  MiB/s): min=76800, max=95299, per=4.31%, avg=87646.99, stdev=91.81, samples=893    iops        : min=76790, max=95287, avg=87642.89, stdev=91.84, samples=893   lat (nsec)   : 750=0.62%, 1000=31.41%   lat (usec)   : 2=55.57%, 4=10.09%, 10=2.17%, 20=0.13%, 50=0.01%   lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%   lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%   cpu          : usr=0.52%, sys=59.95%, ctx=257025, majf=0, minf=39045   IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%      submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      issued rwts: total=873364,0,0,0 short=0,0,0,0 dropped=0,0,0,0      latency   : target=0, window=0, percentile=100.00%, depth=1 Run status group 0 (all jobs):    READ: bw=85.3GiB/s (91.6GB/s), 85.3GiB/s-85.3GiB/s (91.6GB/s-91.6GB/s), io=853GiB (916GB), run=10003-10003msec

дальше во всякие memcpy и подобное упирается?)

Проверь все же

Так скорость в ~92GB/s меня более чем устраивала. А вот то, что при следующем замере она вдруг 50 и так стабильно все следующие 5-10 замеров.... При это памяти свободной за глаза

Это не показатель....

Но я прочитал, принял к сведению, попробую membench и построю графики

К примеру, ещё https://www.intel.com/content/www/us/en/download/736633/intel-memory-latency-checker-intel-mlc.html https://www.binarytides.com/benchmark-ram-speed-on-linux-with-sysbench/ Ну и mbw

sysbench совершенно не умеет с Epyc работать. Измеряет что-то непонятное. Я с него начал, но хоть в один поток, хоть в 8 результат почти одинаковый — 22-24Гб/с

Какая версия ОС была?

sysbench совершенно не умеет с Epyc работать. Измеряет что-то непонятное. Я с него начал, но хоть в один поток, хоть в 8 результат почти одинаковый — 22-24Гб/с

Всем привет, подскажите, если достойный ресурс или статья что бы более углубленно изучить zfs, сейчас эксплуатирую ее практически в дефолтных настройках. Хотелось бы получше узнать про варианты более оптимальных настроек, и вообще понять какие опции есть и решить для себя что из этого мне нужно а что оставить в дефолте.

Всем привет, подскажите, если достойный ресурс или статья что бы более углубленно изучить zfs, сейчас эксплуатирую ее практически в дефолтных настройках. Хотелось бы получше узнать про варианты более оптимальных настроек, и вообще понять какие опции есть и решить для себя что из этого мне нужно а что оставить в дефолте.

Была оракдовая методичка гдето, но год старый, хотя и поменялось мало чего

банально, но лучше всего с официальной доки начать https://openzfs.github.io/openzfs-docs/

Я так понимаю там еще какято тема с совместимостью между версиями есть?