Group Butler
/report
Reported to 1 admin(s)
Никита
Народ, подскажите пожалуйста, 8 nvme дисков лучше в 4 пары mirror сделать или raidz? для максимального быстродействия, надежность вторична
Алексей
Для максимального делай вообще страйп
Fedor
можно провести испытания и в той, и другой топологии. по логике - из описанных вариантов миррор будет иметь меньше внутренних переключений.
Никита
Для nvme, патчить зфс будеш?
зфс всё ещё тормознуто работает с nvme?
Никита
А можно ли использовать один диск для l2arc и для ZIL?
Ivan
А можно ли использовать один диск для l2arc и для ZIL?
разбив диск на партиции можно отдавать партиции под что угодно
Fedor
А можно ли использовать один диск для l2arc и для ZIL?
В случае использования ssd/nvme пропадает потребность в использовании и зил, и л2арк
Никита
Что на них работать будет?
Виртуалки с 1с и mssql
Konstantin
Ну и зачем там рейд вообще😜
Roman
Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние.
Станислав
Виртуалки с 1с и mssql
Может пора на postgrespro?) Всё таки на нём аккредитацию без проблем можно пройти. А так-то я использую для такого кейса именно страйп из зеркал
Станислав
Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние.
Даже на домашнем 980 Pro в PCI-E 3.0 очень бодро работало. Переход на PM1725 никто не заметил из пользователей. При этом документооборот не маленький. Правда оперативной памяти на сервере 128Гб, а БД сейчас около 50Гб
Roman
> БД 50 Гб > Хочу 8 нвме для максимальной производительности. рука-лицо.
Никита
Ну и зачем там рейд вообще😜
У меня не один сервер, а 4 штуки, у всех разные разделы по размеру, по этому как то хочется порезать это место на всех
Станислав
Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние.
> Хочу 8 нвме для максимальной производительности. > Есть подозрение, что там по производительности и одного nvme будет с головой. Если это, конечно, норм nvme, а не домашние. > Даже на домашнем 980 Pro в PCI-E 3.0 очень бодро работало... БД сейчас около 50Гб Не чувствуете связь? Вы предложили 1 вместо 8ми, я продолжил с домашним вариантом (не предлагал, а вспомнил как было). Если уж о 8ми дисках пишет человек, значит есть что хранить на них и 1 диск тут явно не к месту. Так-то для БД 50Гб и домашних хватало
Никита
О каком размере речь? На каком железе будет хранилка?
proxmox на борту CPU(s) 160 x Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz (4 Sockets) 380GB RAM, nvme-Dell_Ent_NVMe_AGN_RI_U.2_1.92TB 10 штук, но парочку я уже спристроил в другие вм. Баз 1с уже за 30 штук вместе с тестовыми, самая большая база документооборота 250 гб +
Никита
В общем то nvme сюда ставились под нужды 1с и ничего больше, вот я и хочу понять как их использовать оптимальным образом
Ivan
интересное соотношение количества ядер к количеству рамы
Станислав
proxmox на борту CPU(s) 160 x Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz (4 Sockets) 380GB RAM, nvme-Dell_Ent_NVMe_AGN_RI_U.2_1.92TB 10 штук, но парочку я уже спристроил в другие вм. Баз 1с уже за 30 штук вместе с тестовыми, самая большая база документооборота 250 гб +
Так-то БД не большие, а вот по поводу NUMA... Я избегаю конфигураций на несколько CPU и ZFS, пока есть такая возможность, т.к. доступ процессора к чужой памяти может сыграть злую шутку. И оперативной памяти как-то маловато
Ivan
еще один момент - чтобы повесить все nvme на один проц - это надо спец контроллер дорогущщий покупать. в противном случае numa еще медленней рейд сделает.
Станислав
Может есть тут люди, которые пробовали NUMA на intel?
Ivan
Кстати... Это в кейсе с ZFS или в принципе raid?
вообще справедливо для любых софт рейд
Vladislav
Numa почти одинаков что у амд, что у интел
Vladislav
Станислав
Может есть тут люди, которые пробовали NUMA на intel?
У меня есть сейчас в пользовании Epyc 7F52, на котором дичь твориться с доступом к памяти.
Vladislav
Но они отдельный разговор
Vladislav
Ivan
еще один момент - чтобы повесить все nvme на один проц - это надо спец контроллер дорогущщий покупать. в противном случае numa еще медленней рейд сделает.
а хотя я затупил. если взять 2 платы х4 nvme, то можно всё на один проц навесить. через два pcie слота ведущих в один проц. это если бифуркация поддерживается.
Станислав
В плане
Было интересно сколько сможет ZFS отдать с кэша при 8ми каналах памяти. Отключил сжатие полностью, чтобы не делать лишней работы. Дотягивал что-то до 80+ Гбайт/с. Но это если повезет, т.к. при очередном замере может упасть до 50-и, а иногда и до 30-и. Приходилось удалять датасет, создавать заново и повторять замеры, которые всё-таки чаще упирались в 40-50Г
Vladislav
Я-то думал ты membench мерил
Станислав
Так себе тест....
Почему же? Я правильно понимаю, что membench измерит скорость доступа к памяти по 8ми каналам? Просто речь же про работу на этом железе ZFS. Суть в том, что, несмотря на общий доступ через Infinity Fabric во втором поколении, твориться ерунда с доступом к областям памяти, которые были выделены другому numa
Vladislav
В этом суть membench
Vladislav
Zfs же показывает это примерно никак, это как смотреть на двойное параметрическое уравнение, где меняются ВСЕ переменные, и делать на основе этого выводы Ты ведь не делал вот такие графики, чтобы понимать где стопор?
Станислав
Zfs же показывает это примерно никак, это как смотреть на двойное параметрическое уравнение, где меняются ВСЕ переменные, и делать на основе этого выводы Ты ведь не делал вот такие графики, чтобы понимать где стопор?
Так я в поисках стопора. Если есть что подсказать, то пожалуйста. Суть в том, что на 1м процессоре Intel с тем же количеством ядер поведение более предсказуемое и, я бы сказал, абсолютно стабильное
Vladislav
Вот такие
Vladislav
Открываем мембенч, смотрим результаты Открываем fio на raw диск, смотрим результаты
Открываем схему тестов и смотрим как у Интела и у АМД сделана разводка pcie линий
Станислав
Открываем схему тестов и смотрим как у Интела и у АМД сделана разводка pcie линий
Так в том то и суть, что я из кэша читал, а не с диска. Диск тут лишь для того, чтобы на нём сохранить.
Станислав
Станислав
Недавно вопросом задавался, хотел узнать сколько из арк может выдать Epyc 7F52 в 8-канальном режиме. Если не использовать сжатие, то результат был следующим и всё упиралось в производительность ЦП: root@pc:~# fio fio.ini write: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1 ... fio-3.25 Starting 47 processes Jobs: 47 (f=47): [R(47)][100.0%][r=82.6GiB/s][r=84.6k IOPS][eta 00m:00s] write: (groupid=0, jobs=47): err= 0: pid=2380076: Mon Dec 11 00:01:52 2023   read: IOPS=87.3k, BW=85.3GiB/s (91.6GB/s)(853GiB/10003msec)     slat (usec): min=73, max=48881, avg=534.59, stdev=953.43     clat (nsec): min=641, max=16384k, avg=1594.93, stdev=36037.08      lat (usec): min=74, max=48887, avg=536.56, stdev=954.81     clat percentiles (nsec):      |  1.00th=[   764],  5.00th=[   844], 10.00th=[   884], 20.00th=[   932],      | 30.00th=[   980], 40.00th=[  1048], 50.00th=[  1128], 60.00th=[  1240],      | 70.00th=[  1400], 80.00th=[  1656], 90.00th=[  2192], 95.00th=[  2960],      | 99.00th=[  5344], 99.50th=[  6688], 99.90th=[ 11712], 99.95th=[ 15040],      | 99.99th=[136192]    bw (  MiB/s): min=76800, max=95299, per=4.31%, avg=87646.99, stdev=91.81, samples=893    iops        : min=76790, max=95287, avg=87642.89, stdev=91.84, samples=893   lat (nsec)   : 750=0.62%, 1000=31.41%   lat (usec)   : 2=55.57%, 4=10.09%, 10=2.17%, 20=0.13%, 50=0.01%   lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%   lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%   cpu          : usr=0.52%, sys=59.95%, ctx=257025, majf=0, minf=39045   IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%      submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      issued rwts: total=873364,0,0,0 short=0,0,0,0 dropped=0,0,0,0      latency   : target=0, window=0, percentile=100.00%, depth=1 Run status group 0 (all jobs):    READ: bw=85.3GiB/s (91.6GB/s), 85.3GiB/s-85.3GiB/s (91.6GB/s-91.6GB/s), io=853GiB (916GB), run=10003-10003msec
Вот результат. А пул на SATA SSD
Vladislav
Проверь все же
Станислав
Проверь все же
Так скорость в ~92GB/s меня более чем устраивала. А вот то, что при следующем замере она вдруг 50 и так стабильно все следующие 5-10 замеров.... При это памяти свободной за глаза
Станислав
Это не показатель....
А при каком сценарии ARC высвободил бы часть? Чтобы потом каждый раз читать с диска какой-то кусок.
Станислав
Но я прочитал, принял к сведению, попробую membench и построю графики
Vladislav
Но я прочитал, принял к сведению, попробую membench и построю графики
К примеру, ещё https://www.intel.com/content/www/us/en/download/736633/intel-memory-latency-checker-intel-mlc.html https://www.binarytides.com/benchmark-ram-speed-on-linux-with-sysbench/ Ну и mbw
Станислав
К примеру, ещё https://www.intel.com/content/www/us/en/download/736633/intel-memory-latency-checker-intel-mlc.html https://www.binarytides.com/benchmark-ram-speed-on-linux-with-sysbench/ Ну и mbw
sysbench совершенно не умеет с Epyc работать. Измеряет что-то непонятное. Я с него начал, но хоть в один поток, хоть в 8 результат почти одинаковый — 22-24Гб/с
Станислав
Всё перепробовал на нём, ничего не помогает.
Станислав
Vladislav
https://openbenchmarking.org/test/pts/sysbench
Vladislav
Ибо так-то тесты работают с ним
Oleg
Всем привет, подскажите, если достойный ресурс или статья что бы более углубленно изучить zfs, сейчас эксплуатирую ее практически в дефолтных настройках. Хотелось бы получше узнать про варианты более оптимальных настроек, и вообще понять какие опции есть и решить для себя что из этого мне нужно а что оставить в дефолте.
Oleg
Была оракдовая методичка гдето, но год старый, хотя и поменялось мало чего
Я так понимаю там еще какято тема с совместимостью между версиями есть?