дальше во всякие memcpy и подобное упирается?)

Недавно вопросом задавался, хотел узнать сколько из арк может выдать Epyc 7F52 в 8-канальном режиме. Если не использовать сжатие, то результат был следующим и всё упиралось в производительность ЦП: root@pc:~# fio fio.ini write: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=1 ... fio-3.25 Starting 47 processes Jobs: 47 (f=47): [R(47)][100.0%][r=82.6GiB/s][r=84.6k IOPS][eta 00m:00s] write: (groupid=0, jobs=47): err= 0: pid=2380076: Mon Dec 11 00:01:52 2023   read: IOPS=87.3k, BW=85.3GiB/s (91.6GB/s)(853GiB/10003msec)     slat (usec): min=73, max=48881, avg=534.59, stdev=953.43     clat (nsec): min=641, max=16384k, avg=1594.93, stdev=36037.08      lat (usec): min=74, max=48887, avg=536.56, stdev=954.81     clat percentiles (nsec):      |  1.00th=[   764],  5.00th=[   844], 10.00th=[   884], 20.00th=[   932],      | 30.00th=[   980], 40.00th=[  1048], 50.00th=[  1128], 60.00th=[  1240],      | 70.00th=[  1400], 80.00th=[  1656], 90.00th=[  2192], 95.00th=[  2960],      | 99.00th=[  5344], 99.50th=[  6688], 99.90th=[ 11712], 99.95th=[ 15040],      | 99.99th=[136192]    bw (  MiB/s): min=76800, max=95299, per=4.31%, avg=87646.99, stdev=91.81, samples=893    iops        : min=76790, max=95287, avg=87642.89, stdev=91.84, samples=893   lat (nsec)   : 750=0.62%, 1000=31.41%   lat (usec)   : 2=55.57%, 4=10.09%, 10=2.17%, 20=0.13%, 50=0.01%   lat (usec)   : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01%   lat (msec)   : 2=0.01%, 4=0.01%, 10=0.01%, 20=0.01%   cpu          : usr=0.52%, sys=59.95%, ctx=257025, majf=0, minf=39045   IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%      submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%      issued rwts: total=873364,0,0,0 short=0,0,0,0 dropped=0,0,0,0      latency   : target=0, window=0, percentile=100.00%, depth=1 Run status group 0 (all jobs):    READ: bw=85.3GiB/s (91.6GB/s), 85.3GiB/s-85.3GiB/s (91.6GB/s-91.6GB/s), io=853GiB (916GB), run=10003-10003msec

А как это узнать?

А что за конфиг?

но и смысла, наверное, нет, потому что такие скорости уже в целом никуда не задействовать

Верно. Со сжатием в АМД как всегда не очень, при включении очень проседает скорость. Сейчас не помню результаты, позже могу показать, если интересно. Но на Epyc я заметил один глюк, когда скорость даже без сжатия могла просесть в 2-3 раза и только ребут гарантировано восстанавливал её. Так и не понял в чём было дело. Думаю как-то с numa связано

есть бест праксисы постгрес на зфс, можно поискать их. но и сам постгрес, вероятно, тоже нужно будет потюнить под нагрузку.

Из того что на гуглел, привело к ухудшению производительности

Из того что на гуглел, привело к ухудшению производительности

А кто то собирал ZFS на левых WD Red с озона? Это когда внутри ХЗ что стоит, а сверхку наклейка WD Red) Жизнеспособно при RAIDZ2/3 и 20-30 дисках по 4 Tb?

50/50... сомнительно, без окэй. у вас удача насколько вкачана?)

А кто то собирал ZFS на левых WD Red с озона? Это когда внутри ХЗ что стоит, а сверхку наклейка WD Red) Жизнеспособно при RAIDZ2/3 и 20-30 дисках по 4 Tb?

RED - это же черепичная запись. Дeмаю, не только НЕ стоит из них пул собирать, но и вообще использовать в сколько-нибудь ответственных местах.

А с какого перепугу обычные харды стало волновать, зарисано на них что-то или нет - при перезаписи?

Черепичные волнует, т.к. там происходит перезапись с наложением.

Я же написал - обычные, cmr

Ну так прочитайте, это было в контексте того, что скорее всего там обычный CMR, раз у диска такое поведение. Ну и WD Red впринципе не SMR, хотя новые модели могут быть, по крайней мере WD40EFRX это 100% SMR, если оригинал.

100 мегабайт как-то медленно для обычного, не?

100 мегабайт как-то медленно для обычного, не?

Тоже думаю, что 200+ должно быть

даташит погуглить по модели религия претить )

200+ это что то серверное типо WD ультрастраов на линейной записи.

Toshiba P300 (могу с буквой ошибиться, в общем самый дешман) 200+ имеет. Вам точно ред нужен?

Ред не черепичная запись. И может вы хотели написать НЕ стоит?

Только медленнее) Вот я про П300 и написал

Разумеется НЕ стоит

Ред не черепичная запись. И может вы хотели написать НЕ стоит?

Черепичная, но wd считают, что вправе говорить что её там нет, хоть это и не так. А если у вас проблемы возникнут, то диск не расчитан на не бытовые нагрузки

Ну дешёвую бекапню на 40 Tb сделать хочу, 14x4 Tb, как раз корпус валяется стоечный.

Насколько помню, они считали, что могут врать и никто не заметит, а проблемы когда полезли как и у всех смр, то признались и немало шуму было по этому поводу

Вы плохо себе предсталяете, насколько это плохо, когда технология записи smr, вместо cmr. Это фуфлышка вместотдиска, которая первые 5 минут работает на запись как ноомальный диск, а потом на пол часа уходит в астрал, попутно яростно молотит головками уничтожая механический ресурс накопителя.

Черепичная, но wd считают, что вправе говорить что её там нет, хоть это и не так. А если у вас проблемы возникнут, то диск не расчитан на не бытовые нагрузки

Ну дешёвую бекапню на 40 Tb сделать хочу, 14x4 Tb, как раз корпус валяется стоечный.

Вы плохо себе предсталяете, насколько это плохо, когда технология записи smr, вместо cmr. Это фуфлышка вместотдиска, которая первые 5 минут работает на запись как ноомальный диск, а потом на пол часа уходит в астрал, попутно яростно молотит головками уничтожая механический ресурс накопителя.

грубо говоря, объем диска на самом деле на 25% меньше чем заявленная емкость. Когда вы заполняете его до 75% первый раз, то всё ок. После, его проще выкинуть, чем эеспоуатировать дальше, т.к. любая продолжительная запись или перезапись уже записанных данных будет периодически отправлять диск в длительные состояния зависания. За это аремя zfs переведет диск в режим faulted а любой рейд массив его выпнет. Рассет был на то что пользоватль не успеет заполнить диск более чем га 75% ёмкости за время жизни. Их маркетинговые исследовпния, видите ли, показали, что люди пркупают диски емкостью больше чем им нужно 🤦‍♂ 😡 Ситуация, кстати сильно похожа на mlc ssd. Пока они работают в slc-режиме у вас все нормально, но это 50% емкости, ну может те же 75%, заполняете больше - ssd начинает адски тупить

WD Red это не бытовой диск) И конкретно модель WD40EFRX ЭТО ТОЧНО 1000% CMR, у меня их много, их в хвост и в гриву уже затестировал, правда жаль что больше их не выпускают.

Не знаю, нормальные SSD и на TLC не сильно тупят... Главное не брать шлак с флешкой внутри, под видом SSD)

Не знаю, нормальные SSD и на TLC не сильно тупят... Главное не брать шлак с флешкой внутри, под видом SSD)

А кто то собирал ZFS на левых WD Red с озона? Это когда внутри ХЗ что стоит, а сверхку наклейка WD Red) Жизнеспособно при RAIDZ2/3 и 20-30 дисках по 4 Tb?

там чуть другие причины снижения производительности но факт ее снижения это, конечно же, не отменяет

Я. Ничего конечно не пропало, но ну его нафиг из 12 четыре сдохло

Дохнут по причине быстрого износа механики насилуемой smr-прошивкой. Я думаю износ там минимум 100-кратный. Но если очистить диск через trim и не замолнять его более чем на 75%, то smr не включится и не убъет диск (но это не точно, могут быть приколы из-за несовершенства прошивки)

там чуть другие причины снижения производительности но факт ее снижения это, конечно же, не отменяет

За 3 месяца это всё произошло. При практически полной отстутствие какой-то либо деятельности. Те они просто стали покрываться бэдами

Не знал. Всё ещё хуже чем я себе это представлял. Не замолнены были (всмысли не перезаписаны полностью)?

И не заполнены полностью и не перезаписаны

Есть партии cmr есть smr. По интернету гуляют таблицы с серийными номерами для определения тезнологии. Но в целом там злосредный smr. Если у вас не так, вам повезло.

Заполните их на 100% и попробуйте произвести рандомную перезапись, гарантирую, скорость будет ниже чем на hdd!

Просто не сразу это насинается, т.к. у них есть не большой запас емкости скрвтый от пользователя.

Я. Ничего конечно не пропало, но ну его нафиг из 12 четыре сдохло

Через сколько сдохли? Есть ссылки на то что брали и что приехало?

Дохнут по причине быстрого износа механики насилуемой smr-прошивкой. Я думаю износ там минимум 100-кратный. Но если очистить диск через trim и не замолнять его более чем на 75%, то smr не включится и не убъет диск (но это не точно, могут быть приколы из-за несовершенства прошивки)

За 3 месяца это всё произошло. При практически полной отстутствие какой-то либо деятельности. Те они просто стали покрываться бэдами

Значит там изношенные диски которым леи 5-7 и новые наклейки?

Давно было

Я не берусь утверждать что там было.

Тесты не прогоняли викторией перед сборкой массива?

Нет

Ну так и серверным будет не очень, на 100%, хотя и получше за счет резервной области.

Даже в HDD с CMR, забивание в полку и замена данных это создание дикой фрагментации, от природы не уйдешь.

Нормальным серверным будет фиолетово, хот на 90% заполнить, хоть на 99%. Другое дело, что тут у zfs начнется фрагментация быстро нарастать. У серверных SSD буфер от 30-40% из реальной емкости, а у некоторых и ещё больше. кроме того, там контроллер другой и часто есть модули обычной оперативной памяти для того чтобы осуществлять дефрагментацию контроллеру было удобнее, там есть конденсаторы, из-за наличия которых контроллер может использовать более агрессивные алгоритмы, там лимиты на энергопотребление другие (греются серверные ssd намного сильнее). В конце концов, я сам проверял. Никакой разницы, можно заполнять на 100% и ниже указанных в спецификации параметров вы не увидите. По крайней мере это справедливо в в отношении intel

Нормальным серверным будет фиолетово, хот на 90% заполнить, хоть на 99%. Другое дело, что тут у zfs начнется фрагментация быстро нарастать. У серверных SSD буфер от 30-40% из реальной емкости, а у некоторых и ещё больше. кроме того, там контроллер другой и часто есть модули обычной оперативной памяти для того чтобы осуществлять дефрагментацию контроллеру было удобнее, там есть конденсаторы, из-за наличия которых контроллер может использовать более агрессивные алгоритмы, там лимиты на энергопотребление другие (греются серверные ssd намного сильнее). В конце концов, я сам проверял. Никакой разницы, можно заполнять на 100% и ниже указанных в спецификации параметров вы не увидите. По крайней мере это справедливо в в отношении intel

@underflow17 , так остальные 8 дисков то живы до сих пор?

Я их пропил