Александр
"вначале производства"
Mark ☢️
што
Александр
Ну, 2014 год...
Mark ☢️
достали искапропки, запустили тест и ждали пока умрёт. потом показали график
Александр
всмысле апгреты и т.п.
Александр
Неее, я про то, что ревизия ссд какая
Александр
2014 год, не показатель как бы
Uncel
вы тут блочные устройства гоняете?
Александр
Ну он пытается гонять и ищет что за хуйня с его ceph
Александр
Т.е. с диском от самсунг и ceph вцелом
Александр
На самом деле тоже странно, почему они взяли диски 250+ гб, ане 512
Александр
в 2014 почти все были уже 512
Александр
Т.е. у всех производителей
Mark ☢️
Однако печатная плата Samsung 850 Pro лишена каких бы то ни было батарей конденсаторов, то есть в этом SSD не предусмотрено специальных средств сохранения целостности информации при внезапном отключении питания. Это — ещё одна причина, по которой потребительский накопитель, построенный на V-NAND с практически бесконечным ресурсом, отнести к серверным решениям всё-таки невозможно.
Mark ☢️
охуенный вывод
Александр
Сначала про ПРО, а потом не про ПРО?
Uncel
test: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 1024MB) Jobs: 1 (f=1): [w(1)] [-.-% done] [0KB/346.3MB/0KB /s] [0/88.7K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=14928: Fri Jan 6 13:04:38 2017 write: io=1024.0MB, bw=349292KB/s, iops=87323, runt= 3002msec slat (usec): min=4, max=2438, avg= 6.74, stdev= 7.45 clat (usec): min=148, max=11176, avg=358.62, stdev=185.70 lat (usec): min=215, max=11181, avg=365.48, stdev=185.83 clat percentiles (usec): | 1.00th=[ 253], 5.00th=[ 330], 10.00th=[ 342], 20.00th=[ 346], | 30.00th=[ 346], 40.00th=[ 346], 50.00th=[ 346], 60.00th=[ 350], | 70.00th=[ 350], 80.00th=[ 350], 90.00th=[ 358], 95.00th=[ 370], | 99.00th=[ 490], 99.50th=[ 1020], 99.90th=[ 2352], 99.95th=[ 3440], | 99.99th=[ 8896] bw (KB /s): min=330392, max=354200, per=100.00%, avg=349308.00, stdev=9360.62 lat (usec) : 250=0.86%, 500=98.19%, 750=0.28%, 1000=0.15% lat (msec) : 2=0.22%, 4=0.24%, 10=0.05%, 20=0.01% cpu : usr=19.19%, sys=61.71%, ctx=177038, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0% issued : total=r=0/w=262144/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=32 Run status group 0 (all jobs): WRITE: io=1024.0MB, aggrb=349292KB/s, minb=349292KB/s, maxb=349292KB/s, mint=3002msec, maxt=3002msec Disk stats (read/write): sdb: ios=0/252811, merge=0/903, ticks=0/86196, in_queue=86420, util=96.69%
Александр
Или я чото не уловил
Mark ☢️
test: (g=0): rw=randwrite, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=32 fio-2.2.10 Starting 1 process test: Laying out IO file(s) (1 file(s) / 1024MB) Jobs: 1 (f=1): [w(1)] [-.-% done] [0KB/346.3MB/0KB /s] [0/88.7K/0 iops] [eta 00m:00s] test: (groupid=0, jobs=1): err= 0: pid=14928: Fri Jan 6 13:04:38 2017 write: io=1024.0MB, bw=349292KB/s, iops=87323, runt= 3002msec slat (usec): min=4, max=2438, avg= 6.74, stdev= 7.45 clat (usec): min=148, max=11176, avg=358.62, stdev=185.70 lat (usec): min=215, max=11181, avg=365.48, stdev=185.83 clat percentiles (usec): | 1.00th=[ 253], 5.00th=[ 330], 10.00th=[ 342], 20.00th=[ 346], | 30.00th=[ 346], 40.00th=[ 346], 50.00th=[ 346], 60.00th=[ 350], | 70.00th=[ 350], 80.00th=[ 350], 90.00th=[ 358], 95.00th=[ 370], | 99.00th=[ 490], 99.50th=[ 1020], 99.90th=[ 2352], 99.95th=[ 3440], | 99.99th=[ 8896] bw (KB /s): min=330392, max=354200, per=100.00%, avg=349308.00, stdev=9360.62 lat (usec) : 250=0.86%, 500=98.19%, 750=0.28%, 1000=0.15% lat (msec) : 2=0.22%, 4=0.24%, 10=0.05%, 20=0.01% cpu : usr=19.19%, sys=61.71%, ctx=177038, majf=0, minf=10 IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=100.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0% issued : total=r=0/w=262144/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=32 Run status group 0 (all jobs): WRITE: io=1024.0MB, aggrb=349292KB/s, minb=349292KB/s, maxb=349292KB/s, mint=3002msec, maxt=3002msec Disk stats (read/write): sdb: ios=0/252811, merge=0/903, ticks=0/86196, in_queue=86420, util=96.69%
что за девайс ?
Mark ☢️
и точную команду можно ?
Uncel
что за девайс ?
840 pro, fio —randrepeat=1 —ioengine=libaio —direct=1 —name=test —bs=4k —size=1G —iodepth=32 —readwrite=randwrite —filename=/home/qqw; скорее всего я херню намерял
Mark ☢️
--sync=1 попробуй добавить
Mark ☢️
ну и 1 гиг это мало
Mark ☢️
сделай так:
Mark ☢️
fallocate -l10G /home/qwe И на нём запусти тест без указания размера
Mark ☢️
я уже возбудился
Mark ☢️
от 87К иопсов
Mark ☢️
о, а попробую-ка я тоже через ФС сделать
Uncel
Да, оно в кэш улетелео, сейчас iowait жуткий
Александр
:-\
Александр
fio норм получится через nfs тестить?
Александр
:-\
Mark ☢️
fio норм получится через nfs тестить?
ну как.. работать будет.
Mark ☢️
через ФС кстати у меня в 2 раза меньше. какого болта ?!
Mark ☢️
о. а щас больше. видимо на правку структур в XFS уходит время. фаллокейт такой фаллокейт
Uncel
https://lkml.org/lkml/2013/11/20/264
Uncel
без sync write: io=10240MB, bw=345734KB/s, iops=86433, runt= 30329msec
Uncel
норм пишется в никуда :D
Александр
fio —randrepeat=1 —ioengine=libaio —direct=1 —name=test —bs=4k —size=80G —iodepth=32 —readwrite=randwrite —filename=/home/test Печалько Run status group 0 (all jobs): WRITE: io=9120.6MB, aggrb=34861KB/s, minb=34861KB/s, maxb=34861KB/s, mint=267899msec, maxt=267899msec
Mark ☢️
ааа. это типа память в самом ссд
Mark ☢️
есть большая разница — аллоцирован ли файл или нет (если вы на файлах тестите)
Mark ☢️
лучше всего имхо на LVM Или разделе. без ФС
Александр
с рейдом вообще всё плохо :D
Mark ☢️
через ФС и без ФС ОЧЕНЬ разные результаты
Mark ☢️
и особенно влияние —sync
Mark ☢️
херня какаято. при O_DIRECT разницы быть не должно, но она есть
Mark ☢️
у меня цеф использует LVM под журнал, так что я тестить буду именно без ФС
Mark ☢️
ШТО ЗА ЁБАННЫЙ НАСОС
Mark ☢️
отключил кэш `hdparm -W 0 /dev/sda`и иопсы стали в 2 раза больше
Mark ☢️
что за хуйня
Mark ☢️
а на магнитных дисках наоборот
Mark ☢️
sudo fio --ioengine=libaio --direct=1 --sync=1 --name=test --bs=4k --iodepth=32 --readwrite=randwrite --filename=/dev/mmwork/qwe
Mark ☢️
write: io=8453.6MB, bw=169298KB/s, iops=42324, runt= 51131msec
Mark ☢️
блять никому нельзя доверять
Mark ☢️
я блять негодую
Mark ☢️
сделал тоже самое на самсунге. получил блять 500 иопсов
Mark ☢️
вернее 400
Mark ☢️
масштаб несоизмеримый нахуй
Mark ☢️
кароче, вертекс всех рвёт
Mark ☢️
но срамсуньг просто убил
Mark ☢️
400 иопсов
Mark ☢️
пиздец
Uncel
Кинь ему пачку тримов
Mark ☢️
ну я ж не еблан
Mark ☢️
я каждый раз перед тестом делаю blkdiscard
Mark ☢️
пиздец адский говнодиск
Mark ☢️
наёбыватели
Mark ☢️
видимо придёцца писать скрипт тестирования для адекватных цыфирей
Mark ☢️
хорошо что fio умеет в json
Mark ☢️
пойду напишу скрипт
Uncel
наёбыватели
пили test suite и лейблы для крафтовых ssd
Mark ☢️
ЧОТА СЛОЖНА
Uncel
фороникса спихнешь чо
Mark ☢️
там ещё гандроллер нормальный надо. у меня есть норм сервак и возможность подключить к нему разные ссд одновременно
Mark ☢️
аштрисёт
Mark ☢️
что теперь покупать? всмысле ссд
Anonymous
фороникса спихнешь чо
его тесты на бубунте рассматривать нельзя, как купит rhel, тогда смысл будет
Александр
😆