Mark ☢️
Random write IOPS: 200.67
Mark ☢️
так что на нормальных дисках, чочо риальне, больше чем теоретические120 IOPS.
Mark ☢️
щас сделаю чтобы выгребалось, напишу. Понятно, что на 32 латенси не будет маленьким.
Mark ☢️
прост на сигейтах десктопных такие иопсы не получить вобще никак
Mark ☢️
'latency_depth': 1,
'latency_ms': {'10': 78.65,
'100': 0.0,
'1000': 0.0,
'2': 0.0,
'20': 0.99,
'2000': 0.0,
'250': 0.0,
'4': 13.12,
'50': 0.0,
'500': 0.0,
'750': 0.0,
'>=2000': 0.0},
Mark ☢️
'latency_depth': 32,
'latency_ms': {'10': 0.05,
'100': 2.04,
'1000': 0.0,
'2': 0.0,
'20': 0.1,
'2000': 0.0,
'250': 90.6,
'4': 4.28,
'50': 0.42,
'500': 2.51,
'750': 0.0,
'>=2000': 0.0},
Mark ☢️
тащемта ничего нового
kiosaku
200 иопсов на шпинделе ... пора методички переписывать :)
Mark ☢️
именно, Карл!
Mark ☢️
причём это 7200 оборотов
kiosaku
но сата же ...
Mark ☢️
опять за ново здорово.
Mark ☢️
а не смущает что на саташно SSD 47К иопсов ?
Mark ☢️
(на одном из моих)
Mark ☢️
чо к этому сата прикопались. интерфейс как интерфейс
kiosaku
ide ж ...
Mark ☢️
kiosaku
если сата такой хороший, чего sas-то никак не помрёт?
kiosaku
точнее, скази
Mark ☢️
если сата такой хороший, чего sas-то никак не помрёт?
по той же причине, что и джава — попробуй соскочи
Mark ☢️
это он когда-то был лучше.
Mark ☢️
сильно лучше
Mark ☢️
и да, у него есть фичи, которых нет в сата, но именно мне они не нужны
kiosaku
ну, как бы связка из sata дисков как бы проигрывает под нагрузкой связке из sas-дисков
kiosaku
в первую очередь - работающий command queueing
kiosaku
hdd sata vs hdd sas
Mark ☢️
Написал на питоне парсилку фиошного джсона:
Mark ☢️
Model Number: WDC WD5003ABYX-01WERA0
Serial Number: WD-WMAYP0915002
Firmware Revision: 01.01S01
device size with M = 1000*1000: 500107 MBytes (500 GB)
Depth 1: Linear read MiB/s: 133.0927734375
Depth 1: Linear write MiB/s: 133.0263671875
Depth 1: randwrite IOPS: 202.42
latencey percentage:
76.64%: 10 ms
12.99%: 4 ms
7.06%: 0.25 ms
1.53%: 0.5 ms
1.48%: 20 ms
Depth 32: Linear read MiB/s: 126.025390625
Depth 32: Linear write MiB/s: 133.078125
Depth 32: randwrite IOPS: 201.4
latencey percentage:
91.12%: 250 ms
4.78%: 4 ms
1.17%: 10 ms
Mark ☢️
а то они со своиими микросекундами и милисекундами тупой формат сделали
Roman
Mark ☢️
чот не нашёл её в инете
Mark ☢️
только пакет в доебане
Михаил
так что на нормальных дисках, чочо риальне, больше чем теоретические120 IOPS.
Вообще да, но нет. Есть модели с большим кешем на рв
Mark ☢️
Вообще да, но нет. Есть модели с большим кешем на рв
решается временем запуска фио. Отключать кеш — не вариант: во-первых, в реальности кешбудет включён, во-вторых, производительность сильно падает при отключении кеша. как минимум, он не сможет писать более одно сектора за раз никак.
Mark ☢️
или я не понял как это всё работает
Михаил
Mark ☢️
минут ?!
Mark ☢️
ну ладно. попробую так
Mark ☢️
странно ведь. если мои 10 секунд полностью попадают в кеш, то там должно быть нифига не 200 иопсов, а намного больше
Mark ☢️
Ещё, сейчас почти написал тест который тестирует тож самое но в параллель.
Mark ☢️
на дерьмовых серверах оно внезапно отличается от тестирования по одному
Mark ☢️
причём иногда упирается в какую-то шину (мегабайты в секунду)
Mark ☢️
а когда-то в транзакции в секунду (иопсы)
Mark ☢️
INFO:root:Benchmarking parallel randwrite of devices: ['/dev/sdb', '/dev/sdc', '/dev/sdd', '/dev/sde'] on host node3.
INFO:root:Device /dev/sdb: 183.28 IOPS.
INFO:root:Device /dev/sdc: 184.30 IOPS.
INFO:root:Device /dev/sdd: 198.11 IOPS.
INFO:root:Device /dev/sde: 166.79 IOPS.
Mark ☢️
такие дела
Mark ☢️
а по одному все по 200
Mark ☢️
INFO:root:Benchmarking parallel write of devices: ['/dev/sdb', '/dev/sdc', '/dev/sdd', '/dev/sde'] on host node3.
INFO:root:Device /dev/sdb: 136.87 MiB/s.
INFO:root:Device /dev/sdc: 133.37 MiB/s.
INFO:root:Device /dev/sdd: 161.01 MiB/s.
INFO:root:Device /dev/sde: 130.97 MiB/s.
Mark ☢️
а на линейную запись не влияет никак
Александр
А что за сервера?
Mark ☢️
Base Board Information
Manufacturer: ASUSTeK COMPUTER INC.
Product Name: B85M-E
Mark ☢️
нувыпонели
Александр
))
Mark ☢️
вот новая паста, более отполированная
Mark ☢️
https://pastebin.com/0wQ98mDJ
Mark ☢️
=== Depth 1 ==========
Linear read: 136.88 MiB/s.
Linear write: 136.90 MiB/s.
Randwrite: 188.16 IOPS. Percentage:
83.94%: 10 ms.
14.09%: 4 ms.
01.53%: 20 ms.
=== Depth 32 ==========
Linear read: 136.80 MiB/s.
Linear write: 136.91 MiB/s.
Randwrite: 188.76 IOPS. Percentage:
99.67%: 250 ms.
Mark ☢️
5-минутный тест
Mark ☢️
# timedatectl set-ntp yes
Failed to set ntp: NTP not supported.
Mark ☢️
и да, центос 7 предвосхищает, блять
Дмитрий
chrony настрой он автоматом подхватит
Дмитрий
[root@ceph1 ceph]# timedatectl
.......
NTP enabled: yes
NTP synchronized: yes
kiosaku
rhel выпилил
Pavel
ntpd
Mark ☢️
а вот и нет
Mark ☢️
в 7 chrony
Mark ☢️
Checking device /dev/sdd on host node3.
Model Number: TOSHIBA MG03ACA100.
Serial Number: 5597K6X1F.
Firmware Revision: FL1A.
device size with M = 1000*1000: 1000204 MBytes (1000 GB).
=== Depth 1 ==========
Linear read: 160.73 MiB/s.
Linear write: 159.82 MiB/s.
Randwrite: 192.98 IOPS. Percentage:
64.58%: 10 ms.
26.22%: 4 ms.
04.36%: 20 ms.
01.98%: 0.5 ms.
01.64%: 0.75 ms.
Mark ☢️
Тошнива тоже не плоха
Mark ☢️
Randwrite: 193.24 IOPS. Percentage:
94.09%: 250 ms.
kiosaku
конфиги fio - выше?
kiosaku
прогоню у себя
kiosaku
на hus724040
kiosaku
7200 4TB
Mark ☢️
[osd.0]
cluster addr = 192.168.20.1
[osd.1]
cluster addr = 192.168.20.1
[osd.2]
cluster addr = 192.168.20.1
[osd.3]
cluster addr = 192.168.20.2
[osd.4]
cluster addr = 192.168.20.2
[osd.5]
cluster addr = 192.168.20.2