не весь смысл был на бомж виртуалках сравнить

и последовательная запись

и 68 амазоновских против 16 ажуровских

ubuntu@ip-172-31-30-30:~$ dd if=/dev/zero of=test bs=1M count=1000 oflag=direct 1000+0 records in 1000+0 records out 1048576000 bytes (1.0 GB) copied, 15.4155 s, 68.0 MB/s

амазон

Спору нет что в ажуре не ажурно)

Задержки глянуть хочется.

ща фио отработает

AZURE randwrite: (groupid=0, jobs=2): err= 0: pid=3248: Sun Oct 15 09:21:28 2017 write: io=997.78MB, bw=8512.2KB/s, iops=2128, runt=120029msec slat (usec): min=2, max=210157, avg=938.21, stdev=11252.31 clat (usec): min=0, max=2355, avg= 0.46, stdev= 4.96 lat (usec): min=2, max=210167, avg=938.87, stdev=11252.65 clat percentiles (usec): | 1.00th=[ 0], 5.00th=[ 0], 10.00th=[ 0], 20.00th=[ 0], | 30.00th=[ 0], 40.00th=[ 0], 50.00th=[ 0], 60.00th=[ 0], | 70.00th=[ 1], 80.00th=[ 1], 90.00th=[ 1], 95.00th=[ 1], | 99.00th=[ 2], 99.50th=[ 3], 99.90th=[ 18], 99.95th=[ 22], | 99.99th=[ 42] bw (KB /s): min= 19, max=574094, per=55.79%, avg=4748.65, stdev=40387.25 lat (usec) : 2=98.66%, 4=0.92%, 10=0.18%, 20=0.16%, 50=0.07% lat (usec) : 100=0.01%, 250=0.01%, 500=0.01% lat (msec) : 4=0.01% cpu : usr=0.12%, sys=0.54%, ctx=3701, majf=0, minf=23 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued : total=r=0/w=255426/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0 latency : target=0, window=0, percentile=100.00%, depth=1 Run status group 0 (all jobs): WRITE: io=997.78MB, aggrb=8512KB/s, minb=8512KB/s, maxb=8512KB/s, mint=120029msec, maxt=120029msec Disk stats (read/write): sda: ios=0/55491, merge=0/46900, ticks=0/474804, in_queue=474800, util=98.71%

AWS Jobs: 2 (f=2): [ww] [100.0% done] [0KB/25210KB/0KB /s] [0/6302/0 iops] [eta 00m:00s] randwrite: (groupid=0, jobs=2): err= 0: pid=1995: Sun Oct 15 09:24:02 2017 write: io=2048.0MB, bw=19133KB/s, iops=4783, runt=109611msec slat (usec): min=1, max=143412, avg=416.26, stdev=3144.18 clat (usec): min=0, max=5668, avg= 0.39, stdev=11.80 lat (usec): min=2, max=143416, avg=416.88, stdev=3144.42 clat percentiles (usec): | 1.00th=[ 0], 5.00th=[ 0], 10.00th=[ 0], 20.00th=[ 0], | 30.00th=[ 0], 40.00th=[ 0], 50.00th=[ 0], 60.00th=[ 0], | 70.00th=[ 1], 80.00th=[ 1], 90.00th=[ 1], 95.00th=[ 1], | 99.00th=[ 1], 99.50th=[ 2], 99.90th=[ 5], 99.95th=[ 11], | 99.99th=[ 27] bw (KB /s): min= 3720, max=341344, per=50.28%, avg=9618.62, stdev=23112.64 lat (usec) : 2=99.29%, 4=0.58%, 10=0.07%, 20=0.04%, 50=0.01% lat (usec) : 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%, 1000=0.01% lat (msec) : 2=0.01%, 4=0.01%, 10=0.01% cpu : usr=0.19%, sys=0.92%, ctx=40344, majf=0, minf=52 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued : total=r=0/w=524288/d=0, short=r=0/w=0/d=0 Run status group 0 (all jobs): WRITE: io=2048.0MB, aggrb=19132KB/s, minb=19132KB/s, maxb=19132KB/s, mint=109611msec, maxt=109611msec Disk stats (read/write): xvda: ios=0/282849, merge=0/78576, ticks=0/465436, in_queue=465424, util=98.99%

дай коммандлайн фио плз

fio —name=randwrite —ioengine=libaio —iodepth=1 —rw=randwrite —bs=4k —direct=0 —size=1024M —numjobs=2 —runtime=120 —group_reporting

ага, спс

наши хранилки протещу - будет тут

а задержки весьма ок, так то.

да у них там рдма

Очень даже хорошо.

плюс опсы хорошие

вооот

но больше мне нравится

ethtool eth0 Settings for eth0: Supported ports: [ ] Supported link modes: Not reported Supported pause frame use: No Supports auto-negotiation: No Advertised link modes: Not reported Advertised pause frame use: No Advertised auto-negotiation: No Speed: 40000Mb/s Duplex: Full Port: Other PHYAD: 0 Transceiver: internal Auto-negotiation: off Link detected: yes

Speed: 40000Mb/s 40 гигабит уася

у нас похожая картина - как начнут тестить dd или копированием файлов через smb по интеернет через vpn...

айперфом без заморочек можно было получить 2 гигабита в однмо внет

тут есть момент

у меня в кейсе последовательная запись

тупо в большой файл

или чанками фикс размера

айперфом без заморочек можно было получить 2 гигабита в однмо внет

Ну а последовательная запись через fio как?

один аз другим

ща

ажур

Run status group 0 (all jobs): WRITE: io=2048.0MB, aggrb=17640KB/s, minb=17640KB/s, maxb=17640KB/s, mint=118880msec, maxt=118880msec Disk stats (read/write): sda: ios=0/3636, merge=0/7455, ticks=0/16372208, in_queue=16723476, util=99.75%

17 мегабайт грубо говоря

против авс

Run status group 0 (all jobs): WRITE: io=2048.0MB, aggrb=74965KB/s, minb=74965KB/s, maxb=74965KB/s, mint=27975msec, maxt=27975msec Disk stats (read/write): xvda: ios=0/13951, merge=0/29, ticks=0/3932632, in_queue=3953056, util=98.27%

aggrb=74965KB/s

по ажуру то же самое что дд получил

для последовательной записи dd норм тест, главное директ

Угу. Мож режут пропускную способность?

да 100% режут

есть подозрение что у них лимиты строгие

а не как у амазона - сначала норм, а потом затротлим

надо на часик запустить фио тест

и там и там

ибо даже по тесту видно как в ажуре иопсы держатся согласна плану 3200 плюс минус

Ага.

а еще подергав ажурувскую виртуалку тестами - она халипла

fio —name=write —ioengine=libaio —iodepth=1 —rw=write —bs=4k —direct=1 —size=1024M —numjobs=2 —runtime=3600 —group_reporting —time_based

короче понеслась пизда по кочкам

аж интересно

ту би континьют через час

Jobs: 2 (f=2): [W(2)] [10.8% done] [0KB/6521KB/0KB /s] [0/1630/0 iops] [eta 53m:32s] ажур уже просел

Jobs: 2 (f=2): [W(2)] [11.4% done] [0KB/11356KB/0KB /s] [0/2839/0 iops] [eta 53m:10s] авс пока держится лучше

Jobs: 2 (f=2): [W(2)] [17.6% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 49m:28s] ажур еще так любит делать )

Ради интереса еще на венде запустил

через 50 минут авс затротлил к хуям Jobs: 2 (f=2): [W(2)] [79.8% done] [0KB/404KB/0KB /s] [0/101/0 iops] [eta 12m:07s]

Мда) Не удивлюсь, кстати, если это сделано было руками младших инженеров, ага.

Типа пялились-пялились в экран. Хуяк - аномалия! Ну-ка мы его щас.

Вроде и не хочтся думать что так бывает, а вроде и достаточно уже слышал про амазон чтобы предположить такое.

не у них это описанно поведение

)

раз в час

А)

у ажура круче

Jobs: 2 (f=2): [W(2)] [17.6% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 49m:28s]

и так каждые минут 10

[96.9% done] [0KB/0KB/0KB /s] [0/0/0 iops] [eta 01m:53s] под конец даже чаще

https://pastebin.com/Un2vKFHa Ажур

https://pastebin.com/dwvytJ4j - АВС

судя по тому, что ща в ажуре под вендой - результаты сильно не будут отличаться от бубунты

ради приличия еще на гугле на ссд сторелже запустил

https://pastebin.com/tscPbMxz венда в ажуре

гугл близок к ажуру по дисковой Jobs: 2 (f=2): [W(2)] [30.0% done] [0KB/6012KB/0KB /s] [0/1503/0 iops] [eta 41m:59s]

у авс все хорошо, кроме того, что раз в час тебя затротлят к хуям, если диск не IO оптимизейт

gce с ssd диском https://pastebin.com/LcQ4HXRV