$ ceph osd df ID WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS 0 0.87849 1.00000 899G 5164M 894G 0.56 0.33 0 1 0.90919 1.00000 931G 5165M 926G 0.54 0.32 0 2 0.90919 1.00000 931G 5162M 926G 0.54 0.32 0 3 0.00009 1.00000 1397G 57239M 1341G 4.00 2.34 0 TOTAL 4158G 72732M 4087G 1.71

даже больше

(ну.... он блюстор правда)

))

ну всиравно

есть подозрение вот какое

так как блюстор — это маленький XFS и ещё один блокдейвай, то наверно для вычисления веса оно взяло размер того XFS

что маразм полный

куда копать ? что смотреть ?

поставь вес ему какой хочешь

да и всё

ceph osd reweight-by-utilization

$ ceph osd reweight-by-utilization moved 0 / 0 (-nan%) avg 0 stddev 0 -> 0 (expected baseline 0) min osd.0 with 0 -> 0 pgs (-nan -> -nan * mean) max osd.0 with 0 -> 0 pgs (-nan -> -nan * mean) oload 120 max_change 0.05 max_change_osds 4 average 0.017079 overload 0.020494 osd.3 weight 1.000000 -> 0.950012 [ceph_deploy@node2 ~]$ ceph osd df ID WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS 0 0.87849 1.00000 899G 5164M 894G 0.56 0.33 0 1 0.90919 1.00000 931G 5165M 926G 0.54 0.32 0 2 0.90919 1.00000 931G 5162M 926G 0.54 0.32 0 3 0.00009 0.95001 1397G 57239M 1341G 4.00 2.34 0 TOTAL 4158G 72732M 4087G 1.71 MIN/MAX VAR: 0.32/2.34 STDDEV: 1.51

те же ЙАЙЦА

ceph osd reweight-by-utilization

не ревейт

а weight

ээээ

а почему ревеигхт не сработал ?

причем написал даже osd.3 weight 1.000000 -> 0.950012

что за фигня

аааа

сейчас понял

причем написал даже osd.3 weight 1.000000 -> 0.950012

блядь, читай доки

сорян

http://onreader.mdl.ru/LearningCeph/content/index.html#ToC на русском, вроде свежак

http://onreader.mdl.ru/CephCookbook/content/index.html

А какие винты порекомендует для осд?

Вд ентерпрайз желтые норм будет ?

RE ок

да в целом любые) тут же как обычно. нормально делай - нормально будет

бытовый могут быть источником проблем

бытовый могут быть источником проблем

А могут не быть

будут, вопрос когда, бытовой винт пытается до последнего считать сбойный блок

"серверный" быстро дает ошибку чтения/записи

что не вешает софт который работает с этим винтом

на большом количестве винтов они становятся расходниками

Кароче. заюзал блюстор

и шо же ви думаете ?

один хрен

а дожно быть быстрее, ибо нету дабл врайта

как-бы хуй-с

Кинь доку на блюстор

Кароче. заюзал блюстор

а ты все на блюстор запихнул? как тестируешь?

ceph osd pool create rbdbench 128 ceph osd pool set rbdbench size 1 rbd bench-write image01 —pool=rbdbench

вот так

ой

имедж креате команду не написал

DNIWE

шта

do not invent weels ?

xnj 'nj

что это

шта

днище говорю

fio освой

и потом уже говори про тесты

а чем эта бенчилка плоха ?

https://habrahabr.ru/post/154235/

а чем эта бенчилка плоха ?

не показывает реальной картины. только fio только классика

# cat qwe.fio [global] ioengine=rbd clientname=admin pool=rbdbench rbdname=image01 rw=randwrite bs=4k [rbd_iodepth32] iodepth=32

write: io=812564KB, bw=359057B/s, iops=87, runt=2317362msec

интереснее строчки про clat/slat обычно. вы статью почитайте, которую сверху скинули.

rbd_iodepth32: (groupid=0, jobs=1): err= 0: pid=1356: Fri Dec 9 16:14:30 2016 write: io=812564KB, bw=359057B/s, iops=87, runt=2317362msec slat (usec): min=1, max=342, avg= 2.44, stdev= 5.66 clat (msec): min=34, max=2361, avg=364.98, stdev=219.50 lat (msec): min=34, max=2361, avg=364.98, stdev=219.50 clat percentiles (msec): | 1.00th=[ 91], 5.00th=[ 133], 10.00th=[ 159], 20.00th=[ 200], | 30.00th=[ 239], 40.00th=[ 269], 50.00th=[ 289], 60.00th=[ 359], | 70.00th=[ 441], 80.00th=[ 515], 90.00th=[ 603], 95.00th=[ 775], | 99.00th=[ 1172], 99.50th=[ 1418], 99.90th=[ 1713], 99.95th=[ 1844], | 99.99th=[ 2089] bw (KB /s): min= 24, max= 944, per=100.00%, avg=365.04, stdev=144.12 lat (msec) : 50=0.04%, 100=1.69%, 250=32.18%, 500=44.26%, 750=16.06% lat (msec) : 1000=3.97%, 2000=1.78%, >=2000=0.02%

я пока недостаточно всё это понял

что скажут эксперты ?

у вас средняя задержка 364 мс. это очень плохой показатель. нормальный показатель задержки для "почти полностью загруженного" магнитного диска - 10 мс.

возможно сеть более, чем медленная, конечно. но вообще попробуйте сначала на холодном кластере запустить fio с iodepth 1

вы не поняли. нет сети

один нод с 3 дисками

тем более.

ах да, фио запускается на нём же

кластер ниченм не занят. запустил с депс 1

диски магнитные по 1 Тб

5400 и выключен кеш?)

сейчас уточню

БЛЯТЬ ЧТОБ БЛЯТЬ СДОХ ПЕДОРАС КОТОРЫЙ ДАЛ МНЕ ДИСК

http://www.newegg.com/Product/Product.aspx?Item=N82E16822148764

ШТО ДЕЛАЕТ GREEN В МОЕМ КОМПЕ ВОБЩЕ

в рот мне ноги

щас уберу его

остальные два диска 7200 рпм