MB1000GCWCV

220 IOPS при глубине 1

4...10 ms задержка

ураа!!! assertion failed в OSD

я таки смог

Короче. я специально забенчил все диски отдельно. и в совершенно одинаковых условиях забенчил блюстор и не-блюстор

и что же ви таки думаете ?

Разницы нет

правильно!

а где же то самое устранение двойной записи и весёлые румяные графики ?

@SinTeZoiD есть идеи почему так? (как проверить, что всё произведено правильно) ?

(сейчас написал мегаскрипт который передеплоивает весь кластер и запускает бенчмарк). Вот чтоб прямо ТОЧНО всё тоже самое только блюстор и не блюстор

@SinTeZoiD есть идеи почему так? (как проверить, что всё произведено правильно) ?

Я не умею гадать по фотографии. Где методика тестирования? Где фио? Где описание дисков? Опять нет нихуя!

вот я как раз скрипт написа чтобы фио было

описание дисков:

(мне прям сюда пастить или куда?) @SinTeZoiD . есть конкретные скрипты где прям видно как именно бенчится

(мне прям сюда пастить или куда?) @SinTeZoiD . есть конкретные скрипты где прям видно как именно бенчится

Pastebin

замеренные хар-ки дисков: http://pastebin.com/bqhzTxVx

бенчмаркерилка диска + создание ОСД после этого: http://pastebin.com/inwXNX4y

удалялка OSD http://pastebin.com/uPVtns3u

Полный скрипт проведения бенчмарка (ВНИМАНИЕ! обновлён!): http://pastebin.com/1Jp4Ae47

ceph.conf: http://pastebin.com/DguBneDJ

@SinTeZoiD я кончел

Ну будет время посмотрю

спс

Полностью автоматизированный тест: с пулом размера три на 6 дисках в итоге я получаю 307 иопсов. НЕ БЛЮСТОР. Я считаю, что это более чем отличный результат, который подтверждает, что никакие иопсы там в цефе не теряются. Хотя и странно, ведь они говорили про двойную запись....

4 эксперимента по 4 измерения в каждом. первые два измерения — рандомная запись в один поток. вторые два — в 32 потока.

Ты хочешь сказать, что мы на цефе с репликой не теряем иопс относительно чистого диска?

ну смотри

Ну вообще из 6 дисков у тебя должно быть 400+ иопс

эт почему это

Если сата диск в среднем 80 дает

сата диск у меня даёт намного больше

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

вот и получается, 150*6 (суммарно иопсов везде) делим на 3. ну вот и 300.

или я идиот?

Если сата диск в среднем 80 дает

7200 / 60 = 120

https://github.com/ceph/ceph/pull/12555 - ЙА КРОСАФЧЕГ

Во разошелся то

7200 / 60 = 120

На хабре была статья

Где приведены средние значения

Ну и да, если у тебя один диск 120, а 6 307 то результат еще хуже)

Где приведены средние значения

да видел я её. с неё педивикию скопировали (или наоборот?)

Ну и да, если у тебя один диск 120, а 6 307 то результат еще хуже)

не распарсил

вот ещё посвежее результы

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

вот и получается, 150*6 (суммарно иопсов везде) делим на 3. ну вот и 300.

и что, @SinTeZoiD , я не прав?

только давай без рифмы на 300

@erzent

вот как по делу — так никого сразу нет.

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

https://habrahabr.ru/post/164325/

и вообще странные у тебя вычисления. откуда логика, что 1к3 ?

и вообще странные у тебя вычисления. откуда логика, что 1к3 ?

Ну 3 ж реплики

Это в идеале, понятно. В виду журналов, 1 к 6 должно быть. В блюсторе должно быть также, но в мб/сек меньше. По измерениям иопсов -- не так

вывод фио какой то странный.

и опять же он усредненный, хочется ещё во времени видеть.

можно в гисты графички припихнуть, аля https://gist.github.com/pcheliniy/b3c5e86bb328c41c61d8373bcdda2f1b

имхо интересен тест полный всего устройства и смотрет ьпотом на clat pct а не на среднее =\

https://github.com/ceph/ceph/pull/12555 - ЙА КРОСАФЧЕГ

Ну норм... завтра в 8 дебиане поменяется и будешь ещё один пилить, что б изменили

Ну норм... завтра в 8 дебиане поменяется и будешь ещё один пилить, что б изменили

не тролль) хорошее дело пушить в гит баг фиксы

не тролль) хорошее дело пушить в гит баг фиксы

Да это понятно, я вообще имел ввиду

Сегодня будут обсуждать бюджет на 2017..

Буду сидеть ждать

Минималку 4 "сервера"

ну твой план с core i5 может и прокатит)

i7 😆

однако всё равно мне кажется херовой идея размещать вм рядом с CEPH

Я тоже так думаю и сделаю плавующую вм

проксмоксе же такое решение бюджетное предлагает

Мне 1 вм нужна постоянно рабочая

и вм и сеф на одной ноде

А остальные будут на серверах

Ну ceph мне нужен именно как хранилка

Всем привет! вопрос по конфигу цефа: Если мне для разных osd хочется укзать разные параметры - могу ли я сделать такой конфиг? http://pastebin.com/fbD6ngGk

journal = /dev/ssd1 а зачем?

кто-нибудь знает, что еще можно покрутить в Bluestore OSD на предмет потребления памяти?

сколько читал мануалы - почти везде натыкался на советы перенести журнал на ssd