@SinTeZoiD есть идеи почему так? (как проверить, что всё произведено правильно) ?

Я не умею гадать по фотографии. Где методика тестирования? Где фио? Где описание дисков? Опять нет нихуя!

вот я как раз скрипт написа чтобы фио было

описание дисков:

(мне прям сюда пастить или куда?) @SinTeZoiD . есть конкретные скрипты где прям видно как именно бенчится

(мне прям сюда пастить или куда?) @SinTeZoiD . есть конкретные скрипты где прям видно как именно бенчится

Pastebin

замеренные хар-ки дисков: http://pastebin.com/bqhzTxVx

бенчмаркерилка диска + создание ОСД после этого: http://pastebin.com/inwXNX4y

удалялка OSD http://pastebin.com/uPVtns3u

Полный скрипт проведения бенчмарка (ВНИМАНИЕ! обновлён!): http://pastebin.com/1Jp4Ae47

ceph.conf: http://pastebin.com/DguBneDJ

@SinTeZoiD я кончел

Ну будет время посмотрю

спс

Полностью автоматизированный тест: с пулом размера три на 6 дисках в итоге я получаю 307 иопсов. НЕ БЛЮСТОР. Я считаю, что это более чем отличный результат, который подтверждает, что никакие иопсы там в цефе не теряются. Хотя и странно, ведь они говорили про двойную запись....

4 эксперимента по 4 измерения в каждом. первые два измерения — рандомная запись в один поток. вторые два — в 32 потока.

Ты хочешь сказать, что мы на цефе с репликой не теряем иопс относительно чистого диска?

ну смотри

Ну вообще из 6 дисков у тебя должно быть 400+ иопс

эт почему это

Если сата диск в среднем 80 дает

сата диск у меня даёт намного больше

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

вот и получается, 150*6 (суммарно иопсов везде) делим на 3. ну вот и 300.

или я идиот?

Если сата диск в среднем 80 дает

7200 / 60 = 120

https://github.com/ceph/ceph/pull/12555 - ЙА КРОСАФЧЕГ

Во разошелся то

7200 / 60 = 120

На хабре была статья

Где приведены средние значения

Ну и да, если у тебя один диск 120, а 6 307 то результат еще хуже)

Где приведены средние значения

да видел я её. с неё педивикию скопировали (или наоборот?)

Ну и да, если у тебя один диск 120, а 6 307 то результат еще хуже)

не распарсил

вот ещё посвежее результы

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

вот и получается, 150*6 (суммарно иопсов везде) делим на 3. ну вот и 300.

и что, @SinTeZoiD , я не прав?

только давай без рифмы на 300

@erzent

вот как по делу — так никого сразу нет.

ну и изза того что размер пула 3 — получается один иопс из фио жрёт три ипса в железе (ну типа в идеале)

https://habrahabr.ru/post/164325/

и вообще странные у тебя вычисления. откуда логика, что 1к3 ?

и вообще странные у тебя вычисления. откуда логика, что 1к3 ?

Ну 3 ж реплики

Это в идеале, понятно. В виду журналов, 1 к 6 должно быть. В блюсторе должно быть также, но в мб/сек меньше. По измерениям иопсов -- не так

вывод фио какой то странный.

и опять же он усредненный, хочется ещё во времени видеть.

можно в гисты графички припихнуть, аля https://gist.github.com/pcheliniy/b3c5e86bb328c41c61d8373bcdda2f1b

имхо интересен тест полный всего устройства и смотрет ьпотом на clat pct а не на среднее =\

https://github.com/ceph/ceph/pull/12555 - ЙА КРОСАФЧЕГ

Ну норм... завтра в 8 дебиане поменяется и будешь ещё один пилить, что б изменили

Ну норм... завтра в 8 дебиане поменяется и будешь ещё один пилить, что б изменили

не тролль) хорошее дело пушить в гит баг фиксы

не тролль) хорошее дело пушить в гит баг фиксы

Да это понятно, я вообще имел ввиду

Сегодня будут обсуждать бюджет на 2017..

Буду сидеть ждать

Минималку 4 "сервера"

ну твой план с core i5 может и прокатит)

i7 ?

однако всё равно мне кажется херовой идея размещать вм рядом с CEPH

Я тоже так думаю и сделаю плавующую вм

проксмоксе же такое решение бюджетное предлагает

Мне 1 вм нужна постоянно рабочая

и вм и сеф на одной ноде

А остальные будут на серверах

Ну ceph мне нужен именно как хранилка

Всем привет! вопрос по конфигу цефа: Если мне для разных osd хочется укзать разные параметры - могу ли я сделать такой конфиг? http://pastebin.com/fbD6ngGk

journal = /dev/ssd1 а зачем?

кто-нибудь знает, что еще можно покрутить в Bluestore OSD на предмет потребления памяти?

сколько читал мануалы - почти везде натыкался на советы перенести журнал на ssd

сколько читал мануалы - почти везде натыкался на советы перенести журнал на ssd

только это при создании осд обычно делается

я задам глупый вопрос: а в ceph в журнал пишутся данные?

да, с filestore же

Я до создания в конфиг прописываю путь до журнала. При указании журнала во время создания осд через деплой - получается какая-то дичь

Буду сидеть ждать

О да, теперь присоденюсь к ceph в проде...

О да, теперь присоденюсь к ceph в проде...

одобрили?

Да, сейчас по кол-во опредлятся, 4 или 6 или 9

?

https://indico.cern.ch/event/542464/contributions/2202311/attachments/1291014/1922810/20160614_ceph_day_cern.pdf

Будет что в метро почитать

ну это так, будущее судя по всему

Я до создания в конфиг прописываю путь до журнала. При указании журнала во время создания осд через деплой - получается какая-то дичь

ceph osd prepare потом ceph osd activate и ок)

ceph osd prepare потом ceph osd activate и ок)

не ceph, а ceph-deploy

Бюджет на 4 машины подтвердили, интересно когда закупки ((

https://www.mankier.com/8/vfs_ceph

Я наркоман и попробую в проде

Backend ( Calamari Server ) — the Calamari backend is written in Python 2.6+, using Saltstack, ZeroRPC, gevent, Django, django-rest-framework, graphite and instantiates a new REST API for integration with other systems.

ко-ко-ко-ко-КОМБО

и да, я пытаюсь

Calamari Server side components include : Apache, salt-master , supervisord , cthulhu , carbon-cache Calamari Client side components include : salt-minion , diamond

ктулху

фхтагн

Я наркоман и попробую в проде

Уже 12 часов пробуешь :)?

доброе утро! кто может подсказать по резкому как забить ceph кластер на 60% и проверить что он действительно забился?

доброе утро! кто может подсказать по резкому как забить ceph кластер на 60% и проверить что он действительно забился?

создать rbd-образ большой и срать в него fio линейной записью в несколько смычков

Уже 12 часов пробуешь :)?

я не осилил

а как проверить что он действительно забился?