сколько читал мануалы - почти везде натыкался на советы перенести журнал на ssd

только это при создании осд обычно делается

я задам глупый вопрос: а в ceph в журнал пишутся данные?

да, с filestore же

Я до создания в конфиг прописываю путь до журнала. При указании журнала во время создания осд через деплой - получается какая-то дичь

Буду сидеть ждать

О да, теперь присоденюсь к ceph в проде...

О да, теперь присоденюсь к ceph в проде...

одобрили?

Да, сейчас по кол-во опредлятся, 4 или 6 или 9

😊

https://indico.cern.ch/event/542464/contributions/2202311/attachments/1291014/1922810/20160614_ceph_day_cern.pdf

Будет что в метро почитать

ну это так, будущее судя по всему

Я до создания в конфиг прописываю путь до журнала. При указании журнала во время создания осд через деплой - получается какая-то дичь

ceph osd prepare потом ceph osd activate и ок)

ceph osd prepare потом ceph osd activate и ок)

не ceph, а ceph-deploy

Бюджет на 4 машины подтвердили, интересно когда закупки ((

https://www.mankier.com/8/vfs_ceph

Я наркоман и попробую в проде

Backend ( Calamari Server ) — the Calamari backend is written in Python 2.6+, using Saltstack, ZeroRPC, gevent, Django, django-rest-framework, graphite and instantiates a new REST API for integration with other systems.

ко-ко-ко-ко-КОМБО

и да, я пытаюсь

Calamari Server side components include : Apache, salt-master , supervisord , cthulhu , carbon-cache Calamari Client side components include : salt-minion , diamond

ктулху

фхтагн

Я наркоман и попробую в проде

Уже 12 часов пробуешь :)?

доброе утро! кто может подсказать по резкому как забить ceph кластер на 60% и проверить что он действительно забился?

доброе утро! кто может подсказать по резкому как забить ceph кластер на 60% и проверить что он действительно забился?

создать rbd-образ большой и срать в него fio линейной записью в несколько смычков

Уже 12 часов пробуешь :)?

я не осилил

а как проверить что он действительно забился?

ceph osd df

many thanks!

и да, лучше создать несколько образов, и каждый засрать

+ смотреть used / avail

и да, лучше создать несколько образов, и каждый засрать

вот таким образом например? rbd create --size 1024 pool_name/image_name

ну например да

только размер побольше, наверно

но это не засрёт цеф, ибо это thin provisioning

а как тогда правильнее?

создать, например, файл на N гигабайт и пхать его в цеф чем-то типа rbd import ... ?

ну ёмоё

ну например с помощью fio засрать

fio --ioengine=rbd --direct=1 --name=test --bs=64m --iodepth=32 --readwrite=write --clientname=admin --pool=pool_name --rbdname=image_name

воу, спасибо. Я не пользовался такой штукой

fio --ioengine=rbd --direct=1 --name=test --bs=64m --iodepth=32 --readwrite=write --clientname=admin --pool=pool_name --rbdname=image_name

я смотрю ты делаешь успехи

я смотрю ты делаешь успехи

да ну перестань :)

Коллеги, вы не сталкивались с залипшим backfill'ом? картина маслом: кластер jewel, 8 нод, 80 osd, XFS, CentOS, backfilling зависает на последних нескольких десятках тысяч объектов. из 5000 PG 5 не хотят бекфиллиться, все должны залиться на определенную osd. кластер почти не нагружен. диск хороший, менял трижды. ceph-osd на этом диске потребляет 270% CPU, при этом ничего не делает с диском, в iostat пустота. если выбросить эту OSD и дождаться рекавери, то появится другая OSD, которая не сможет принять в себя несколько последних PG, при этом это будут другие PG, не те, которые страдают на текущей OSD.

А логах что?

А логах что?

ничего фактически

ну то есть в дебаг-режиме там мясо, конечно, но понятнее (во всяком случае мне) не становится. могу куда-нибудь залить эту многогигабайтную портянку.

Много то зачем, начало когда cpu уходит ввысь

на старте, бро.

O_o

ну то есть, мм, смотри. пустой диск вставляешь, он начинает бекфиллиться. поток 120 Мб/с, как положено. при этом CPU потребляется хорошо (те же 250-280%) когда бекфилл почти завершен - потребление CPU остается, но процесс встает. в strace мясо, но нет глубокой разницы по статистике по сравнению с живым osd.

Сложна:-(

какие-то кастомные хитрые crushmap правила есть?

какие-то кастомные хитрые crushmap правила есть?

нет, краш сходится

или просто плоский кластер?

или просто плоский кластер?

плоский, да, один рулсет с выбором хоста, хосты в одной иерархии.

причем, по-видимому бекфилл каким-то образом там чуть-чуть идет. 10-20 объектов в час таки уходят из degraded/misplaced

А из-за чего вообще такая проблема может быть? Идеи хоть есть?

Начал гуглить, но что-то похожего ничего нет, может не так гуглю.

я уже обгуглился. у меня первично было подозрение, что в какой-то PG оказалось огромное количество маленьких объектов. но не подтвердилось.

я уже обгуглился. у меня первично было подозрение, что в какой-то PG оказалось огромное количество маленьких объектов. но не подтвердилось.

напиши в #ceph, народ из redhat поможет

напиши в #ceph, народ из redhat поможет

Ты задолбал

Если есть ответ на вопрос, то напиши его в чат, если нет, то не надо флудить

Посыл в другой чат не ответ на вопрос.

Ты задолбал

😄👍

Я пробовал так делать, указывал журнал при создании через деплой, только проявлялась проблема с которой ты мне помог тогда 😒 Хотя у меня не последний jewel уже, может поправили

ceph osd prepare потом ceph osd activate и ок)

я уже обгуглился. у меня первично было подозрение, что в какой-то PG оказалось огромное количество маленьких объектов. но не подтвердилось.

А у тебя это не пул размером один случаем ?

нет, 3.

я дебил что ли, ожидать репликацию в пуле с размером 1

я дебил что ли, ожидать репликацию в пуле с размером 1

там просто проблема была, что если пул размером один то там перенос пг на другой осд —реально спецкейс с похожими спецэффектами.

с размером 2 - тоже есть интересности.

опаопа

какие ?

(с размером один — они задокументированы и даже сказано почему)

Примерно те же, по тем же причинам

мм, при выпадении одной ноды из восьми с размером 2 на полупустом кластере мы имели health_err больше часа.

мм, при выпадении одной ноды из восьми с размером 2 на полупустом кластере мы имели health_err больше часа.

а что именно там err ?

честно говоря, давно было, я не помню, что там было конкретно написано. насколько я понял, кластер не хотел позволять писать в PG, которые были в backfilling, несмотря на min_size 1