отрабатывает всё

ну по идее гайки раскручивают чтобы восстанавливалось быстрее - а не пару дней?

При ребалансе на базовых опциях пик будет в самом начале, потом резко падает.

В пастебин плиз

Выше 20% не повышается. Уперлось в сеть или дефолтный лимит.

И у тебя воостановление идет или backfill?

Что требуется, ускорить recovery и backfilling? тогда osd recovery threads = 4 (def=1) osd recovery max active = 32 (def=15) osd recovery op priority = 30 osd client op priority = 63 osd max backfills = 8 (def=1) скобки не нужны, в них для сравнения default далее рестарт OSD http://docs.ceph.com/docs/master/rados/configuration/osd-config-ref/ Шпиндели должны просесть, сеть - погрустнеть, пользователи - перекурить )

Помогло хоть?

Я для себя выкручиваю backfill в минимум

Интересно, с чем связано, такое снижение интенсивности backfills ближе к концу операции.

Всем привет, кто чем мониторит ceph?

Задался вопросом как повысить надежность кластера, путем выбора оптимальной CRUSH-карты.. Например, есть 4-е сервера, по 20OSD в каждом, всего 80 OSD… Карта простая, default=rack, host=server1,2,3,4 При факторе репликации 3 мы можем потерять лишь один сервер, да и то, если объём занятого пространства не более 50% .. Как-то не надежно получается все это… Также Нужно всегда держать свободный сервер на случай аварии…

почему же ? если на других OSD (которые можно в соответствие с картой выбрать вместо тех которые упали) есть свободное место — то те данные которые были на умерших OSD туда и попадут.

Это да, но в таком случае нам всегда желательно начинать расширение при достижении 50% заполненности кластера... А если диски по обьему разнородные ? )

Для начала, задался бы вопросом - зачем мне 200 osd в одном сервере. И кто такое мог придумать.

Всем привет, кто чем мониторит ceph?

по 20 у него в одном сервере

как мне тут посоветовал уважаемый @SinTeZoiD - ceph_explorer + prometeus + grafana для вывода - все есть в виде контейнеров для докера и собрать можно быстро.

именно контейнерами?

какая разница. главное чтобы суммарно на доступных для переноса OSD суммарно было достаточно места под восстановление данных с умерших OSD

Ну, экспортер для цефа удобнее контейнер, остальные можно и так

А где тогда при цеф экономия места ? 3 кратное резервирование + 50% места свободного это даже хуже чем каждый сервер сам по себе с 10%-20% свободного места.

А где тогда при цеф экономия места ? 3 кратное резервирование + 50% места свободного это даже хуже чем каждый сервер сам по себе с 10%-20% свободного места.

Да не, я просто подумал, в один контейнер засунули уже или разными собирать собирается

Пример: 50 серверов под VDS на кадом 4 диска по 2tb (в 10 рейде) в итоге 200 тер места на 50 серверов минус на каждом будет свободно 20% и того эффективно из 200 дисков по 2 тера юзается 160 терабайт под данные Если эти 50 серверов заюзать под цеф получается так: 400 тер делим на 3 (дублирование) = 133 тера + свободное место под восстановление получается ещё места меньше. »Откуда инфа? Ну по логике сетевой кластер всегда делается с двумя целями: 1) распределение нагрузки 2) более эффективное использование места - по идее когда на 50 серверах остается 20% неиспользованноего места - это как раз не эффективно и цеф должен был бы это как раз компенсировать.