а системный какой диск?

sda обычно root

программный рейд md

если диски в помечены рейдом, то не отформатирует

SATADOM

они сырые должны быть

да те диски для osd они сырые 4Тб SATA диски

я опишу по шагам, а вы посмотрите чем отличается

ставим на админскую: sudo zypper in ceph ceph-deploy

раздаем софт: ceph-deploy install nx4 nx3 nx1

создаем моны: ceph-deploy new nx4 nx3 nx1

правим ceph.conf если надо

ceph-deploy mon create-initial

ceph-deploy mds create nx4 nx3

ceph-deploy admin ceph-adm nx4 nx3 nx1

ceph-deploy disk zap

ceph-deploy disk prepare

ceph-deploy osd activate (если надо)

настройка ядер, судо и +r на /etc/ceph/ceph.client.admin.keyring если надо

вроде так

можно разломать кластер и создать заново

процедура идентично с моим такие же шаги провел с нодами

как вариант использовать 10.2.6

первый раз на этомже месте остановился

потом занова пересобрал

selnux ?

какая ОС ?

отлючен

У меня такая беда была, когда прав на /dev/sd не было.

ubuntu 16.04

И права на lib/ceph/osd..

эх... я не очень люблю этот тестовый дебиан... стереотипы наверно...

хм, тогда судо не так наботает

а если вручную форматнуть диск на ноде

Ceph osd tree osd появлялся, а структура папки osd была полупустой

ceph-disk

может попробовать 10.2.6 ?

ls -lah /dev/sd* brw-rw---- 1 root disk 8, 0 Jul 13 12:01 /dev/sda brw-rw---- 1 ceph ceph 8, 1 Jul 13 12:01 /dev/sda1 brw-rw---- 1 ceph ceph 8, 2 Jul 13 12:01 /dev/sda2 brw-rw---- 1 root disk 8, 16 Jul 13 12:01 /dev/sdb brw-rw---- 1 ceph ceph 8, 17 Jul 13 12:01 /dev/sdb1 brw-rw---- 1 ceph ceph 8, 18 Jul 13 12:01 /dev/sdb2 brw-rw---- 1 root disk 8, 32 Jul 13 12:01 /dev/sdc brw-rw---- 1 ceph ceph 8, 33 Jul 13 12:01 /dev/sdc1 brw-rw---- 1 ceph ceph 8, 34 Jul 13 12:01 /dev/sdc2 brw-rw---- 1 root disk 8, 48 Jul 13 12:01 /dev/sdd brw-rw---- 1 ceph ceph 8, 49 Jul 13 12:13 /dev/sdd1 brw-rw---- 1 ceph ceph 8, 50 Jul 13 12:01 /dev/sdd2 brw-rw---- 1 root disk 8, 64 Jul 13 12:01 /dev/sde brw-rw---- 1 ceph ceph 8, 65 Jul 13 12:01 /dev/sde1 brw-rw---- 1 ceph ceph 8, 66 Jul 13 12:01 /dev/sde2 brw-rw---- 1 root disk 8, 80 Jul 13 12:01 /dev/sdf brw-rw---- 1 ceph ceph 8, 81 Jul 13 12:01 /dev/sdf1 brw-rw---- 1 ceph ceph 8, 82 Jul 13 12:01 /dev/sdf2 brw-rw---- 1 root disk 8, 96 Jul 13 12:01 /dev/sdg brw-rw---- 1 ceph ceph 8, 97 Jul 13 12:01 /dev/sdg1 brw-rw---- 1 ceph ceph 8, 98 Jul 13 12:01 /dev/sdg2 brw-rw---- 1 root disk 8, 112 Jul 13 12:01 /dev/sdh brw-rw---- 1 ceph ceph 8, 113 Jul 13 12:01 /dev/sdh1 brw-rw---- 1 ceph ceph 8, 114 Jul 13 12:01 /dev/sdh2 brw-rw---- 1 root disk 8, 128 Jul 13 12:01 /dev/sdi brw-rw---- 1 ceph ceph 8, 129 Jul 13 12:01 /dev/sdi1 brw-rw---- 1 ceph ceph 8, 130 Jul 13 12:01 /dev/sdi2 brw-rw---- 1 root disk 8, 144 Jul 13 12:01 /dev/sdj brw-rw---- 1 ceph ceph 8, 145 Jul 13 12:01 /dev/sdj1 brw-rw---- 1 ceph ceph 8, 146 Jul 13 12:01 /dev/sdj2 brw-rw---- 1 root disk 8, 160 Jul 13 12:01 /dev/sdk brw-rw---- 1 ceph ceph 8, 161 Jul 13 12:01 /dev/sdk1 brw-rw---- 1 ceph ceph 8, 162 Jul 13 12:01 /dev/sdk2 brw-rw---- 1 root disk 8, 176 Jul 13 12:01 /dev/sdl brw-rw---- 1 ceph ceph 8, 177 Jul 13 12:01 /dev/sdl1 brw-rw---- 1 ceph ceph 8, 178 Jul 13 12:01 /dev/sdl2 brw-rw---- 1 root disk 8, 192 Jul 13 12:01 /dev/sdm brw-rw---- 1 root disk 8, 208 Jul 13 12:01 /dev/sdn brw-rw---- 1 root disk 8, 209 Jul 13 12:01 /dev/sdn1

ls -lah /var/lib/ceph total 40K drwxr-x--- 10 ceph ceph 4.0K Jul 11 23:58 . drwxr-xr-x 49 root root 4.0K Jul 11 23:57 .. drwxr-xr-x 2 ceph ceph 4.0K Apr 21 17:24 bootstrap-mds drwxr-xr-x 2 ceph ceph 4.0K Jul 11 11:12 bootstrap-osd drwxr-xr-x 2 ceph ceph 4.0K Apr 21 17:24 bootstrap-rgw drwxr-xr-x 2 ceph ceph 4.0K Apr 21 17:24 mds drwxr-xr-x 2 ceph ceph 4.0K Apr 21 17:24 mon drwxr-xr-x 5 ceph ceph 4.0K Jul 11 11:16 osd drwxr-xr-x 2 ceph ceph 4.0K Apr 21 17:24 radosgw drwxr-xr-x 2 ceph ceph 4.0K Jul 13 12:13 tmp

с провами проблем нету

firewall порты не лочит?

демоны osd стартуют?

firewall disable

все в Active

в каком-то из релизов была проблема с правами. попробуйте разломать кластер и собрать заново на предыдущей версии

ok спасибо попробую

или "у меня на генте не ставиться цеф, цеф деплой пользовать не хочу, вы уроды не помогаете мне"

:)

кто как вычленяет медленные диски в кластере? ceph osd perf достаточно?

можно еще perfcounters мониторить, но т.к. никакой вменяемой доки по нему я пока не нашел - это просто мысль

кто как вычленяет медленные диски в кластере? ceph osd perf достаточно?

Commit latency можно смотреть

О как 10.2.8 и сразу 10.2.9 Поторопился видимо

Поторопились* 😁

скоро и 10.2.10 выпустят :)

доброе время суток всем. Принимайте еще одно :)

кто какие объема внедряет/обслуживает? Спасибо

от нескольких ТБ до нескольких ПБ)

это я за всех

ясно ). Меня пожалуйста в 1 ПБ )

Хороший выбор! на чем хоть? jewel? hammer?

конечно же hammer, jewel для прода не подходит пока

конечно же hammer, jewel для прода не подходит пока

тут народ уже на кракене некоторый

сурово )

настоящий мужчина должен любить риск

так я думал когда ставил кракен

😁

но на удивление никаких проблем

сурово )

jewel вполне себе ок гораздно приятнее чем hammer

дело к сожалению, не в приятностях, а в стабильности)

стабильно

https://github.com/ceph/ceph/commits/jewel

причем много критических проблем

РЕШЕТО

причем много критических проблем

покажи мне их в багтрекере)

далеко ходить не нужно, сегодня словили полное разрушение MDS(хотя и оно с сомнением к проду относится)

как?

вот так: https://github.com/ceph/ceph/commit/9295f588535c45431d19b9601b4063c8de88752d

Ничего, что hammer EOL?

он не может быть EOL, т.к. это основа Redhat Storage Enterprice

Это если у тебя именно RHCS