3 OSD на одной ноде

да

и вобще в кластере одна нода :)

@alsvartr как отдебажить почему происходит то что происходит?

?!

посмотри что с PG творится, ceph health detail, ceph pg PG_ID query

pg 4.7 is active+undersized+degraded, acting [1] pg 4.6 is active+undersized+degraded, acting [0] pg 4.5 is active+undersized+degraded, acting [1]

и т.д .все ПГ

ceph pg 4.6 query, там куча инфы

ceph pg 4.6f query { "state": "active+undersized+degraded", "snap_trimq": "[]", "epoch": 64, "up": [ 2 ], "acting": [ 2 ], "actingbackfill": [ "2" ], "info": { "pgid": "4.6f", "last_update": "0'0", "last_complete": "0'0", "log_tail": "0'0", "last_user_version": 0, "last_backfill": "MAX", "last_backfill_bitwise": 0, "purged_snaps": "[1~3]", "history": { "epoch_created": 52, "last_epoch_started": 64, "last_epoch_clean": 64, "last_epoch_split": 0, "last_epoch_marked_full": 0, "same_up_since": 52, "same_interval_since": 63, "same_primary_since": 52, "last_scrub": "0'0", "last_scrub_stamp": "2016-12-08 13:21:07.555212", "last_deep_scrub": "0'0", "last_deep_scrub_stamp": "2016-12-08 13:21:07.555212", "last_clean_scrub_stamp": "0.000000" }, "stats": { "version": "0'0", "reported_seq": "23", "reported_epoch": "64", "state": "active+undersized+degraded", "last_fresh": "2016-12-08 15:06:05.416194", "last_change": "2016-12-08 15:06:05.333637", "last_active": "2016-12-08 15:06:05.416194", "last_peered": "2016-12-08 15:06:05.416194", "last_clean": "2016-12-08 15:06:04.425617", "last_became_active": "2016-12-08 15:06:05.333637", "last_became_peered": "2016-12-08 15:06:05.333637", "last_unstale": "2016-12-08 15:06:05.416194", "last_undegraded": "2016-12-08 15:06:04.425900", "last_fullsized": "2016-12-08 15:06:04.425900", "mapping_epoch": 52, "log_start": "0'0", "ondisk_log_start": "0'0", "created": 52, "last_epoch_clean": 64, "parent": "0.0", "parent_split_bits": 0, "last_scrub": "0'0", "last_scrub_stamp": "2016-12-08 13:21:07.555212", "last_deep_scrub": "0'0", "last_deep_scrub_stamp": "2016-12-08 13:21:07.555212", "last_clean_scrub_stamp": "0.000000", "log_size": 0, "ondisk_log_size": 0, "stats_invalid": false, "dirty_stats_invalid": false, "omap_stats_invalid": false, "hitset_stats_invalid": false, "hitset_bytes_stats_invalid": false, "pin_stats_invalid": false, "stat_sum": { "num_bytes": 0, "num_objects": 0, "num_object_clones": 0, "num_object_copies": 0, "num_objects_missing_on_primary": 0, "num_objects_missing": 0, "num_objects_degraded": 0, "num_objects_misplaced": 0, "num_objects_unfound": 0, "num_objects_dirty": 0, "num_whiteouts": 0, "num_read": 0, "num_read_kb": 0, "num_write": 0, "num_write_kb": 0, "num_scrub_errors": 0, "num_shallow_scrub_errors": 0, "num_deep_scrub_errors": 0, "num_objects_recovered": 0, "num_bytes_recovered": 0, "num_keys_recovered": 0, "num_objects_omap": 0, "num_objects_hit_set_archive": 0, "num_bytes_hit_set_archive": 0, "num_flush": 0, "num_flush_kb": 0, "num_evict": 0, "num_evict_kb": 0, "num_promote": 0, "num_flush_mode_high": 0, "num_flush_mode_low": 0, "num_evict_mode_some": 0, "num_evict_mode_full": 0, "num_objects_pinned": 0 }, "up": [ 2 ], "acting": [ 2 ],

"blocked_by": [], "up_primary": 2, "acting_primary": 2 }, "empty": 1, "dne": 0, "incomplete": 0, "last_epoch_started": 64, "hit_set_history": { "current_last_update": "0'0", "history": [] } }, "peer_info": [], "recovery_state": [ { "name": "Started\/Primary\/Active", "enter_time": "2016-12-08 15:06:05.249584", "might_have_unfound": [], "recovery_progress": { "backfill_targets": [], "waiting_on_backfill": [], "last_backfill_started": "MIN", "backfill_info": { "begin": "MIN", "end": "MIN", "objects": [] }, "peer_backfill_info": [], "backfills_in_flight": [], "recovering": [], "pg_backend": { "pull_from_peer": [], "pushing": [] } }, "scrub": { "scrubber.epoch_start": "0", "scrubber.active": 0, "scrubber.state": "INACTIVE", "scrubber.start": "MIN", "scrubber.end": "MIN", "scrubber.subset_last_update": "0'0", "scrubber.deep": false, "scrubber.seed": 0, "scrubber.waiting_on": 0, "scrubber.waiting_on_whom": [] } }, { "name": "Started", "enter_time": "2016-12-08 15:06:04.425787" } ], "agent_state": {} }

пастбин не?

не

такое ощущение что не не может, а не хочет, потому что правила круш мап ему не разрешают соседние ОСД использовать

@takilazy

ceph osd tree

покажи

[root@node2 /]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 2.69688 root default -2 2.69688 host node2 0 0.87849 osd.0 up 1.00000 1.00000 1 0.90919 osd.1 up 1.00000 1.00000 2 0.90919 osd.2 up 1.00000 1.00000

только что добавил ещё один осд. результат тот же

@alsvartr помоги человеку, а то он уже все чаты заспамил )

только что добавил ещё один осд. результат тот же

Слелай erasure coding из трех осд и не делай мозг)

Слелай erasure coding из трех осд и не делай мозг)

какая разница.

всеравно он не юзает соседние осд для копий или для ерасуре (я не пробовал правда с ерасуре, но мне просто это не нужно)

@alsvartr помоги человеку, а то он уже все чаты заспамил )

ты тут ?

Не очень

Не очень

это может ему помочь ?

f you are trying to create a cluster on a single node, you must change the default of the osd crush chooseleaf type setting from 1 (meaning host or node) to 0 (meaning osd) in your Ceph configuration file before you create your monitors and OSDs. This tells Ceph that an OSD can peer with another OSD on the same host. If you are trying to set up a 1-node cluster and osd crush chooseleaf type is greater than 0, Ceph will try to peer the PGs of one OSD with the PGs of another OSD on another node, chassis, rack, row, or even datacenter depending on the setting.

сения

пастбин не?

Первый раз в жизни плюсану тебя. Не нужно портянки кода и конфигов в канал, да и синтаксис не подсвечивается :(

before you create your monitors and OSDs

да все

хватит истерить

АШТРИСЁТ

переделай

там делов то

ночью посидишь

под кофе

а если б данные были

ну для этого и делают тестовые среды

че такое osd ваще7

РТФМ блеять

кароч демон который занимается непосредственно хранением данных на диске

чтением и записью тоесть

а не, это on screen display

есть ли смысл переносить mon data с 15к сас диска на ссд?

а если б данные были

для этого и делают тестовую среду, что бы свои руки выпрямить перед продом)

есть ли смысл переносить mon data с 15к сас диска на ссд?

сомневаюсь.

для этого и делают тестовую среду, что бы свои руки выпрямить перед продом)

я ему так и написал

а он молчит

а он молчит

xnj

что

передеплойиваю.

а там всякие ошибки лезут

но скорее всего я чтото криво делаю

но скорее всего я чтото криво делаю

нормально делай - нормально будет

а там всякие ошибки лезут

OSD удали полностью или уже тогда CEPH снеси полностью

есть ли смысл переносить mon data с 15к сас диска на ссд?

посмотри, есть ли затык по диску. Но вряд ли он будет\

я аж пакеты удалил

но вар либ цеф почемуто не снёсся

кароче детский сад

ща всё будет

Надеюсь

РТФМ блеять

Я тут начал вебинар от редхата смотреть про цеф, там они рассказывают про неудачный опыт и самые распространенные причины проблем. И они приводят в пример тикеты, где клиенты ебашат не читая манов и бестпрактис, вот прям оч показательный случай ))) вощем они там прям настоятельно рекомендуют бестпрактис читать, тренинги и консультации

Я тут начал вебинар от редхата смотреть про цеф, там они рассказывают про неудачный опыт и самые распространенные причины проблем. И они приводят в пример тикеты, где клиенты ебашат не читая манов и бестпрактис, вот прям оч показательный случай ))) вощем они там прям настоятельно рекомендуют бестпрактис читать, тренинги и консультации

купив на них подписку

Я тут начал вебинар от редхата смотреть про цеф, там они рассказывают про неудачный опыт и самые распространенные причины проблем. И они приводят в пример тикеты, где клиенты ебашат не читая манов и бестпрактис, вот прям оч показательный случай ))) вощем они там прям настоятельно рекомендуют бестпрактис читать, тренинги и консультации

а можно вас попросить спиратить, и пошарить кэш браузера?

Я тут начал вебинар от редхата смотреть про цеф, там они рассказывают про неудачный опыт и самые распространенные причины проблем. И они приводят в пример тикеты, где клиенты ебашат не читая манов и бестпрактис, вот прям оч показательный случай ))) вощем они там прям настоятельно рекомендуют бестпрактис читать, тренинги и консультации

плюсую. или ссылку хотя бы. оно для клиентов?

а можно вас попросить спиратить, и пошарить кэш браузера?

А вы уже попросили, не дождавшись разрешения

А вы уже попросили, не дождавшись разрешения

не не не. не разжигай)

Обломал

Я тут начал вебинар от редхата смотреть про цеф, там они рассказывают про неудачный опыт и самые распространенные причины проблем. И они приводят в пример тикеты, где клиенты ебашат не читая манов и бестпрактис, вот прям оч показательный случай ))) вощем они там прям настоятельно рекомендуют бестпрактис читать, тренинги и консультации

Разумеется. они както против цефа как я заметил... везде толкают свой глустерфс

который говно жованное конём

Разумеется. они както против цефа как я заметил... везде толкают свой глустерфс

лал

в либвирте так и не сделали всё ещё поддержку цефа нормальную

1)у них есть свой ceph 2)истории провала куда полезнее истории успехов.

в овирте через жопу (тоесть циндер)

формально, да.это типа редхат

но уж странно они к нему относятся.

враждующие кланы в ихней конторе чтоле ?

https://www.redhat.com/en/technologies/storage

GLUSTERFS: Provides a scalable, reliable, and cost-effective data management platform, streamlining file and object access across physical, virtual, and cloud environments. CEPH: Provides a robust, highly scalable block and object storage platform for enterprises deploying public or private clouds. Voted No. 1 storage option by OpenStack® users.