А если развалился то что

Имхо рэйды нужны когда тебе нужен в одном компе адски быстрый и отказоустойчивый блокдевайс.

С большими иопсами

Больше они низачем не нужны

я вот вообще не врубаюсь например, как 2 эникея будут через puppet управлять ceph на 9 машинах с 6 дисками в каждой

Эмм. Да хоть с 6 хоть с 2 рэйдами. Что принципиально другого ?

я хотел gluster, можно было бы через ovirt жить спокойно, но местный дурачёк балтной решил ceph

Gluster пробовали

При базовых ситуациях с вылетом нодов и внезапным выдергиваним дисков на ходу (дада, я это делал) глустер вставал крабом

я хотел gluster, можно было бы через ovirt жить спокойно, но местный дурачёк балтной решил ceph

Так ясен пень цеф круче

Так ясен пень цеф круче

может и круче, вот только персонал с з\п в 30к ceph не осилит

Не правда. У нас тестировщик с такой зп вполне справляется. Правда на маленьком кластерке тестовом

Но за 30 и с глустером можно наворотить бед

Тут не в технологии дело

Не правда. У нас тестировщик с такой зп вполне справляется. Правда на маленьком кластерке тестовом

а тут hpc кластер из 20 машин и 9 машин для хранения, не ansible не puppet они в глаза не видели

у gluster есть gui в ovirt

Как говорит товарищ шнур, "если в башне поебень, то хоть ебень, хоть не ебень"

При базовых ситуациях с вылетом нодов и внезапным выдергиваним дисков на ходу (дада, я это делал) глустер вставал крабом

А у меня цеф вставал, когда нода упала, а места под ребаланс не было. Точнее было, но спасибо отсутствию нормального авто ребалансинга

Ну уж не знаю. Я как только не мучил цеф. Даже журнал ему корраптил

Попробуй данных залить

Не то что я цефодрочер, но он реально сцуко работает

Разница между утилизацией осд может доходить до 30%

Попробуй данных залить

Там у меня виртуалки были. Всмысле рбд

Т.е. На одной 50% занято, на другой 80

А потом у тебя падает сервер

И вторая осд забивается >95%

И привет

шихоид но он пьёт пиво сегодня, жди понедельника

так мой ник еще ни разу не переиначивали

О. Трезвый ?

Вот кстати с Мишей мы это ловили))

Первый: допустим мы юзаем рбд и у нас пул размером три. Верно ли что, что все операции чтения и записи первого сектора этого рбд девайса всегда идут к некому примари осд ?

Вот вопрос

О. Трезвый ?

ясне хер. он меня видимо с шизоидом из другого чата попутал

Первый: допустим мы юзаем рбд и у нас пул размером три. Верно ли что, что все операции чтения и записи первого сектора этого рбд девайса всегда идут к некому примари осд ?

ага

Все операции всегда идут к активному осд в acting set

Остальные - реплики

Вспоминаем как пишет осд. Сначала в журнал - потом в реплики бросается данными. Верно ?

И тут пока он не успел разбросать по репликам, как раз из него уборщица выдирает пачкорд

Действия кластера ?

Тоесть например виртуалке уже сазали что данный сектор в рбд успешно профсинкан…

на то он и журнал, чтобы после аварии чекнуть незавершенные операции

что в вм будет это уже не скажу)

Эт понятно. Но его отсоединили. И он вобще сгорел.

@SinTeZoiD @alsvartr

Я просто не нашел в доке это …

если журнал один и он сгорел? ну наверно уже никак, работать с тем что есть на дисках

писать в два журнала, синкать их

Ну как. У каждого осд свой журнал же

Если первая осд дохнет, то работа идет со следующими

Дак а там нет данных же

Еще

Ну значит всё

А как кластер понимает. Всё или не всё ?

вот, кстати

а можно ли как-то извне выдавать сингал на osd down?

если, например, задержка на драйве поднялась до космических значений

А как кластер понимает. Всё или не всё ?

По количеству реплик объектов

Stonith типа

Проходит операция peering например

По количеству реплик объектов

Как кластер узнает можно продолжать работу или нет с оставшимися репликами этой группы ?

если, например, задержка на драйве поднялась до космических значений

Хеартбеат же. А если сам драйв тормозит то это локальный осд должен проссать

ну просто у меня были на тестах ситуации, когда дохлый драйв не выбивался из кластера подолгу и i/o тормозили

Недостаточно дохлый :)

Так вот. Серьезно. При вылете праймари осд что происходит ?

Или когда именно цеф рапортует об успешной записи ? После ответа что все реплики писнули в журнал ?

по-моему да

А точно как узнать ? Дока какаято неконкретная.

задай это в ирс на канале #ceph

irc ? Оно ещё живо ?

В доках все это есть

Официальных

А можно ссылку на это место ?

https://wiki.openstack.org/wiki/IRC

кстати про Ceph

2016-11-06 23:15:33.406422 7f8a8d111700 0 — 172.24.47.202:0/470645825 » 172.24.47.214:6800/32168 conn(0x7f8a740098e0 :-1 s=STATE_CONNECTING_WAIT_BANNER_AND_IDENTIFY pgs=0 cs=0 l=1)._process_connection connect claims to be 172.24.47.214:6800/18443 not 172.24.47.214:6800/32168 - wrong node! ни у кого не было такого? что с ним не так?

Однако если вы думаете как мониторить свой CEPH кластер, то я советую посмотреть на prometheus и grafana. Достаточно симпатично и удобно.

?

http://www.neboleem.net/images/stories1/lekarstva/cefazolin1.jpg

Напомнило тут

Кто там с рэйдом под цеф был ? Теперь превед будет. Он там о_директ использует бай дефолт!!!

Кто там с рэйдом под цеф был ? Теперь превед будет. Он там о_директ использует бай дефолт!!!

Ничего не понял)

Кароч, срет например приложение в страницу. Едро начинает пейсать это на винты.

И в процессе пейсания, приложение (виртуалка тоесть, обычно) срет в страницу другой контент.

Ну а едро-то чо. Выставило адрес в памяти и дма процедуру начало

Причем процедуры параллельно в оба винта

Но ониже ясен пень немного с разной скоростью пишут

Да и вобще, мало ли когда шедулер начнет писать…

Вот и получаица, что на винты немного разные данные попадают

А вот при пейсании через пейдж кэш, тоесть по нормальному

Он там перед писнёй копионврайт ставит.

Сорри за стиль. Так просто по фану.

?

Для начала по сефу, доки на сайте подойдут? Или есть более полные маны ?

на хабре вот была офигеннская статья недавно

http://onreader.mdl.ru/LearningCeph/content/index.html я тут читал, не знаю на сколько актуальная информация там

https://habrahabr.ru/post/313644/ #links #ceph #manuals