Я смотрю тут новые люди. Надо же и свой вариант приветствия завести. Вот как вы смотрите на такую схему? http://kernelpanik.net/running-ceph-on-zfs/

ты же уже держишь это в продакшне?

ты же уже держишь это в продакшне?

я не люблю zfs

А. Я на ZFS где-то кроме локалхоста скептически смотрю, честн осказать.

больше секса с дебагом проблем вот в чем смысл этой схемы

Ну типа да. Дерьмовая схема, на мой неискушенный взгляд.

больше секса с дебагом проблем вот в чем смысл этой схемы

секс-то анальный, так что на любителя

)))

Посоны, давайте вот какую норм тему подниму. Я не разбирался пока. Bluestore хоть для чего-то использует синхронную запись?

Типа там для WAL в RocksDB? Вроде нет, вроде только o_direct при записи используется.

не может быть, так или иначе синк долженбыть.. либо через O_SYNC/O_DSYNC либо через fsync()

Ну мож пояснит кто)

только хотел ответить про статью, а срач уже убрали :(

только хотел ответить про статью, а срач уже убрали :(

@cloud_ru

о нет, только не еще один чатик с теми же людьми

Лол)

А есть готовый образ для установки с флешки? Типа petasan.org, чтобы все зависимости по отдельности не тянуть в изолированной сети

Народ, подскажите плз, в OpenNebula при импорте обычных ВМ нужно таки создавать кучу persistent образов и ассоциировать каждый со своим шаблоном?

или я чего-то не понимаю?

А есть готовый образ для установки с флешки? Типа petasan.org, чтобы все зависимости по отдельности не тянуть в изолированной сети

Сделай репу свою

Просто, может готовые есть? Чтоб велосипед не делать

http://onreader.mdl.ru/MasteringCeph/content/Ch03.html оно?

Там норм кстати написано, ты это зря

Имеено про цеф

Другие хз как, а вот именно MasteringCeph норм

Это скорее не пропуски, а не переведенные части

Что с этим azw3 делать?

Что с этим azw3 делать?

конвертить)

Амазон Киндл же

Через приложение открывается

Можно онлайн сконыертироыать во все что угодно

Подскажите, можно ли поменять у pg основную копию на другую? А то основная копия побилась и не восстанавливается, а гасить osd чтобы переехала очень долго.

Именно у одной pg?

Это делается не так обычно) Сносится битый экземпляр и копируетя с сервера где эта pg целая. А что, всю пг надо заменять? Может там несколько объектов всего битые?

pg repair не срабатывает?

Несколько объектов только

repair не срабатывает

repair не срабатывает

Реплика 2?

3

Реплика 2?

Надеюсь, нет) Идиотская ж идея.

2 реплики совпадают

3

Ну тогда да, вручную проще всего удалить и скопировать из целой копии.

Ну тогда да, вручную проще всего удалить и скопировать из целой копии.

https://ceph.com/geen-categorie/ceph-manually-repair-object/ Вот.

Шаманил с osd? Удалял и добавлял?

Нода упала по питанию. После старта так.

10.2.7

Копирование живой копии не помогло. Что-то не так сделал? Погасил колечную osd, скопировал объект, поднял osd.

В Ceph Best Practices Manual - Mirantis OpenStack Documentation пишут: Important: The repair process is very tricky when the primary copy is broken. Current repair behavior with replicated PGs is to copy the primary's data to the other nodes. This makes the Ceph cluster self-consistent, but might cause problems for consumers if the primary had the wrong data.

Как-то не радует это.

А делал то все как в инструкции?

да

Ну тогда удали просто к хренам целую копию и запусти заново.

Я имею ввиду, с поврежденного осд.

То есть, все то же самое, но вот как: Нашел проблемные объекты Забекапил на всякий случай Удалил. Слил журнал Запустил осд Запустил pg repair

Чот я тупанул и сам перечитав инструкцию понял что не надо было копировать ничо, а достаточно просто удалить было.

Troubleshooting PGs — Ceph Documentation http://docs.ceph.com/docs/master/rados/troubleshooting/troubleshooting-pg/

Да эт не надо, наеврное. Проблему ж уже нашли Неконсистентная PG, битые объекты на одном из OSD.

Можно сменить primary osd

Можно весь osd обозначить как lost

И удалить

Но зачем? Да и коллега писал что этого как раз пытается избежать.

можно обозначить, но разливаться это будет сутки-другие

хотелось быстрее

Ну так я ж говорю, сбил тебя. Битые копии с первичного осд удали просто и все Среплицируются с целых.

Чтоб не прослыть идиотом и пустозвоном скажу что в точно такой же ситуации три раз был и так делал.

у вас основная копия билась или реплика?

И так и эдак бывало. С точки зрения ceph разницы никакой нет, по идее.

вот не выходит никак

не пересоздает удаленный объект

хоть тресни =(

Если разницы нет, то почему мирантис такие ужасы пишет?

А вот черт их знает. Ничего что я на "ты", кстати? Надеюсь, норм. Давай прям по порядку расскажи в подробностях, пожалуйста, как делаешь.

На одном из объектов получилось совсем странно. У всех 3 копий md5 совпадает а объект считается inconsistent

Журнал еще есть, не забудь., leveldb еще где метаданные хранятся.

Поэтому и предлагается еще и журнал синхронизировать с filestore сначала, а после удаления проблемного объекта запускать pg recovery.

Вот полная история одного из объектов: pg 14.ed is active+clean+inconsistent, acting [146,136,6] в логе: [ERR] : 14.ed shard 136: soid 14:b7771fab:::rbd_data.95fd9a12ae8944a.0000000000034c28:355c data_digest 0x307a236c != data_digest 0xd590df9b нашел объект на 3 нодах, md5 у всех трех совпадает

у одного отличается дата

но содержимое то совпадает, что ему не нравится?

Ну я ж выше написал, объект нетолько файл на диске, вот в чем беда.

Если вот так сделать: stop the OSD that has the wrong object responsible for that PG flush the journal (ceph-osd -i <id> —flush-journal) move the bad object to another location start the OSD again call ceph pg repair 17.1c1