ибо сам даже смотрел их кластер и пытался помочь...

а че они тогда в молчанку играют?

а че они тогда в молчанку играют?

Они уж не играют, мне кажется) Ну это нормальная модель поведения нечистоплотных и инфантильных людей. же. Обосраться и молча сбежать ничего не объясняя.

А подскажите, когда я ceph.conf поменял, как корректно применить это к осд и мониторам ?

тупо перезапуском ?

Ну да. Ничо страшного не успевает произойти)

а какой-нибудь HUP мож послать?

в доке это есть?

https://www.sebastien-han.fr/blog/2012/10/22/ceph-inject-configuration-without-restart/

$ ceph tell osd.* injectargs '--osd_recovery_max_active=1' osd.0: osd_recovery_max_active = '1' (unchangeable) osd.1: osd_recovery_max_active = '1' (unchangeable) osd.2: osd_recovery_max_active = '1' (unchangeable) osd.3: osd_recovery_max_active = '1' (unchangeable) osd.4: osd_recovery_max_active = '1' (unchangeable) osd.5: osd_recovery_max_active = '1' (unchangeable) osd.6: osd_recovery_max_active = '1' (unchangeable) osd.7: osd_recovery_max_active = '1' (unchangeable) osd.8: osd_recovery_max_active = '1' (unchangeable) osd.9: osd_recovery_max_active = '1' (unchangeable)

авотнихуя

А ты погоди.

Эти осд у тебя на том же хосте с которого запускаешь?

нет канеш

Вот. Там через админ сокет, видимо, делается)

$ ssh node1 sudo ceph tell osd.* injectargs '--osd_recovery_max_active=1'

тож самое

кароч задолбало. щас перезапущу всё нафиг

кароч задолбало. щас перезапущу всё нафиг

Конечно) Просто по очереди перезапускать или небольшими пачками.

Конечно) Просто по очереди перезапускать или небольшими пачками.

+1

а че они тогда в молчанку играют?

этого я уже незнаю.

Привет, обновился до 11.2.0, захотел попробовать mgr. Делаю sudo ceph --cluster ceph --name client.bootstrap-mgr --keyring /var/lib/ceph/bootstrap-mgr/ceph.keyring auth get-or-create mgr.cnsrv5 mon allow profile mgr osd allow * mds allow * -o /var/lib/ceph/mgr/ceph-cnsrv5/keyring Вылазит ошибка: Error EACCES: access denied. Как это победить? Ни чего не гуглиться

Привет, обновился до 11.2.0, захотел попробовать mgr. Делаю sudo ceph --cluster ceph --name client.bootstrap-mgr --keyring /var/lib/ceph/bootstrap-mgr/ceph.keyring auth get-or-create mgr.cnsrv5 mon allow profile mgr osd allow * mds allow * -o /var/lib/ceph/mgr/ceph-cnsrv5/keyring Вылазит ошибка: Error EACCES: access denied. Как это победить? Ни чего не гуглиться

Чот какая-то каша.

Все что нужно это создать ключ и запустить демон.

Привет, обновился до 11.2.0, захотел попробовать mgr. Делаю sudo ceph --cluster ceph --name client.bootstrap-mgr --keyring /var/lib/ceph/bootstrap-mgr/ceph.keyring auth get-or-create mgr.cnsrv5 mon allow profile mgr osd allow * mds allow * -o /var/lib/ceph/mgr/ceph-cnsrv5/keyring Вылазит ошибка: Error EACCES: access denied. Как это победить? Ни чего не гуглиться

Вылазит ошибка: Error EACCES: access denied - это системная ошибка. Смотри права и selinux

Вылазит ошибка: Error EACCES: access denied - это системная ошибка. Смотри права и selinux

А, точно.

При том что команда: sudo ceph --name client.admin auth get-or-create mgr.cnsrv1 mon "allow profile mgr" osd "allow *" mds "allow *" mgr "allow *" -o /var/lib/ceph/mgr/ceph-cnsrv1/keyring проходит

С пользователем client.admin проходит, с client.bootstrap-mgr нет

С пользователем client.admin проходит, с client.bootstrap-mgr нет

А почему через админа не делать?

ну создавать ключи, только админ и должен и может...

Я бы хотел, но ceph-mgr при запуске пишет: Error EINVAL: entity mgr.cnsrv1 exists but caps do not match

Это с ключом от админа

Я бы хотел, но ceph-mgr при запуске пишет: Error EINVAL: entity mgr.cnsrv1 exists but caps do not match

Ну значит криво права выставляешь при создании.

" do not match"

1. Создаешь от админа ключ для ceph-mgr как в инструкции 2. Кладешь его в /var/lib/ceph/mgr и так далее 3. Запускаешь демон

Вот так не выходит? docs.ceph.com/docs/master/mgr/administrator/

Всем привет! Предположим у нас одна ssd в качестве журнала на 5 osd, в случае выхода из строя ssd, мы должны перезапустить osd без журнала\перенести его на hdd или как это делается? Спасибо, прошу камнями не кидаться =)

заменить ссд?

заменить ссд?

То есть все osd умерли, на это время?

получается что так

То есть все osd умерли, на это время?

более того, те данные, которые не успели из журнала уехать на диски, они тоже умерли.

более того, те данные, которые не успели из журнала уехать на диски, они тоже умерли.

Получается держать журналы на ssd опасно, хоть и быстро =( тайринг лучше?

Получается держать журналы на ssd опасно, хоть и быстро =( тайринг лучше?

для этого и делается несколько реплик же. min_size=1 делать опасно, это да

Получается держать журналы на ssd опасно, хоть и быстро =( тайринг лучше?

Нет.

Там просто по-другому)

Всем привет! Предположим у нас одна ssd в качестве журнала на 5 osd, в случае выхода из строя ssd, мы должны перезапустить osd без журнала\перенести его на hdd или как это делается? Спасибо, прошу камнями не кидаться =)

а какая нагрузка преобладает? На запись или на чтение? Сколько ожидается горячих данных? Ну типа если они в кэш ссдшный целиком будут влазить, то хорошо. А вот если не, то проблемы с производительностью на чтении будут весьма неприятные.

Привет, с правами вроде разобрался, но тут вылезла проблема с питоном, при запуске: sudo -u ceph ceph-mgr -i cnsrv1 -f

Пишет: ImportError: No module named dashboard И завершает процесс

Возможно у тебя /usr/bin/python указывает не на тот питон

Python 2.7.12

какой питон должен быть? В доке не написано

должен стоять пакет python-ceph-compat или что-то похожее.

Установил: python-ceph python-cephfs python-rados python-rbd python-rgw python3-cephfs python3-rados python3-rbd python3-rgw На другой ноде, абсолютно чистой. Та же ошибка: ImportError: No module named dashboard

Установил: python-ceph python-cephfs python-rados python-rbd python-rgw python3-cephfs python3-rados python3-rbd python3-rgw На другой ноде, абсолютно чистой. Та же ошибка: ImportError: No module named dashboard

Ну либо модуль дашборда в директории которая не добавлена в pythonpath либо модуля этого и правда нет.

У меня стоит 11.2.0, посмотрел, его правда нет. Посмотрел пакеты 12 версии, там этот модуль есть. Из конфига убрал строчку про dashboard. Теперь лезут другие ошибки

У меня стоит 11.2.0, посмотрел, его правда нет. Посмотрел пакеты 12 версии, там этот модуль есть. Из конфига убрал строчку про dashboard. Теперь лезут другие ошибки

Какие?

Пакет ceph-mgr

nfs-ganesha кто-нибудь юзает?

nfs-ganesha кто-нибудь юзает?

ого, p9 поддерживает

В общем в 11 версии ожидать адекватной работы ceph-mgr не стоит. Поставил 12 версию на виртуалку, все сразу завелось из коробки.

В общем в 11 версии ожидать адекватной работы ceph-mgr не стоит. Поставил 12 версию на виртуалку, все сразу завелось из коробки.

Я чего-то не вдавался. Для чего он нужен вообще?

Я чего-то не вдавался. Для чего он нужен вообще?

С него теперь метрики в свою мониторилку брать надо.

Разделили процесс монитора на две сущности

Про это читал, но не понял все равно для чего сделано)

На мониторе было много лишней работы, сейчас его облегчили.

Так понятнее?

Это не то объяснение которое устроит) Какая там лишняя работа то? Демоны и так очень легковесные.

А, увидел чо там наверчено.

REST API, плагины, все такое. ВСе б хорошо, но почему сделали обязательным компонентом все равно не проясняет.

Ну например в 12 команда ceph -s выводит информацию получаемую от mngr демона, а не от монитора.

Ну например в 12 команда ceph -s выводит информацию получаемую от mngr демона, а не от монитора.

Ты не подумай что до тебя лично доебываюсь) Раз уж разговор зашел - спрашиваю. Зачем сделано то так? Говно какое-то, а не архитектура. Заменить прямые запросы к мониторам на запросы к Ceph-mgr, а ceph-mgr заставить работать в режиме active-backup.

Понятно что сами клиенты все еще к мониторам обращаются, но все ж.

Разделение сущностей поддерживаю полностью. У меня опрос цефа каждые 10 секунд.

С ростом кластера, опрос дольше происходит. А если ребаланс - то вообще можно не дождатьсяю

Опрос как реализован и что в себя включает? Я не с такими масштабами работаю как у тебя, даже близко нет, поэтому мне сложно представить ситуацию в которой монитор может затупить, например.

ого, p9 поддерживает

в репе цефа под el7 пакет сварганили с последней версии http://download.ceph.com/nfs-ganesha/rpm-V2.5-stable/el7/

Да уже на 16 нодах он тупит, при ребалансе - так и подавно

Да уже на 16 нодах он тупит, при ребалансе - так и подавно

Кто тупит?) Поясни если время есть.

А пока вкину вот этот тред. https://www.spinics.net/lists/ceph-users/msg36643.html Тут хоть как-то расписали, может пригодится кому.

м-м, наткнулся на цеф при проксмоксе в комбинации 9 sdd per node = 6 osd + 3 journal. теперь вот думаю, где тут подвох

кроме как то, что можно менять только диски под журналы - другого варианта пока не придумал