Я помню, что это шкаф такой с тарелками

Саша, я тебе букварь куплю ей богу

ДВС, коллеги. Что, вообще, можете сказать по производительности rgw? Есть ceph на 4 нодах по 24 диска а каждой, на них же rgw и приложение, которое пишет объекты, каждое где-то по 5 объектов в секунду, средний размер объекта - 1.5МБ. иногда приложение фиксирует замедление работы rgw, т.е. обработка запросов (на запись, чтения нет) начинает происходить недопустимо медленно. Проблема перетекает между нодами.

И ещё момент: когда выходит из строя один osd, то на минуту катастрофически проседает скорость работы rgw, потом восстанавливается. При возвращении osd в строй - вновь всё проседает пока не начнет ся бэкфил

И ещё момент: когда выходит из строя один osd, то на минуту катастрофически проседает скорость работы rgw, потом восстанавливается. При возвращении osd в строй - вновь всё проседает пока не начнет ся бэкфил

перенеси мониторы на SSD

На серверах мониторах система стоит на ссд

Перестройка pgmap?

Кстати да

Забыл добавить - bluestore, kraken 11.2.0

Привет, Юра, ты же понимаешь, что это не дело :)

Нас побьют за такое

Откатись на джевел

Да, перестройка мапов = фриз. попробуйте добавить мониторам памяти, добавить компрессию ДБ при перезапуске (и перезапускать раз в сутки в часы наименьшей нагрузки) Но может какая особенность блюстора, с ним я не работал

Перезапускать мониторы?

Да

они тякут, все, до сих пор. монитор с годовым аптаймом может лехко жрать по 50г рама, после перезапуска умещается в гиг

Я боюсь без человеческого контроля перезапускать сервисы

Да не сцы, я 100 раз так делал. гдавное чтобы перезапуск выполнял какойнибудь контроллер и проверял что монитор запустился и синканулся

Не, утечка не замечена. Аптайм процесса с февраля и потребление меньше 2гб, точно

а память вы им не подрезали ? в конфиге

Ну, т.е. перезапускать мониторы по расписанию - это общая полещная рекомендация просто? В моем случае от "проблем" при перестройке мапы никуда не деться?

Нас побьют за такое

Побить надо монитор, в смысле. Тормоза ровно в этот момент, скорее всего

В надо посмотреть, что там настроено. Память для осд точно подрезана, а то с блустором они могут и до 5гб на осд отожрать, а на сервере всего 64 и расширить возможности нет

Юра, конечно, в этот. Оно и понятно, что из-за перестройки мап. Вопрос в том, что делать, чтобы такого не было

мне, на очень старых версиях, помогало загнать приоритет монитора. но у меня там процессоры были откровенно слабые. не думаю что у вас так. а про перезапуск - да, мой личный опыт говорит что надо перезапускать. мониторы раз в сутки, осд раз в неделю.

приоритет процесса монитора

Юра, вот разберусь с проблемами ссд, и будешь на 10 нодах поднимать и тюнить :)

Превентивный перезапуск...

А про периодическое проседание производительности конкретного rgw что бы посмотреть?

А про периодическое проседание производительности конкретного rgw что бы посмотреть?

(там civetweb)

вот тут не подскажу. не встречал такого.

Да, кстати, там civetweb

читая вас понимаю, у меня будет походу весело

А проседает только гет, только пут, или все сразу?

Не могу сказать про гет, там только пут

Геты на других ргв

Вот ещё какой момент: может ли вызывать тормоза ргв то, что иногда ему отправляется одновременно штук 5 пост на удаление 100 объектов?

Вот ещё какой момент: может ли вызывать тормоза ргв то, что иногда ему отправляется одновременно штук 5 пост на удаление 100 объектов?

Опа! Треды civetweb?

Ну, занял я 5 тредов, так ещё сотня есть

Что-то я соврал. 10 объектов в секунду пишется. Запись на кластер 40-50 МБ/с.

Избитый вопрос. У кого-нибудь Samsung 850 Pro работает в качестве журналов, или даже пытаться не стоит?

ATA device, with non-removable media Model Number: Samsung SSD 850 PRO 256GB Serial Number: S39KNX0HA61566X Firmware Revision: EXM03B6Q

у меня

по бенчам он конечно нихрена не 90К иопсов, но мну хватает

241 Total_LBAs_Written 0x0032 099 099 000 Old_age Always - 77976982864

36 Терабайт он прописал уже

пока норм

каждая ячейка примерно 144 раза перезаписалась

просто судя по https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/ - эти 850 Pro совсем кукурузные

и судя по ceph-users@, эти $уки еще и дохнут классно

1.5 MB/s 4 MB/s 6.7 MB/s

ну уж нет. не настолько у них всё плохо

приеду в пн и перепроверю именно этой командой из статьи

просто у меня было "плохо"

приеду в пн и перепроверю именно этой командой из статьи

они у тебя не умерли еще?

они у тебя не умерли еще?

нет. живее живых

но они говорят внезапно наябываются

а сколько уже живут?

я готов

но они говорят внезапно наябываются

да!! не хотелось бы такого

протести плиз, потому что у меня все плохо было

но если синтетика хуже реальности, м.б. поставим под журналы - другого все равно нет, жрите-с

но если синтетика хуже реальности, м.б. поставим под журналы - другого все равно нет, жрите-с

да нормально, не сцы. я упираюсь в сеть и в магнитные диски в своей конфигурации при реальной нагрузке

окей)

и вобще, цеф как говоярт все можно собрать из говна и палок

ну мы тоже скорее всего упремся в сеть

ну будут они у тебя выпадать время от времени — ну да и хер с ними

а, ну т.е. наебнется у меня в бою пачка осд - если будет еще какой-то факап - будет не весело

падение пачки осд цеф переживает нормально, если реплик достаточно

К слову о мониторинге)

много раз капасити.

очень

хде экспортер брал?

оч надо

графаной чтоль?

через прометея

графана, пром, цеф экспортер

В другом чатике ответ дали

В другом чатике ответ дали

про экспортер? который чатик?