пиздец

стало конечно поменьше

но пиздец

ну понятно

щас он грохнет их все же

:(

главное чтобы меня раньше не грохнули ;)

БЕГИ

тут то я точно продам фуру вазелина)

главное чтобы меня раньше не грохнули ;)

не грохнут - все будет окей

потом делаем как у чувака - osd pg max concurrent snap trims = 0 and noscrub and nodeep-scrub,

или osd disk threads = 0

и смотрим - как обновнять кластер

ага

ОТПУСТИЛО

ЕГО ОТПУСТИЛО

мужики, я курить

много и яростно

тут и выпить не грех

а потом правки

проблема осталась

уф блеать

а вот дичь с реквестами ушла

всё отошёл

ну вот - теперь не грех и пятницу отпраздновать )) тем более мне уже можно начинать бухать за завтра ))

рано ещё

By setting osd pg max concurrent snap trims = 0 and noscrub and nodeep-scrub, the cluster was able to finish replicating and we have then re-added all down osd's again. But these 3 parameters/flags need to remain set to prevent "random" OSD's to go down.

ушёл делать

а расскажите надо добавить 12 OSD. если добавить сразу 6, загнать им вес в 0 и постепенно повышать IOPS кластера просядет сильнее, чем если бы я добавлял по одной OSD и изменял им вес?

короче

внёс изменения

упавшие осд не добавляются

что пишут

ща сойдётся

и скажу логи

лог пустой

у этой OSD

а вот

дописал видимо

http://dropmefiles.com/QYSZd

хм, а если логи монитора глянуть

или всего цефа

у меня не пишет main.log кстати

глупый вопрос. а что с местом? и оперативкой

та же херня в общем

всех ресурсов с запасом раз в 5

Так

в общем вернулись на исходную

только кластер стал работать ощутимо быстрее

но проблемы с доступом к части инфы сохранились

надо подумать

снапшоты мы грохнули

пойду логи мона смотреть

сюда тоже покажешь потом

тебе сюда со всех трёх?

ага

с трех

можно сюда пастить, чтоб не закачивать/выкачивать:

https://pastee.org/

https://pastee.org/z2vh7

первый мон

так

стоп

это не за тот промежуток времени

http://dropmefiles.com/tSdT0

фига там логов

Предстоит в скором времени изучать сия термины и их применения

)

че-то в мониторах ничего интересного не вижу(

я тоже не нашёл

чуваки с ceph.com сказали, что у меня старая версия и они её не поддерживают

ну это понятно

давай думать как обновлять до 0.80.11

уже гуглю

нашёл кучу проблем с эти обновлением

там хоть и дохера патчей - но сломаться ничего не должно

нашёл кучу проблем с эти обновлением

что за проблемы ?

я внутри 0.94 обновлялся

2 раза

с обновлением именно с 0.80.7

подожди

я как понимаю у меня проблема именно в кривой репликации отдельных pg

pgmap v10792068: 2700 pgs, 2 pools, 6722 GB data, 1699 kobjects 18992 GB used, 283 TB / 301 TB avail 85333/4833873 objects degraded (1.765%) 13 active+degraded+remapped 2522 active+clean 137 active+degraded 28 active+remapped

и собственно вот ссыль

https://www.mail-archive.com/ceph-users@lists.ceph.com/msg05780.html

кстати как думаешь, имеет смысл ввести ещё одну OSD (свободные диски есть), чтобы инициировать ребалансинг без выпадания дисков или это ещё больше нарушит консистентность данных?

ну положим у тебя данные и так консистенты

да вот видимо не особо

раз скраб не проходит

и он сойтись не может

ага

покажи еще раз ceph health detail

скраб не проходит из-за баги - валит osd

http://dropmefiles.com/zefHX

в общем надо подумать