@pro_openstack

Страница 3 из 117
Михаил
15.07.2016
12:33:57
пиздец

Pavel
15.07.2016
12:33:59
стало конечно поменьше

но пиздец

Dmitry
15.07.2016
12:36:11
ну понятно

Google
Dmitry
15.07.2016
12:36:19
щас он грохнет их все же

Aleksandr
15.07.2016
12:37:07
:(

Pavel
15.07.2016
12:37:39
главное чтобы меня раньше не грохнули ;)

Aleksandr
15.07.2016
12:37:49
БЕГИ

Михаил
15.07.2016
12:38:03
тут то я точно продам фуру вазелина)

Dmitry
15.07.2016
12:39:51
главное чтобы меня раньше не грохнули ;)
не грохнут - все будет окей

потом делаем как у чувака - osd pg max concurrent snap trims = 0 and noscrub and nodeep-scrub,

или osd disk threads = 0

и смотрим - как обновнять кластер

Pavel
15.07.2016
12:42:05
ага

ОТПУСТИЛО

ЕГО ОТПУСТИЛО

мужики, я курить

Google
Pavel
15.07.2016
12:42:43
много и яростно

Sergey
15.07.2016
12:42:47
тут и выпить не грех

Pavel
15.07.2016
12:42:49
а потом правки

проблема осталась

Dmitry
15.07.2016
12:42:57
уф блеать

Pavel
15.07.2016
12:43:02
а вот дичь с реквестами ушла

всё отошёл

Dmitry
15.07.2016
12:43:42
ну вот - теперь не грех и пятницу отпраздновать )) тем более мне уже можно начинать бухать за завтра ))

Pavel
15.07.2016
12:44:32
рано ещё

By setting osd pg max concurrent snap trims = 0 and noscrub and nodeep-scrub, the cluster was able to finish replicating and we have then re-added all down osd's again. But these 3 parameters/flags need to remain set to prevent "random" OSD's to go down.

ушёл делать

Михаил
15.07.2016
12:54:50
а расскажите надо добавить 12 OSD. если добавить сразу 6, загнать им вес в 0 и постепенно повышать IOPS кластера просядет сильнее, чем если бы я добавлял по одной OSD и изменял им вес?

Pavel
15.07.2016
12:58:28
короче

внёс изменения

упавшие осд не добавляются

Михаил
15.07.2016
12:59:15
что пишут

Pavel
15.07.2016
12:59:25
ща сойдётся

и скажу логи

лог пустой

у этой OSD

Google
Pavel
15.07.2016
13:01:45
а вот

дописал видимо

http://dropmefiles.com/QYSZd

Михаил
15.07.2016
13:06:59
хм, а если логи монитора глянуть

или всего цефа

Pavel
15.07.2016
13:07:18
у меня не пишет main.log кстати

Михаил
15.07.2016
13:07:36
глупый вопрос. а что с местом? и оперативкой

Dmitry
15.07.2016
13:07:50
та же херня в общем

Pavel
15.07.2016
13:07:56
всех ресурсов с запасом раз в 5

Так

в общем вернулись на исходную

только кластер стал работать ощутимо быстрее

но проблемы с доступом к части инфы сохранились

Dmitry
15.07.2016
13:10:04
надо подумать

снапшоты мы грохнули

Pavel
15.07.2016
13:10:14
пойду логи мона смотреть

Dmitry
15.07.2016
13:10:31
сюда тоже покажешь потом

Pavel
15.07.2016
13:10:51
тебе сюда со всех трёх?

Dmitry
15.07.2016
13:13:25
ага

с трех

Google
Aleksandr
15.07.2016
13:16:28
можно сюда пастить, чтоб не закачивать/выкачивать:

https://pastee.org/

Pavel
15.07.2016
13:17:52
https://pastee.org/z2vh7

первый мон

так

стоп

это не за тот промежуток времени

http://dropmefiles.com/tSdT0

Михаил
15.07.2016
13:27:47
фига там логов

Иван
15.07.2016
13:31:52
Предстоит в скором времени изучать сия термины и их применения

)

Михаил
15.07.2016
13:32:46
че-то в мониторах ничего интересного не вижу(

Pavel
15.07.2016
13:32:52
я тоже не нашёл

чуваки с ceph.com сказали, что у меня старая версия и они её не поддерживают

Dmitry
15.07.2016
13:34:01
ну это понятно

давай думать как обновлять до 0.80.11

Pavel
15.07.2016
13:34:20
уже гуглю

нашёл кучу проблем с эти обновлением

Dmitry
15.07.2016
13:34:29
там хоть и дохера патчей - но сломаться ничего не должно

Google
Dmitry
15.07.2016
13:37:28
я внутри 0.94 обновлялся

2 раза

Pavel
15.07.2016
13:37:47
с обновлением именно с 0.80.7

подожди

я как понимаю у меня проблема именно в кривой репликации отдельных pg

pgmap v10792068: 2700 pgs, 2 pools, 6722 GB data, 1699 kobjects 18992 GB used, 283 TB / 301 TB avail 85333/4833873 objects degraded (1.765%) 13 active+degraded+remapped 2522 active+clean 137 active+degraded 28 active+remapped

и собственно вот ссыль

https://www.mail-archive.com/ceph-users@lists.ceph.com/msg05780.html

кстати как думаешь, имеет смысл ввести ещё одну OSD (свободные диски есть), чтобы инициировать ребалансинг без выпадания дисков или это ещё больше нарушит консистентность данных?

Михаил
15.07.2016
13:52:37
ну положим у тебя данные и так консистенты

Pavel
15.07.2016
13:52:50
да вот видимо не особо

раз скраб не проходит

и он сойтись не может

Dmitry
15.07.2016
13:55:48
ага

покажи еще раз ceph health detail

скраб не проходит из-за баги - валит osd

Pavel
15.07.2016
13:57:33
http://dropmefiles.com/zefHX

Dmitry
15.07.2016
14:02:14
в общем надо подумать

Страница 3 из 117