Mark ☢️
# hdparm -i /dev/sda
/dev/sda:
Model=OCZ-TRION150, FwRev=SAFZ12.3, SerialNo=26MB31F9K1AU
Mark ☢️
Mark ☢️
host ceph07
Mark ☢️
там нет OSD с именем device36
Mark ☢️
это раз. тоесть у тебя есть осд который сейчас ни в каком ни в хосте
Mark ☢️
root default
Sergei
Я потом раскурился, это норм после удаления осдшки
Mark ☢️
item ceph07 weight 16.366
Mark ☢️
item ceph06 weight 18.185
Mark ☢️
тоесть вес там поменьше (ну, это норма)
Sergei
Я вернул 36, все веса вровень, device36 стал нормальным. Проблема на месте.
Mark ☢️
высокий cpu usage на osd
Mark ☢️
на всех ?
Sergei
Нет, преходящее
Anonymous
сюда бы знакмого затащить
Anonymous
у него преокт был на ceph, точнее у redhat на 8 петабайт
Sergei
путем проб и ошибок с Марком обнаружили, что как-то неадекватно ведет себя rgw, создавая ненормальную нагрузку на небольшое количество PG. тем osd, которым не повезло хостить на себе эту PG просто не хватало ресурсов на бекфилл.
прямо сейчас сразу после роллинг-рестарта всех rgw все полегчало. говорить о понимании рано, конечно.
дождусь воспроизведения проблемы в неволе, наснимаю дампов и буду дальше подраскуривать. но хотя бы средство купирования нашли.
Mark ☢️
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2015-June/002221.html
Mark ☢️
про снапшоты
Mark ☢️
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2015-June/002224.html
Mark ☢️
And during this time CPU usage on all the OSDs spikes to 200%+
Mark ☢️
доставляет
Mark ☢️
Откатывание на снапшот кладёт нахер всё. подтверждаю
Mark ☢️
удаление вроде не стопит всё
Sergei
господа, скажите, существует ли возможность иметь часть нод на bluestore, а часть на старом привычном filestore?
Mark ☢️
да
Mark ☢️
стопроцентно
Mark ☢️
там типа абстракция.
Александр
Такс, ребят, подскажите по вопросу, а ноды должны быть стандартаризированны? В доке не нашёл что-то ответа на данный вопрос.
Александр
Т.е. конфигруация у меня будет следующая, вот только не знаю что делать со storage, менять ли там диски под схему или оставить всё как есть.
Александр
Александр
Т.е. прейти к форме 2ssd+4hdd соразмерные
Михаил
Ну если ноды одинаковые, то так удобнее
Александр
Вопрос про большой сторадж
Александр
Как его сделать
Михаил
Тогда забей
Александр
С этими то понятно
Александр
Одинаковые
Александр
Ладно подумаю под что использовать
Александр
Что-то кроме бэкапов у меня идей и нет больше(
Александр
Кстати, нашёл тут, что ceph рекомендует брать одинаковые процессоры(я про поколение(нашёл в кукбук по цефу))
Mark ☢️
Александр
Там несколько иначе написано, что типа, стоит воздержаться от применения разных поколений процессоров, производителей, а так же архитектур, во избежании проблем с миграцией и осложнением сопровождения.
Александр
Я точно не помню, занят пока что, потом найду цитату
Alexander
Кстати, нашёл тут, что ceph рекомендует брать одинаковые процессоры(я про поколение(нашёл в кукбук по цефу))
Под compute советуют или одинаковые процы использовать, или заморачиваться с cpu_model и cpu_mode=custom в nova.conf, чтобы не было проблем с миграцией из-за разных наборов инструкций процессоров
Polnoch
Uncel
И бонусом https://lwn.net/Articles/679289/
Polnoch
Его нет в официальных репах шапки
Polnoch
А то, чего нет в официальных репах, шапкой не поддерживается
Polnoch
собственно, это не является критичной проблемой, т.к. все остальные официальные пакеты работают же
Uncel
Солнцеликий починил https://github.com/systemd/systemd/issues/2632
Uncel
А redhat слегка так зажрался
Polnoch
я не знаю, ИМХО, проблемы есть везде. Субъективно с красношляпой их чуть меньше
Polnoch
хотя Ubuntu LTS тоже норм
Mark ☢️
ceph tell osd.3 bench
Mark ☢️
Вот такая команда позволила мне обнаружить проблему медленной линейной записи
Mark ☢️
на этом конкретном ноде был адски медленный ссд — при этой команде, он (как и HDD) в сто процентов
Mark ☢️
(пока писал эту фразу — подумал что там возможно идиотический контроллер)
Mark ☢️
И точно! так и есть — контроллер. а я-то думаю.... каждый диск отдельно отбенчил — всё в порядке, даже больше моих ожиданий. а вместе отбенчить — я не додумался
Mark ☢️
сраные макретолохи
Александр
Железный контроллер?
Sergei
Александр
))
Mark ☢️
Насыщение автобуса? :)
пиздец смешно. Ну в общем — видимо да. используется контроллер который прям на метринке.
Mark ☢️
только блять какой шины ?
Roman
Mark ☢️
што конкретно ?
Mark ☢️
нет. на НР как раз всё ок. но там и ссд другой
Александр
Ну модель тогда матери
Mark ☢️
System Information
Manufacturer: Gigabyte Technology Co., Ltd.
Product Name: EG41MFT-US2H