Нет, преходящее

сюда бы знакмого затащить

у него преокт был на ceph, точнее у redhat на 8 петабайт

путем проб и ошибок с Марком обнаружили, что как-то неадекватно ведет себя rgw, создавая ненормальную нагрузку на небольшое количество PG. тем osd, которым не повезло хостить на себе эту PG просто не хватало ресурсов на бекфилл. прямо сейчас сразу после роллинг-рестарта всех rgw все полегчало. говорить о понимании рано, конечно. дождусь воспроизведения проблемы в неволе, наснимаю дампов и буду дальше подраскуривать. но хотя бы средство купирования нашли.

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2015-June/002221.html

про снапшоты

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2015-June/002224.html

And during this time CPU usage on all the OSDs spikes to 200%+

доставляет

Откатывание на снапшот кладёт нахер всё. подтверждаю

удаление вроде не стопит всё

господа, скажите, существует ли возможность иметь часть нод на bluestore, а часть на старом привычном filestore?

да

стопроцентно

там типа абстракция.

Такс, ребят, подскажите по вопросу, а ноды должны быть стандартаризированны? В доке не нашёл что-то ответа на данный вопрос.

Т.е. конфигруация у меня будет следующая, вот только не знаю что делать со storage, менять ли там диски под схему или оставить всё как есть.

Т.е. прейти к форме 2ssd+4hdd соразмерные

Ну если ноды одинаковые, то так удобнее

Вопрос про большой сторадж

Как его сделать

Тогда забей

С этими то понятно

Одинаковые

Ладно подумаю под что использовать

Что-то кроме бэкапов у меня идей и нет больше(

Кстати, нашёл тут, что ceph рекомендует брать одинаковые процессоры(я про поколение(нашёл в кукбук по цефу))

Кстати, нашёл тут, что ceph рекомендует брать одинаковые процессоры(я про поколение(нашёл в кукбук по цефу))

А причина ?

Там несколько иначе написано, что типа, стоит воздержаться от применения разных поколений процессоров, производителей, а так же архитектур, во избежании проблем с миграцией и осложнением сопровождения.

Я точно не помню, занят пока что, потом найду цитату

Кстати, нашёл тут, что ceph рекомендует брать одинаковые процессоры(я про поколение(нашёл в кукбук по цефу))

Под compute советуют или одинаковые процы использовать, или заморачиваться с cpu_model и cpu_mode=custom в nova.conf, чтобы не было проблем с миграцией из-за разных наборов инструкций процессоров

Под compute советуют или одинаковые процы использовать, или заморачиваться с cpu_model и cpu_mode=custom в nova.conf, чтобы не было проблем с миграцией из-за разных наборов инструкций процессоров

У него нет опенстека

вообщет 25% коммитов в ядро шапка делает

За какой год?

За какой год?

2014 например

2014 например

https://bugzilla.redhat.com/show_bug.cgi?id=1397402

И бонусом https://lwn.net/Articles/679289/

https://bugzilla.redhat.com/show_bug.cgi?id=1397402

Warning: No matches found for: scylladb

Его нет в официальных репах шапки

А то, чего нет в официальных репах, шапкой не поддерживается

Warning: No matches found for: scylladb

Баг старого systemd

Баг старого systemd

они не отловили это на тестах, т.к. в их репозиториях этого пакета нет

собственно, это не является критичной проблемой, т.к. все остальные официальные пакеты работают же

Солнцеликий починил https://github.com/systemd/systemd/issues/2632

А redhat слегка так зажрался

я не знаю, ИМХО, проблемы есть везде. Субъективно с красношляпой их чуть меньше

хотя Ubuntu LTS тоже норм

ceph tell osd.3 bench

Вот такая команда позволила мне обнаружить проблему медленной линейной записи

на этом конкретном ноде был адски медленный ссд — при этой команде, он (как и HDD) в сто процентов

(пока писал эту фразу — подумал что там возможно идиотический контроллер)

И точно! так и есть — контроллер. а я-то думаю.... каждый диск отдельно отбенчил — всё в порядке, даже больше моих ожиданий. а вместе отбенчить — я не додумался

сраные макретолохи

Железный контроллер?

И точно! так и есть — контроллер. а я-то думаю.... каждый диск отдельно отбенчил — всё в порядке, даже больше моих ожиданий. а вместе отбенчить — я не додумался

bus saturation?

bus saturation?

Насыщение автобуса? :)

))

Насыщение автобуса? :)

ахаха.

Насыщение автобуса? :)

пиздец смешно. Ну в общем — видимо да. используется контроллер который прям на метринке.

только блять какой шины ?

пиздец смешно. Ну в общем — видимо да. используется контроллер который прям на метринке.

Ты конкретику давай

што конкретно ?

только блять какой шины ?

А сервер HP? Те что писал?

нет. на НР как раз всё ок. но там и ссд другой

Ну модель тогда матери

System Information Manufacturer: Gigabyte Technology Co., Ltd. Product Name: EG41MFT-US2H

А в сравнениях можешь показать скорости?

так скажу — в каждом компе по 4 диска — один ссд — используется как журнал и 3 магнитных

все магнитные дают не менее 120 мб в сек линейной записи. некоторые сильно больше.

Ось диск ССД?

бляяять

ось доебан 8 везде

кароч

Ос на каком диске?

А ssd сколько тебе по полосе дает?

ос на ссд. но это сути не меняет так как там ничего практически не пишется и не читается

ссд метров 300 в секунду (который козлит). который нормально — 450.

for i in 3 4 5; do ceph tell osd.$i bench & done

вот так делаю и смотрю чо там

ну так вот. на НР серваке ссд грузится процентов на 30. магнитные в потолок

на говнокомпе когда делаю даже просто один ceph tell osd то ssd в потолок вместе с магнитным

ну а линукс как меряет? соотношение времени простоя к соотношению времени выполнения команд.

поэтому даже если ссд не загружен а загружена какая-то там шина, то линуксу будет казаться что диск всё ещё делает команду.

вот они оба под 100% и кажутся. типа мешают друг другу работать

Странная странность

Странная странность

это норм. шина между камнем и девайсом не пропускает через себя поток данных на нужной скорости.

PCI же. в чём прикол-то ?

я ловил такое, когда бекплейн был подключен к контроллеру на 12 гбит/с, а в нем было 14 устройств. каждое по отдельности - работает быстро. все вместе - как говно.

ссд метров 300 в секунду (который козлит). который нормально — 450.

А точно ты в sata3 воткнул ssd?

а там все порты одинаковые.

не в этом дело. я его ранее бенчил на другом компе (на котором 450 было, но с другим ссд)

ну мы же из говна и палок собираем, верно? щас смотрю на авито контроллер

Аа

У тебя ж плата говно

а что именно у неё говённого ?

Посмотри на полосу между северным и южным мостом

ээээ