Anonymous
ну просто у меня были на тестах ситуации, когда дохлый драйв не выбивался из кластера подолгу и i/o тормозили
Mark ☢️
Недостаточно дохлый :)
Mark ☢️
Так вот. Серьезно. При вылете праймари осд что происходит ?
Mark ☢️
Или когда именно цеф рапортует об успешной записи ? После ответа что все реплики писнули в журнал ?
Anonymous
по-моему да
Mark ☢️
А точно как узнать ? Дока какаято неконкретная.
Anonymous
задай это в ирс на канале #ceph
Mark ☢️
irc ? Оно ещё живо ?
Pavel
В доках все это есть
Pavel
Официальных
Mark ☢️
А можно ссылку на это место ?
Vladimir
https://wiki.openstack.org/wiki/IRC
A
кстати про Ceph
A
2016-11-06 23:15:33.406422 7f8a8d111700 0 — 172.24.47.202:0/470645825 » 172.24.47.214:6800/32168 conn(0x7f8a740098e0 :-1 s=STATE_CONNECTING_WAIT_BANNER_AND_IDENTIFY pgs=0 cs=0 l=1)._process_connection connect claims to be 172.24.47.214:6800/18443 not 172.24.47.214:6800/32168 - wrong node!
ни у кого не было такого? что с ним не так?
Михаил
Однако если вы думаете как мониторить свой CEPH кластер, то я советую посмотреть на prometheus и grafana. Достаточно симпатично и удобно.
Anonymous
👍
Mark ☢️
http://www.neboleem.net/images/stories1/lekarstva/cefazolin1.jpg
Mark ☢️
Напомнило тут
Mark ☢️
Кто там с рэйдом под цеф был ? Теперь превед будет. Он там о_директ использует бай дефолт!!!
Михаил
Mark ☢️
Кароч, срет например приложение в страницу. Едро начинает пейсать это на винты.
Mark ☢️
И в процессе пейсания, приложение (виртуалка тоесть, обычно) срет в страницу другой контент.
Mark ☢️
Ну а едро-то чо. Выставило адрес в памяти и дма процедуру начало
Mark ☢️
Причем процедуры параллельно в оба винта
Mark ☢️
Но ониже ясен пень немного с разной скоростью пишут
Mark ☢️
Да и вобще, мало ли когда шедулер начнет писать…
Mark ☢️
Вот и получаица, что на винты немного разные данные попадают
Mark ☢️
А вот при пейсании через пейдж кэш, тоесть по нормальному
Mark ☢️
Он там перед писнёй копионврайт ставит.
Mark ☢️
Сорри за стиль. Так просто по фану.
Sergey
🙈
Danila
Для начала по сефу, доки на сайте подойдут? Или есть более полные маны ?
Dmitry
на хабре вот была офигеннская статья недавно
Ильдар
http://onreader.mdl.ru/LearningCeph/content/index.html
я тут читал, не знаю на сколько актуальная информация там
Dmitry
https://habrahabr.ru/post/313644/ #links #ceph #manuals
Dmitry
вот
Ильдар
тут недавно скидывали статейку на хабр
Dmitry
Dmitry
но уже не новая
Danila
Спасибо!
Dmitry
хз актуальность
Roman
Mark ☢️
ну да, а шо
Ильдар
ceph и openstack вряд ли будет, но всё же
https://special.habrahabr.ru/highload/2016/
Михаил
ceph и openstack вряд ли будет, но всё же
https://special.habrahabr.ru/highload/2016/
Я даже в списках докладов не видел
Mark ☢️
Коротко: Если во время записи страницы в режиме O_DIRECT её содержимое меняется, то на разные половинки зеркала может записаться разная информация. При нормальной записи (через Page Cache) там выставляется перед началом реального IO copy-on-write, поэтому такого не происходит.
Vladimir
хайлоад не нужен, кажется
Vladimir
я в прошлом году ходил, ваще не зашло
Dmitry
просто реально - посмотрел доклад зайцева
Dmitry
он там монгу с мускулом сравнивает
Dmitry
и налил стока воды, что пиздец
Roman
Dmitry
парни, ну не надо рейд под цеф
Dmitry
вот написано же на хабре почему
Dmitry
Другой разговор, что это не будет иметь смысла. Следует отметить и то, что благодаря программной определяемости, хранилище можно поднять даже поверх RAID или iSCSI-устройства, однако в большинстве случаев это тоже не будет иметь смысла.
Dmitry
https://habrahabr.ru/post/313644/ все отсюда же
Roman
ровно тоже самое. если речь идёт о программных
В твоем описании получается что оно корраптит массив
Dmitry
надо просто задать себе вопрос зачем?
Dmitry
у вас есть OSD
Dmitry
сеф вам все и сам размажет
Dmitry
нахрена рейд городить?!
Dmitry
я, конечно, маску нашел и в проде его не юзал
Михаил
к нам тут приходили какие-то азиаты продавать свою версию цефа у них такое прямо в проде
Dmitry
Миш, ну логика же
Dmitry
ты плодишь сущности и слои
Dmitry
это как делать зфс на лвме
Mark ☢️
в этом то и соль