« Rev
@ceph_ru   205
Fwd »


Alexey
Roman, что с записью во время миграции, XFS - не режиме no barrier случайно, а то вы тут про ребут говорите...
Mike
Стоит мало. Там где Газпром - там флешмассивы в несколько миллионов долларов, так для разминки.
Roman
Так что там с миграцией то, Roman вы показываете результат, что пишут гипервизоры во время миграции
машинка мигрируется, ошибокпри миграции нет и продолжает работать на другом хосте, но в терминале уже ошибки, что я кидал выше. А после перезагрузки вылетает в emergency. xfs repair не спасает.
Alexey
погодите, я запутался, RBD внутри виртуалки что ли ? Можете по подробнее рассказать ваш кейс.
set
А какая задача? Для чего тиеринг?
У меня есть некоторое количество больших, но медленных дисков - медленнее чем планируемый стандартный набор для сефа. Планировал исползовать их как стор таер - думаю, будет масса виртуалок с не слишком востребованными данными, будет хорошо если они будут опускаться на медленный слой. Вполне вероятно что я пытаюсь натянуть привычную логику аппаратной СХД на сеф и подход неправильный. Сейчас использую тайринг VNX-а для виртуализации - фактически он сам решает что перенести на ssd, а что хранить на nl-sas. Вроде и места много, и скорость хорошая.
Roman
Конечно. Есть 3 хоста на которых собран Ceph RBD. Также стоит KVM виртуализация, HA обеспечивает Corosync/Pacemaker. В качестве хранилища образов ВМ используется сам RBD.
Mike
Пока разрабы не перепишут cache tiering использовать его не рекомендую, только если вы точно знаете как он работает и точно вам поможет.
Mark ☢️
я прост как раз планирую заюзать
Mike
я прост как раз планирую заюзать
Оперирует только объектами целиком, т.е. если надо записал 4к в холодный объект - в cache будет поднят весь 4мб объект.
Mark ☢️
ок, меня устраивает
Mike
Нуну
Mike
Ты тесты видел?
Mark ☢️
догадываюсь. при рандомном чтении кошмар должен быть
Mark ☢️
да и запис тоже.
Mike
Деградация при evict/promote - дикая
Mark ☢️
но в реальной жизни же оно не такое рандомное
Mark ☢️
вангую
Mark ☢️
при достаточно большом размере быстрого пула кагбы пофиг же. не ?
Mike
Что бы хоть как-то в нем жить - надо либо время жизни объекта увеличивать, либо только read proxy использовать
Mike
при достаточно большом размере быстрого пула кагбы пофиг же. не ?
Тогда нахрен тебе cache? Если много ssd - есть bcache
Mark ☢️
Тогда нахрен тебе cache? Если много ssd - есть bcache
в блюсторе данные не пишутся в журнал. а мне нужен врайт кеш для прописывания пиковых иопсов.
Mark ☢️
как прикрутить правильно bcache — ещё не смотрел.
Mike
У sage есть прентация на slideshare, где cache tier работает хуже чем аналогичный falestor
Mike
Или жди весны
Mark ☢️
тааааак. а что будет весной в этом плане ?
Mark ☢️
и да, через год видимо имеется в виду.... или что.
Михаил
тааааак. а что будет весной в этом плане ?
новый лтс в ноябре поидее
Mark ☢️
и что там в плане кеширования ?
Михаил
а хз
Mike
https://youtu.be/NqOFWGUvA9A
Mike
Посмотрите презентацию
Mark ☢️
о, прикольно. клиенты могу говорить, мол не сжимай эти данные. годно, если у меня коллекция джепегов в RBD. или, наверно, какаято примочка к CephFS которая говорит что джепеги жать не надо.
set
Если очень хочется слой кеширования - попробуйте bcache
если я правильно понимаю что это, то теоретически доолжно хватить и журналов на ссд. Но общую мысль я понял, спасибо.
Mark ☢️
http://ceph.com/geen-categorie/500-osd-ceph-cluster/
Roman
Нет, вообще миграция проходит без проблем. Но при фризах или критических проблемах могут проявляться такие симптомы.
Mark ☢️
ух какая годнота. А ведь у меня были мысли что почему бы им так не сделать? и вот, сделали
Mark ☢️
клёво. взял свич, воткнуд туда винтов прям через езернет. кластер готов.
Дмитрий
Посмотрите презентацию
Было гладко на бумаге... Тут пару дней назад с 12.0.2 на 12.0.3 проапргрейдился, теперь у меня нет сeph
Дмитрий
решил, по быстрому в субботу, yum upgrade на нодах, потом osd стали флапиться (падать в паник), все оcтановил сделал через deploy, тоже самое. Добавил 3 новых osd, они тоже падаю в паник при ребалансе. Так он после нескольких попыток, не смог востановиться (было 2 копии)
Дмитрий
дело житейское...
Дмитрий
потестил
Дмитрий
обновлял по нодам, то-что нужно сначала мониторы все проапргредить в курсе
kiosaku
скажу за миграции, цеф, квм и иксфс - под хаммером полёт нормальный, 5-9 узлов на кластер
Дмитрий
ну я с кракена на 12.0.2 тоже на ходу переехал
kiosaku
виртуалки - на рбд
kiosaku
замаплено что?
Дмитрий
да, там она тестовая виртуалка была
Дмитрий
на 4ТБ
Дмитрий
rbd
Евгений
замаплено что?
ну, используется встроенный в kvm бэкэнд для rbd, да?
Дмитрий
да, был 12.0.2
kiosaku
угу
Дмитрий
я без претензий
Дмитрий
но вот вот уже LTS должно
Mark ☢️
может это не цеф гавно, а центос гавно ?
Михаил
Дак погоди, причина-то не выяснена!
нехуй тащить dev версии в прод
Mark ☢️
ну и это тоже
Дмитрий
ну там не было прод, может и руки гавно
Mark ☢️
впрочем, у меня кракен. и тот самый апгрейд я несколько раз делал. и по одному ноду, а не все сразу
Михаил
впрочем, у меня кракен. и тот самый апгрейд я несколько раз делал. и по одному ноду, а не все сразу
но вообще разновидность русской рулетки сразу всё апгрейдить)
Дмитрий
по одной ноде апргрейдил, и перезапускал все
Дмитрий
как нибуть еще разок попробую
Gleb
может это не цеф гавно, а центос гавно ?
ну с учётом что сейчас разработчики из одной компании ваше заявление очень сильное
Mark ☢️
ну с учётом что сейчас разработчики из одной компании ваше заявление очень сильное
ага-ага. это лишь рабочное владение. всмысле, что кто раньше писал цеф тот его и пишет
Mark ☢️
а центос как был.....хм.. так и остался, но это дистросрач не в том телеграм-канале
Gleb
ну да
« Rev
@ceph_ru   205
Fwd »