Кто пользует ceph - расскажите, как там с латенси и с иопсами
латенси есть и иопсы есть
Nikita
Ilya
Михаил
Нет
Pavel
подробнее
http://automationclinic.com/wp-content/uploads/2012/05/Screen-shot-2012-05-30-at-6.45.55-PM.png
🏳️ Phil
ну там фс, обжсторадж
Nick
фс
🏳️ Phil
а. тебя лавры дримхоста тревожат?
Nick
а что там у дримхоста?
Nick
я уже загуглил ScaleIO vs. Ceph и опять расстроился
Nick
формально, оно денег стоит
Nikita
да все денег стоит
Nikita
так или иначе
Nikita
;восстанавливать
Михаил
Как можно цеф разломать? Если не специально
Pavel
Меня больше интересует, что значит "файлуха рассыпалась"
🏳️ Phil
хз. поищи их ишью
Pavel
Ну очевидно, что ФС могла рассыпаться либо на клиенте, либо на осд. Оба кейса не ведут к потере данных
🏳️ Phil
Александр
А есть ссылка? С ходу не нагуглилось
Александр
Че там стряслось с цефом у дримхоста
Mike
Да они совместили ceph с compute нодами. Но как потом выяснилось, ошиблись с просчётом необходимого кол-ва RAM.
Mike
Коммутатор умер, ceph начал перебалансироваку. Памяти не хватило - приходит OOM и киляет OSD. Новая волна перебалансировки, приходит OOM и киляет много OSD и понеслось.
Mike
Добавили RAM, дали ceph перебалансироваться - всё заработало.
Александр
А есть понимание сколько рам надо держать в запасе чтобы такого не случилось?
Mike
А есть понимание сколько рам надо держать в запасе чтобы такого не случилось?
Я бы не совмещал compute и ceph.
Pavel
Да они совместили ceph с compute нодами. Но как потом выяснилось, ошиблись с просчётом необходимого кол-ва RAM.
Ну понятно, выстрелили в ногу
Михаил
Что бы мы реже такое видели
Pavel
Я боюсь осд с монами совмещать, а люди qemu туда пихают. Пиздец какой
Pavel
Мне кажется такие должны страдать
Михаил
Они страдают, но потом заявляют, что это цеф говно
Михаил
Вон тебе выше пример
Александр
А кстати, никто не тестил вариант отдавать цеф в VMware через lio?
Pavel
Они страдают, но потом заявляют, что это цеф говно
Ну тут уже кажется Ксения говорила, что это норм подход
Pavel
Мне кажется только выжженое сообщение о профнепригодности спасет рынок
Михаил
А кстати, никто не тестил вариант отдавать цеф в VMware через lio?
Есть подозрение, что по iscsi будет тормозить
Михаил
@Lumen_Ratio и @spuzirev
Александр
Это если по Ethernet экспортировать, а ведь можно по fc, не?
Mike
Это если по Ethernet экспортировать, а ведь можно по fc, не?
латенси будет выше, т.к. надо ставить gateway
Александр
На iscsi многие ругаются, типа заворачивать scsi в tcp - дохера накладных
Александр
Но если сетевухи с tcp offload, должно быть норм
Александр
Вообще конечно зависит от требован я
Александр
Надо дрхера оипс- дуй в FC
Mike
На iscsi многие ругаются, типа заворачивать scsi в tcp - дохера накладных
дело не в tcp. Его надо раскрывать на хосте, а покупать hw iscsi hba никто не хочет.
Брандашмыг
Спасибо
Pavel
Причем тут ilo??
Mike
ISCSI может быть быстрее FC и с меньшей латенси.
Александр
В теории можно кластер гейтвеев собрать наверное))
Александр
У крока можно спросить)
Mike
превосходит. Только FC - это надёжно, корпоративно, энтерпрайзно. А IB никто не знает.
Александр
И ip и san
Александр
Конвергентная сеть
Александр
Если смотреть сколько инкапсуляций scsi команды происходит в протоколе FC и iscsi, второй проигрывает
Mike
Если взять iscsi hba? Или как?
нет. Взять хорошие коммутаторы с низкой латенси, NIC и трансиверы с кодированием 64/66.
Александр
Ну это аристы наверное. С низкой латенси то. Вопрос будет в стоимости общего решения, может быть дороже FC выйдет
Mike
Ну это аристы наверное. С низкой латенси то. Вопрос будет в стоимости общего решения, может быть дороже FC выйдет
Mellanox, новые cisco, arista.
Mike
Mike
mellanox ещё дешевле, если с картами брать.
Александр
У нас есть пара меланоксов, но с DAC кабелями 40-4х10g