Anonymous
нинини, гластер ужасен
Anonymous
натерпелись
Aleksandr
люстра?
Anonymous
чем оно лучше? там же стопицот нод надо
а вообще чем не Ceph? не обязательно ему 100500 нод
Михаил
люстра?
люстра вообще не о том
Anonymous
лишь бы мониторы было где разместить
Anonymous
и гемора с масштабированием меньше
Anonymous
но блин cephfs это иногда лютая грусть
Anonymous
вам же posix fs надо?
Aleksandr
ноды всего три, расширение не планируется
Aleksandr
вам же posix fs надо?
да, обязательно
Anonymous
ы... ну тогда не(
Anonymous
у нас rgw
Aleksandr
я поэтому и стал на гластер смотреть - ему под мета не надо нодду
Aleksandr
у нас rgw
что это за зверь?
Oleksandr
http://ceph.com/category/rgw/
Oleksandr
Alexander 🐕
чому?
Тому щто distributed locking is hard
Alexander 🐕
Но вы пытайтесь, поцоны
Oleksandr
Хард, да
Alexander 🐕
Константин вон тоже в школе хуево учился - и ничего, живет же, даже до работы одним куском доезжает
Anonymous
что это за зверь?
S3-compatible object storage
Anonymous
ну и натрахались мы с глюкобагами ceph-а, щас тестим)
Anonymous
ляцкая убунта... грррррррррр
Aleksandr
ceph с kubernetes совместим?
Anonymous
вроде есть какой-то костыль скрещивающий RBD с ним
Anonymous
я не умею в кибернетес пока )
Михаил
ceph с kubernetes совместим?
Ну с openshift точно да
Anonymous
Ну с openshift точно да
ну еще бы, RBD жеж
Anonymous
блин
Михаил
ну еще бы, RBD жеж
Не, там не как рбд вроде можно
Anonymous
вот пичальбида что oVirt сцуко не умеет штатно цеплять RBD
Михаил
Anonymous
Что же у вас такого вылетело?
периодически на jewel падали osd
Anonymous
мы сильно хотели тестить bluestore
Михаил
Ээ
Михаил
Аа
Михаил
Ну так он еще не релиз же
Anonymous
собственно работает и даже прилично, если сказать bluestore bluefs = no
Anonymous
нет, jewel уже релиз
Anonymous
ну в общем вылетали osd, что с блюстором что без, могу даже багу откопать
Anonymous
http://ceph.com/releases/v10-2-3-jewel-released/ O RLY?
Alexander
а что именно с гластером там не так было у вас?
Anonymous
а что именно с гластером там не так было у вас?
ну во-первых, начнем с того, что (гластер <censored>)
Alexander
https://antizapret.prostovpn.org/
Михаил
а что именно с гластером там не так было у вас?
Чистяков против) ну и говорят он в старых версиях терял данные
Aleksandr
а что потребуется чтобы развернуть ceph для начала работы?
Anonymous
во-первых дико медленный stat() и прочее
Alexander
ну во-первых, начнем с того, что (гластер <censored>)
ну. если решение получило популярность - значит, уже что-то в нём хорошее есть) вот и интересно узнать, какие слабые и сильные стороны)
Anonymous
во-вторых оно любило разваливаться под нагрузкой (коллега подскажет)
Anonymous
в третьих, упаси боже гонять его хоть даже в разных машзалах одного ДЦ
Anonymous
чуть какие задержки и начинаются баги
Anonymous
Исправлено уже же
вот тут не подскажу, не я поднимал
Anonymous
у меня есть маленький кластер oVirt на глястере
Anonymous
там была фигня
Anonymous
Какой овирт?
ну такой. он же RHEV
Михаил
Версия
Anonymous
3.5.2
Alexander
а сколько нужно времени на поддержку/администрирование своего объектного хранилища на базе Swift / Ceph на базе дедиков?
Alexander
сколько часов в месяц
Anonymous
Саша Вир, ответить мне в личку, дама переживает :)
Alexander
мне хочется посчитать примерно, при каком размере хранилища будет выгоднее делать своё, а не арендовать B2/S3/etc.
Alexander
вот есть кейс https://silversuit.net/blog/2016/04/how-to-set-up-a-practically-free-cdn/
Alexander
взяли B2 и повесили сверху CloudFlare - получилось очень дёшево
Alexander
Ну цеф настроил и работает
а сколько времени разбираться с ним примерно?
Alexander
там много подводных камней с ним было?
Михаил
там много подводных камней с ним было?
для простых кейсов недолго. допустим маны "ceph + openstack" есть в оф доках и делается это за день максимум
Михаил
это если без разворота цефа, ну цеф еще пол дня не спеша
Alexander
ясно