кстати EC под RBD не допилили еще ? мне тоже не очень нравится текущая эффективность хранилищ на ceph. без EC и дедупликации как-то не айс. имхо.

Эффективноть использования места зависит от того каким функционалом вы пользуетесь. Если все VM стартуют из образа или шаблона, через clone/snaphot - эффективность будет высокой. У нас в OpenStack было продано места больше чем ёмкость ceph, однако из-за CoW - у нас фактически было занято в кластере ceph не больше 12% места.

Первые два пункта я описал есть ещё 3 пункт надежность хранения, но в цеф я бы не сказал что сильно надежнее 10 рейда так как чем сложнеесистема тем больше точек отказа, у меня 5 рейды умирали и другие 10 рейд ниразу не умирал с потерей данных клиентов. А то как я слышал цеф проглючивает у многих, пока не дает ощущение надежности

Оверпровиженинг опасная штука

ели не понимать процесса. Вот ты поднимаешь VM на винде из образа. Сколько процентов будет изменённых данных?

У нас то циндер в основном

И что? Помести Glance на ceph и живи счастливо.

у тебя точка отказа тут - сам сервер. Тогда как при грамотном планировании failure domain, ceph может выжить при отказе, сервера/стойки/зала.

ну а cinder как используют клиенты?

угу если выйдет 1 сервер пострадает 1 клиент или клиенты на этом 1 сервере, при этом время замены самого сервера - минут 10-30 Если выйдет из строя цеф кластер (скажите что такого не было ни разу) то постардает 100% клиентов и до суток- двое простоя (такое уже было - я слышал :))

А ещё если начнется востановление на цеф глобальные тормоза могут постигнуть так же всех клиентов - опять косяк. Я не противник цеф - тоже хочу его у себя под некоторые нужды поднять но пытаюсь понять как сделать эффективнее чем 50 серверов каждый внутри себя 10 рейд

А ещё если начнется востановление на цеф глобальные тормоза могут постигнуть так же всех клиентов - опять косяк. Я не противник цеф - тоже хочу его у себя под некоторые нужды поднять но пытаюсь понять как сделать эффективнее чем 50 серверов каждый внутри себя 10 рейд

ели не понимать процесса. Вот ты поднимаешь VM на винде из образа. Сколько процентов будет изменённых данных?

угу если выйдет 1 сервер пострадает 1 клиент или клиенты на этом 1 сервере, при этом время замены самого сервера - минут 10-30 Если выйдет из строя цеф кластер (скажите что такого не было ни разу) то постардает 100% клиентов и до суток- двое простоя (такое уже было - я слышал :))

В bluestore обещают

как реплики совместимы с дедупликацией)

Совместими. Nutanix жеж заявляет

Если вы считаете нормальным простой клиента полчаса - тогда ок. Вам не нужны вообще никакие хранилки. Если такие варианты так же: если баг будет в прошивке контроллера и разварится массив? Как тогда? Если контроллер умрёт и данные попортит? Битая память, сервер завис, часть данных висит в памяти и не брошена на диск?

Нахуй нужны рейды аппаратные?

А вы считаете нормальным простой не 1 клиента, а всех клиентов и на сутки и более если цеф свалилась? тут возможно 30 минут куда более короткий срок, а если у клиента бизнес зависит от твоих серверов он может арендовать 2 сервера чтобы избежать простоя при умирвании сервера. ИМХО процент простоя из-за проблем аппаратного рейда при миллионных (если не больше) продажах аппаратных рейдов мне кажется намного ниже чем процент проглючивших систем на ceph, но это имхо так как ни той ни той статистики нет. Но в любом случае система на цеф более сложная и там допустить ошибок можно больше.

есть люди, которые верят в непогрешимость кода в аппаратном рейде. я не верю - я и с техподдержкой адаптека общался, и данные из запоротого хранилища спасал

тот факт, что ceph и аппаратный raid решают совершенно разные задачи вас, я так понимаю, не смущает вообще

есть люди, которые верят в непогрешимость кода в аппаратном рейде. я не верю - я и с техподдержкой адаптека общался, и данные из запоротого хранилища спасал

рейды аппаратные ради кеша полгигового и writeback с батарейкой

А вы считаете нормальным простой не 1 клиента, а всех клиентов и на сутки и более если цеф свалилась? тут возможно 30 минут куда более короткий срок, а если у клиента бизнес зависит от твоих серверов он может арендовать 2 сервера чтобы избежать простоя при умирвании сервера. ИМХО процент простоя из-за проблем аппаратного рейда при миллионных (если не больше) продажах аппаратных рейдов мне кажется намного ниже чем процент проглючивших систем на ceph, но это имхо так как ни той ни той статистики нет. Но в любом случае система на цеф более сложная и там допустить ошибок можно больше.

Я не верю глюк с адаптеками навалом прошивки обновляю постоянно вижу что у них.

Если вернуться к началу вопроса - эффективности хранения - почему этого хочется - потому что если делать ceph на SSD не хочется переплачивать за кучу лишних SSD под резервирование. Ведь ssd нужен для скорости а не для хранения дублей и по факту при использовании ceph на ssd получается супер переплата по деньгам.

Не смущает потому что я знаю что делают разные задачи и что при работе с ceph теже рейды могут стоять (и не важно какие в мамке или апаратные)

Вы поему запизделись.. то вам аппартаный рейд важен, то не важен

я не говорил что не важен -это раз. А два - у меня сейчас все на рейдах вот и думаю про цеф, но пока а) нет человека спеца б) не понятно где профит будет кроме расхода на построение первоначальной системы. г) хочется

в цеф есть возможность работы "типо рейд 5", но пока оно не умеет работать с блочными устройствами в таком формате

я не говорил что не важен -это раз. А два - у меня сейчас все на рейдах вот и думаю про цеф, но пока а) нет человека спеца б) не понятно где профит будет кроме расхода на построение первоначальной системы. г) хочется

блин, ну расходы на реплики это плата за стабильность

У меня с zfs проблема на одном сервере - около 20 тер данных и около 300 миллионов файлов и zfs тормозит при удалении так что вешаться хочется.