Я в том году был — конфа годная

btw что там с nvmeof в цефе?

Зачем это цефу?

Зачем это цефу?

Гонки за iops, latency и все остальное

Гонки за iops, latency и все остальное

это не поможет

это не поможет

Чому?

Без набросов в сторону rdma

потому, что NVMeoF это как iscsi, проброс NVMe на хост клиента.

каким тут боком ceph - не понятно

фактически ты видешь nvme локально как диск на гипервизоре или в vm

Ладно, я наверно криво выразился. Pcie контроллер уже давно в проце, с poll mode драйверами будет быстрее. Выходит дешевое флеш хранилище

если не рассматривать ceph, смотри в сторону Excelero: https://www.excelero.com/product/nvmesh/

рассматривал этих ребят. Они умеют raid1, 10, обработка на клиенте, на сервере с NVMe - только таргет для NVMeoF. По их заверениям, одно ядро на гипервизоре может обработать от 100к IOPS от клиентов.

но у них пока плохо с интеграцией с щpenstack, с VMware интеграции пока нет и не планируется

Они работают совместно с mellanox: http://www.mellanox.com/related-docs/whitepapers/low_res_NVMesh%20Reference%20Platform%20for%20Openstack%20v4.pdf

Ставим coreos, он подтягивает образ докера с nova-compute. Все виртуалки корнем в ceph, все данные докера тоже в ceph. Делаем кластер из coreos, получаем устойчивый гипервизор. Ну и coreos загружаем по pxe

и все это наебывается при любом флапе сети ))

рассматривал этих ребят. Они умеют raid1, 10, обработка на клиенте, на сервере с NVMe - только таргет для NVMeoF. По их заверениям, одно ядро на гипервизоре может обработать от 100к IOPS от клиентов.

все что имеет в составе слово openstack - вызывает подозрение 😂

Дада. Имели уже керберос в виртуалке. И когда гипервизор наебнулся никуда зайти по ссш не смогли. Ток под рутом локально.

Вот, ахах

Ребята а кто знает аналог ceph но с дедупликацией? И обещают ли дедупликацию в ceph?

скорее всего только nutanix умеет.

"This is a blue-sky feature. It's been discussed in the past and will probably happen someday, but isn't an easy feature or something that we're going to devote resources to for a long while." В блюсторе есть компрессия, если надо

Компрессия это же zip типа?

Будет медленно

Хочу 1000 vm перенести на ceph но смущает отсутствие дедупликации, тк vm однотипные

Ребята а кто знает аналог ceph но с дедупликацией? И обещают ли дедупликацию в ceph?

В nexenta edge есть ...

Хочу 1000 vm перенести на ceph но смущает отсутствие дедупликации, тк vm однотипные

virtio-scsi + discard - даст больше чем дедупликация.

Оно и так у нас работает

Трим наше все )

Оно и так у нас работает

экономите на спичках? )

virtio-scsi + discard - даст больше чем дедупликация.

+ COW снапшоты. образ базовой системы и на него снапшот с ответвлением.

А вот это интересно

Оно быстро работает?

Правда потом приходит подвыпивший амин, сносит "непонятный" базовый образ и ОЙ! XD

Оно быстро работает?

Оверхэд есть, но незаметный.

Правда потом приходит подвыпивший амин, сносит "непонятный" базовый образ и ОЙ! XD

ак не удаляется же, если есть ветки

ак не удаляется же, если есть ветки

если постараться - удаляется

ну если стараться, то это уже не ошибка пьяного админа, а диверсия )))

ну если стараться, то это уже не ошибка пьяного админа, а диверсия )))

а пьяный админ - не деверсия?

а пьяный админ - не деверсия?

есть пьяные админы-адекватные, а есть и трезвые неадекватные :)

А есть тут кто может подобрать конфиг и инсталляцию сделать?

За ₽

А есть тут кто может подобрать конфиг и инсталляцию сделать?

мы, всем чатиком.

В nexenta edge есть ...

Чат не про неё, но все же чем она хуже ceph?

мы, всем чатиком.

А тут были подобные случаи?))

А тут были подобные случаи?))

Да, сюда часто забредают граждане за консультацией. Коллективный косалт полезен тем, что если в процессе, например меня, занесет, коллеги по чату успеют поймать за руку.

Тоже верно 👍

Чат не про неё, но все же чем она хуже ceph?

Так вопрос был про альтернативу ...

http://docs.ceph.com/docs/master/start/hardware-recommendations/ - стартовый документ о железе

Так вопрос был про альтернативу ...

Я прочитал пинед мессаг поздно)

http://docs.ceph.com/docs/master/start/hardware-recommendations/ - стартовый документ о железе

Читал, на lga1366 оно нормально будет? Мы бомжи :)

Читал, на lga1366 оно нормально будет? Мы бомжи :)

"Нормально" - это не целевая конфигурация. Конфигурация может оптимизироваться по IOPS, BW, надежности, блаблабла, но не "Нормально"

Значит надо посчитать показатели iops и bw текущие и от этого отталкиваться?

Значит надо посчитать показатели iops и bw текущие и от этого отталкиваться?

Хорошо бы

Ок!

Доброго дня! Пытаюсь воспользоваться ceph-ansible. Делюа по инструкции: https://github.com/ceph/ceph-ansible/wiki : скопировал site.yml, файлы в group_vars, поправил список устройств дял OSD, выполняю $ ansible-playbook site.yml и получаю сообщение "ERROR! The handlers/main.yml file for role 'ceph-defaults' must contain a list of tasks"

Чего я не так делаю?

лучше decapod

тот же ансибл, только работающий

да и ansible должен работать, я просто что-то не то делаю, а не знаю что

https://github.com/Mirantis/ceph-lcm

gui...

всё же я по ceph-ansible хотел бы услышать что-нибудь

какое гуи

впрочем ладно

в демке почему-то веб-морда. не?

Могу предположить что не той версией ансибля пользуешься. Но в целом ceph-ansible эт куча этого самого, конечно.

Могу предположить что не той версией ансибля пользуешься. Но в целом ceph-ansible эт куча этого самого, конечно.

Имею ввиду что могли чо-то и поломать.

в демке почему-то веб-морда. не?

Есть decapod-cli

Имею ввиду что могли чо-то и поломать.

@victor_chaplinsky попробуй взять какой-нибудь стабильный тег оттуда?

Может действительно поломали

Там чот дохрена веток и не поймешь чо брать.

у меня ansible 2.0.0.2

Ну кто его знает, может с 1.9 или 2.3 попробоать? Под них там отдельные ветки есть даже.

таки да, поставил по совету @wildylion анзибл из ppa, теперь работает

спасибо )

попробую поставить 12.1.2 и bluestore

в продакшн сразу )

Возвращаясь к большой файлопомойке в цеф/rbd: нужны снапшоты, как лучше поступить? Вариант 1: xfs, снапшот средствами ceph; Вариант 2: btrfs/zfs, снапшот средствами файловой системы.

Конечно 1. В вариант 2 плохая производительность (бтрфс) и жор памяти (зфс)

В варианте 1 правда открывать снапшот труднее

У нас всё бекапится через снапшоты цефа