снапшоты пишут, что нельзя снимать

Снапшоты чего ?

Снапшоты чего ?

cephfs

Молча. Бекап делается через borg, при необходимости монтируем нужный архив и обычным cp льём на cephfs или в любое другое место

снапшоты пишут, что нельзя снимать

Там предлагалось снапшот пула RGW так как говорилось про S3

Там предлагалось снапшот пула RGW так как говорилось про S3

а, ок ок

Ну да. Согласен. Пяка

Но можно выкрутиться подключив довекот к снапшоту и вытянув с него чо надопосредством имапного протокола

Т. Е. Перетаскиванием папочки мышкой

Сложнее да

Но можно выкрутиться подключив довекот к снапшоту и вытянув с него чо надопосредством имапного протокола

Я думаю будет люто тупить если сделать 20 снапшотов.

Молча. Бекап делается через borg, при необходимости монтируем нужный архив и обычным cp льём на cephfs или в любое другое место

Кста рекомендую squashfs

В качестве архива ибо монтируется

И жмет не хило

Кста рекомендую squashfs

Пользовались когда жили на гластере. Не совсем удобно после борга

Хм. Гляну

И жмет не хило

Мы особо не жмём - так как там дедупликация. С почтой вообще люто дедуплицирует

https://github.com/bup/bup

Вот такое встречал. Но не юзал

Первый проход был долгим, так как на бекапе тормознутый гластер, с мелкими файлами не алё у него. Но потом очень шустро. 310 гиг за 15-20 кладёт в архив

Вот такое встречал. Но не юзал

Не вкурсе

https://borgbackup.readthedocs.io/en/stable/

Я его юзаю в данном случае. А так все от задач

Когда уже кто-то запилит курс по ceph с pool mirror, cephfs, cache tiring, rgw для продакшена и как для этого всего сделать disaster recovery?

https://www.qct.io/solution/index/Storage-Virtualization/QxStor-Red-Hat-Ceph-Storage-Edition

Сейчас RH продвигает активно GlusterFS. Ceph у них имеет слабый приоритет. Сегодня был разговор с человеком из шапки

а гластер не разваливается? правда-правда? ;)

когда мы его юзали, там багов был вагон

но их активно чинят, да

Они и ансибл

Активно чинят

Еще активней ломают правда

да, вот ансибл это 5+

ломать core модули - наши все

в ансибл такое количество багов, что я не понимаю, что с ним делать вообще то ли не пользоваться, то ли найти некий волшебный билд и пользоваться только им

Qcow2 на cephs - это пиздец ? Ну. Чтобы снапшоты виртуалок работали...

А то ебучий либвирт не умеет в снапшоты в rbd

proxmox?

https://github.com/bup/bup

bup недоделан и заброшен, не умеет удалять старые бекапы, borg неплох, еще zbackup есть

А то ебучий либвирт не умеет в снапшоты в rbd

По opennebula снапшоты в rbd работали уже два года назад

bup недоделан и заброшен, не умеет удалять старые бекапы, borg неплох, еще zbackup есть

люто плюсую борг

По opennebula снапшоты в rbd работали уже два года назад

Надо не снапшот диска, а снапшот виртуалки

Qcow2 на cephs - это пиздец ? Ну. Чтобы снапшоты виртуалок работали...

У меня пара виртуалок так работает. Особой разницы не увидел.

У меня пара виртуалок так работает. Особой разницы не увидел.

Бенчил ?

Бенчил ?

Там только операционка, так что нет. Работает и работает.

Там был разговор про mds и inodes. если mds работают в ином режиме и в кластере (один демон mds + еще один mds на другом сервере) таже фигня? Например так: fsmap e52: 1/1/1 up {0=nx4=up:active}, 1 up:standby-replay. В конфе ceph.conf добавлено (mds standby replay = true). и да, centos 7, kraken, bluestore (все как вы любите)

А где билд dokan для вин взять? Не находу чтото собранный

Он вообще пилится? Что то давно новостей по нему не видел

Нахожу*

Там был разговор про mds и inodes. если mds работают в ином режиме и в кластере (один демон mds + еще один mds на другом сервере) таже фигня? Например так: fsmap e52: 1/1/1 up {0=nx4=up:active}, 1 up:standby-replay. В конфе ceph.conf добавлено (mds standby replay = true). и да, centos 7, kraken, bluestore (все как вы любите)

аааа.блюстор

поживее filestore

тесты гарантируют

и не зажирает ядра и память под 100%

с очередями

у меня обычные sas-sata вперемешку

без ssd

так что разница ощутима

Там был разговор про mds и inodes. если mds работают в ином режиме и в кластере (один демон mds + еще один mds на другом сервере) таже фигня? Например так: fsmap e52: 1/1/1 up {0=nx4=up:active}, 1 up:standby-replay. В конфе ceph.conf добавлено (mds standby replay = true). и да, centos 7, kraken, bluestore (все как вы любите)

Это режим называется горячий резерв. Если правильно настроено, то на резервном mds будет подтягиваться горячий кэш с активного, для быстрого переключения клиентов. Но по факту с клиентами будет всегда работать только один mds. И все вышесказанное про inode относится к данной ситуации. Есть варианты разные ceph fs привязывать к разным mds, но я пока это не тестировал. Слишком мало фидбеков от людей кто юзает cephfs не на кошечках и слишком много капитанства от тех кто ее "юзал" )))))

т.е. по логике, если сдох один, второй продолжит? или тоже подавится и свалится?

т.е. по логике, если сдох один, второй продолжит? или тоже подавится и свалится?

В идеале второй подхватит, на клиенте будет небольшой фриз по IO. Но если активный mds упал по причине трима журнала или чего-то подобного, то второй подхватится, но может не обслуживать запросы клиентов.

считаю что два лучше чем один. пока гоняю в своем проде, будем посмотреть как живут. перед эксплуатацией делал краштесты, просадка io была, но в целом переключался и работал дальше. спасибо за ответ

считаю что два лучше чем один. пока гоняю в своем проде, будем посмотреть как живут. перед эксплуатацией делал краштесты, просадка io была, но в целом переключался и работал дальше. спасибо за ответ

Два это однозначно нужно, чтоб они работали именно в стендбай-реплей. А у вас клиенты ядерные или fuse модуль используется?

Возможно, я тупой, но я не могу понять пункт 5

слишком абстрактно

ядерные. кластер на centos 7, клиенты sles 12. через fuse пробовал на 11 но не фартануло, т.к. клиента никто не сделал. поэтому выдаю через nfs на старые

да, узкое горло, но с этим мирюсь

да, узкое горло, но с этим мирюсь

А можешь скинуть вывод команды ceph daemon mds.<name> perf dump mds С активного и резервного. Хочу сравнить со своим хамеровским

Я его выше кидал

это на одной

щаз кину на пастебин

а то некрасиво наверно сюда

или можно?

https://pastebin.com/zMwfiAhn

https://pastebin.com/SHFGweuX

А где билд dokan для вин взять? Не находу чтото собранный

Я с гитхаба собирал. Там билд-скрипт косоват, но можно разобраться

sudo mount -t ceph 10.80.20.99:6789:/ /qwe -o name=admin,secret=XXXXXXXXXXXXX

и всё зависло

команда маунт тоесть зависла

Я и ДИОД

забыл mds задеплойить