ага. выглядит как рхел, пахнет как рхел...

Т.е. по твоему ceph так и пилят под Ubuntu? Вот что миллион Шаттлворда делает!

да он вообще забавный кадр

Т.е. по твоему ceph так и пилят под Ubuntu? Вот что миллион Шаттлворда делает!

цеф просто пилят. не под што

так было раньше. Заметь, там доебан и убунта в списке систем на которых они тестировали

ага. выглядит как рхел, пахнет как рхел...

И даже спонсируется рх

цеф просто пилят. не под што

конечно, именно так

так было раньше. Заметь, там доебан и убунта в списке систем на которых они тестировали

Потому что Шаттлворд

http://xrootd.org/

што это такое ?

That is beyond the scope of the library as this can be achieved by having the library accessed via a gateway: for example EOS or XRootD check the permissions on their own already but can use libradosfs for the storage backend.

Thus, libradosfs should not be mistaken for CephFS.

So, to summarize its definition: libradosfs is a client-side implementation of a filesystem using RADOS, designed to provide a scale-out namespace and optimized directory/file access without strict POSIX semantics.

http://www.joaquimrocha.com/tag/cephfs/ кароч

У меня тут тупой вопрос, а скорость чтения/записи кластера вообще скалируется от числа osd? И как примерно, если да, ссылки тоже подойдут, спасибо.

У меня тут тупой вопрос, а скорость чтения/записи кластера вообще скалируется от числа osd? И как примерно, если да, ссылки тоже подойдут, спасибо.

Если неистово долбить в один и тот же объект — то нет

парни тупой вопрос connect protocol feature mismatch, my fffffffffff < peer 10fffefdfffff missing 1000000000000 , раньше помогало ceph osd crush tunables hammer , сейчас что-то не хочет, ядра новые 4.9.24-coreos , `

osd crush show-tunables { "choose_local_tries": 0, "choose_local_fallback_tries": 0, "choose_total_tries": 50, "chooseleaf_descend_once": 1, "chooseleaf_vary_r": 1, "chooseleaf_stable": 0, "straw_calc_version": 1, "allowed_bucket_algs": 54, "profile": "hammer", "optimal_tunables": 0, "legacy_tunables": 0, "minimum_required_version": "hammer", "require_feature_tunables": 1, "require_feature_tunables2": 1, "has_v2_rules": 0, "require_feature_tunables3": 1, "has_v3_rules": 0, "has_v4_buckets": 1, "require_feature_tunables5": 0, "has_v5_rules": 0 }

куда копать?

ceph -v ceph version 10.2.2 (45107e21c568dd033c2f0a3107dec8f0b0e58374)

Если неистово долбить в один и тот же объект — то нет

А если в среднем по больнице?

кажется нашел причину , а как сделать minimum_required_version = firefly ?

А если в среднем по больнице?

Ну если релистично — то с ростом количества осд количество иопсов возможных возрастает. Но наибольшая выгода от паралеллизма. Цеф каг-бы сам по себе не ускоряет доступ. но зато может параллельно много операций дать. если же к цефу подключена одна виртуалка, то рандомные ио с неё тоже скейлится но не очень, ибо софтина и едро (фс) обычно не особо рассчитывают на параллеллизм хранилища. как-то так

Кароч, сегодня перевёл 120 гигов с rbd + xfs в нём + kernel mount на CephFS

Результаты печальные

всё стало хуже. откатываю

цеффс кароч либо я не умею готовить, либо он реально отстой.

@SinTeZoiD

цеффс кароч либо я не умею готовить, либо он реально отстой.

Ну CephFS изначально медленнее RBD

но если в рбд своя фс (типа как у меня) - а в ней свой журнал — это ж двойные синки. запись должна быть медленнее

в итоге кароч, она не просто медленнее — а конкретно так медленнее

а смысл переводить?

меня xfs поверх rbd вполне устраивает

а меня нет. не хочу экспандить образ по необходимости. ну и в теории (где пони какают радугой) цеффс должен быть быстрее типа потому что меньше слоёв

еще и за журнала который постоянно переписывает через себя весь поток входящих данных, оно еще и не бюджетно выходит

хм, но вроде как за полгода wearout 0%

еще и за журнала который постоянно переписывает через себя весь поток входящих данных, оно еще и не бюджетно выходит

а эт тут при чём.

просто ною

просто ною

@complain_bot

https://www.sebastien-han.fr/blog/2015/01/26/ceph-and-krbd-discard/

This feature was added into the Kernel 3.18.

Debian 8: Kernel 3.16

вот ещё одна причина перехода на CephFS

вот ещё одна причина перехода на CephFS

А ты под что вообще делаешь, а то я пропустил чото

репозиторий RPM-пакетов

репо на цеф? Я правильно понял?

репозиторий RPM-пакетов

Откуда у тебя рпм?

сам собираю.

у нас их много

репо на цеф? Я правильно понял?

Ну да. А чо

Ну там не только репка. А еще и виртуалок штук 15-20 не помню

Ну да. А чо

Зачем?

Зачем?

Ёпрст. А где хранить ? Удобно.

Епрст, что хранить?

Епрст, что хранить?

Ёпрст. 120 гигов рпм-файлов. И при сборке их обновлять вместе с ёпрст их метаданными

По кусочкам обновлять

Ты делаешь своё репо с ceph, зачем?

Не с цефом же. А с нашим самописным софтом

По рбд подмонтирован диск с xfs. А на нем 120 гигов файлов. Чо сложного то

Думал ты репо ceph делаешь

Нутак и вот. Заменил на цеффс. Стало сильно хуже. Вернул взад. Крякен.

Короче цеф игрушечный

Короче цеф игрушечный

Ну да. маленький.

3 нода, 10 осд

10 осд на ноду или всего?

10 осд на ноду или всего?

всего суммарно

я жду кого-нибудь с болью которая как миниум такого же размера как у меня

Коллеги, ищем докладчиков на митап: https://www.meetup.com/OpenStack-Russia/events/240178502/

Кто готов?

Мне рассказывать нечего

а я просто бы объявил минуту молчания

а я просто бы объявил минуту молчания

Формочку по случаю Б.О.Л.И. заполнили?

а дайте ссылку

а дайте ссылку

http://www.awsm.com/img/2010/butthurt.jpg

нужно срочно распечатать

нужно срочно распечатать

кинете ссылку на то, что у вас там померло?

ну оно не померло, оно просто болит