всмысле иопсами засрать ?

ну да

задача примерно легаси-код. большой-большой блоб. отдельно от блоба индекс со смещениями.

дешево заставить его работать - это rbd

а блоб насколько большой ?

терабайты.

я так понимаю там проконкатенированы какие-то шняги в большой блоб. верно ?

типа таво

только не говори radosgw

потому что он сложится нахер

ну так а чо б не написать скрипт который раздупляет этот блоб на много мелких объектов. тогда и индекс не нужен. собсно librados и всё

ммм...

проблема такая, что на 200М объектов кластер у меня не очень уже работает.

а тут надо будет запихать 6G

rados не умеет в балки

что это ещё за балки

bulk

легче не стало

ну тяжело просто сделать 6 млрд вызовов по паре килобайт

потому что это ляжет в 6 млрд объектов в кластере

и в 18 млрд файлов

это плохо

ладно. а размеры объектов в этом блобе одинаковые ?

нет :)

а в каком диапазоне

я ж говорю - индекс со смещениями.

единицы байт - единицы килобайт

и это легаси, я не хочу переписывать.

я хочу чтобы деплой этой роли у меня занимал минуты (только код), а не часы как щас (код и данные)

поэтому данные в сторадж, к стораджу сетевой доступ. и оно работает.

страшно просто что можно кластер угандошить

а кстати. там если неравномерный доступ (некоторые части постоянно используются, а некоторые редко) то кэш тиеринг

и реад закешируется на раз два. вот пусть это кеш и ебашится

алло

нене, Марк, это другая задача :) как смасштабировать или снизить нагрузку - известно.

я говорю про троттлинг и только про троттлинг

кстати вопрос блико от темы. а оператина на ноде с осд используется как кэш на чтение ? всмысле если я прочитаю то что только что записал оно закешируется? а то вроде осд при записи на XFS использует O_DIRECT а значит никакого кэша. или я не прав ?

можно еще конечно попатчить клиентов с чем-то типа распределенного token bucket

можно еще конечно попатчить клиентов с чем-то типа распределенного token bucket

какая жесть

хотя вариант

а что. храни его в редисе — он синхронизируется сам собой между нодами кагбе.

кстати. https://trello.com/c/bRkgTcEo

хм, закрытая ссылка

тогда можно черезжопный тхроттлинг сделать. с некоторым гистерезисом

ты прост не зарегался

тогда можно черезжопный тхроттлинг сделать. с некоторым гистерезисом

типа спрашивать статистику по образу и если много - то раздавать команду мол хватит пиздеть

это из планов по разработке цефа

вах

ну теперь заживем

я сам охуел

срочно регайся в тролло

зойчем это

чтобэ смотреть планчеги

и курить их же

прикольно! они хотят керберос сделать вместо cephx

ГОДНОТА!

прикольно! они хотят керберос сделать вместо cephx

нахуа

федя, ну нахуа

ну каг.

да понятно нахуа

но нахуа

я Вася Пупкин (тестировщик). хочу подключиться к цефу дабы создать там вертуалгу

тестировщиков в конторе 100500

ну ты понел

вот у нас у всех керберос

ну так легко все не получится

и я один раз пароль ввёл утром и больше не ввожу нигде

ну так легко все не получится

но они пытались :)

все равно нужен источник аутентификации и провизионер аутентификации.

ну блять. керберос.

но они пытались :)

а получилось как в картинке про 15 стандартов

ну как обычно

ну а что. sssd кагбе есть

более того. он красношляпный

IDM/IAM с полпинка таки не сделаешь.

так вот тут я уже не понял шта это

Identity Management

а ещё они панируют для iscsi сделать чтобы ядрёная часть lio данные брала через librbd в юзерспейсе. ну типэ как FUSE

потому что в в едре сильно кастрированная реализация rbd

И докером не исправляемая ибо едро тоже самое

а ещё они через цеф мгр хотят раздуплять конфиги цефа по нодам

а потом напишут свое ядро

но это же не поцтеринг

а потом напишут свое ядро

https://eventql.io оно кластерное и умеет быстро с минимальным ио делать всякое. Это я про твои блобы. И там хттп апи.

Мы пробовали кликхаус. На 9 гб бд запросы с гроупбай и фильтром сортировкой делались за микросекунды

Как блджад. Не представляю.

Я к тому что очевидно что оно не читает стока данных скока постгрес скажем. Иначе бы не получилось так быстро. Это еще один способ так сказать понизить ио

https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

Заебали со своими кэшами кешей которые кеширует кеш кеша

В итоге наебалово и хер проссышь что же ты купил и как оно поведет себя под нагрузкой. Ибо кеш -- это лишь защита от пиковой нагрузке. Как грится можно ссать в штаны. Сначала будет тепло. А потом всеравно холодно.

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2013-November/035695.html

Поэтому чтобы не терять данные надо брать ссд без конденсаторов. У которых честный флуш. Например, которые nvme. Там просто некуда всунуть кондеры. Плату то видно.

А в блюсторе уже не получится по сути использовать журнал как кэш на запись. Придется приклеивать bcache, enhanceio или dm-cache. И это печаль.

https://t.me/joinchat/AAAAAED7TEn6UZ3QN-wsJQ

Привет всем, уважаемые коллеги!