чорт

я могу затроттлить на каждом клиенте отдельно

но это не то что я хочу.

воооо. и квм это умеет

это и cgroup умеют

а, значит у тебя krbd.ko

да

а что, еще что-то есть? о_О

ну квм напрямую умеет

через Librbd

квм - да.

я имею в виду кроме либрбд и крбд

можно поробовать зашейперить сеть

если это возможно

это только полосу сломает

а мне надо иопсы

я вижу только костыль с реэкспортом

типа экспортировать по айскайзи и уже его троттлить ?

ну типа того

но это костылизм

ну вобще трудно по другому, потому что там же ш клиент сам подключается к 100500 осд и никого не спрашивает

максимум — чота у монитора

тогда на ковырять что именно он у него спрашивает

а тебе же надо ограничить иопсы суммарно, а не на каждый осд.

ну - наверное да. но кажется ты меня щас натолкнул на мысль что это не очень продуктивно.

а ещё чтение хорошо кешируется на клиенте — рбдкэш или чот такое

что там за задача вобще ?

кластер не убить.

случайно так

всмысле иопсами засрать ?

ну да

задача примерно легаси-код. большой-большой блоб. отдельно от блоба индекс со смещениями.

дешево заставить его работать - это rbd

а блоб насколько большой ?

терабайты.

я так понимаю там проконкатенированы какие-то шняги в большой блоб. верно ?

типа таво

только не говори radosgw

потому что он сложится нахер

ну так а чо б не написать скрипт который раздупляет этот блоб на много мелких объектов. тогда и индекс не нужен. собсно librados и всё

ммм...

проблема такая, что на 200М объектов кластер у меня не очень уже работает.

а тут надо будет запихать 6G

rados не умеет в балки

что это ещё за балки

bulk

легче не стало

ну тяжело просто сделать 6 млрд вызовов по паре килобайт

потому что это ляжет в 6 млрд объектов в кластере

и в 18 млрд файлов

это плохо

ладно. а размеры объектов в этом блобе одинаковые ?

нет :)

а в каком диапазоне

я ж говорю - индекс со смещениями.

единицы байт - единицы килобайт

и это легаси, я не хочу переписывать.

я хочу чтобы деплой этой роли у меня занимал минуты (только код), а не часы как щас (код и данные)

поэтому данные в сторадж, к стораджу сетевой доступ. и оно работает.

страшно просто что можно кластер угандошить

а кстати. там если неравномерный доступ (некоторые части постоянно используются, а некоторые редко) то кэш тиеринг

и реад закешируется на раз два. вот пусть это кеш и ебашится

алло

нене, Марк, это другая задача :) как смасштабировать или снизить нагрузку - известно.

я говорю про троттлинг и только про троттлинг

кстати вопрос блико от темы. а оператина на ноде с осд используется как кэш на чтение ? всмысле если я прочитаю то что только что записал оно закешируется? а то вроде осд при записи на XFS использует O_DIRECT а значит никакого кэша. или я не прав ?

можно еще конечно попатчить клиентов с чем-то типа распределенного token bucket

можно еще конечно попатчить клиентов с чем-то типа распределенного token bucket

какая жесть

хотя вариант

а что. храни его в редисе — он синхронизируется сам собой между нодами кагбе.

кстати. https://trello.com/c/bRkgTcEo

хм, закрытая ссылка

тогда можно черезжопный тхроттлинг сделать. с некоторым гистерезисом

ты прост не зарегался

тогда можно черезжопный тхроттлинг сделать. с некоторым гистерезисом

типа спрашивать статистику по образу и если много - то раздавать команду мол хватит пиздеть

это из планов по разработке цефа

вах

ну теперь заживем

я сам охуел