Михаил
сразу дич начинает писать)
Alex
у меня тиринг для пула данных cephfs
Михаил
да, по поводу тиринга
напоминаю: Рекомендация разработчиков не использовать его для RBD, про остальное не сказано
Alex
90% времени все операции происходят в пуле тиринга
Михаил
а можно конфигу в части тиринга?
Alex
репликация кешпула - size 2 min 1
Михаил
все)
Михаил
а какой юзкейс, что понадобилось цеффс + тиринг?
Alex
а какой юзкейс, что понадобилось цеффс + тиринг?
pool 47 'cache-pool' replicated size 2 min_size 1 crush_ruleset 11 object_hash rjenkins pg_num 64 pgp_num 64 last_change 8271 flags hashpspool,incomplete_clones tier_of 45 cache_mode writeback target_bytes 107374182400 target_objects 20000000 hit_set bloom{false_positive_probability: 0.05, target_size: 0, seed: 0} 120s x1 stripe_width 0
Alex
а какой юзкейс, что понадобилось цеффс + тиринг?
выше писал, что для cephfs (много мелких файлов почта + web). Если чисто на hdd все класть - то во время нагрузки этих hdd другим пулом (rbd доп диски к виртуалкам для больших данных) имеем тормоза. Там конечно можно было добавить в кластер больше шпинделей, но ради 650GB файлухи не хотелось. А тиринг реально вывозит без апгрейда
Mike
Если ставить хит в 1 - то в тир понятное дело поднимется все, что кто-то пальцем ткнул.
Alex
@SinTeZoiD
cache_target_dirty_ratio: 0.3
cache_target_full_ratio: 0.9
cache_min_flush_age: 300
cache_min_evict_age: 600
Но параметры подобраны исключительно для моей нагрузки для дата-пула fs
Александр
Alex
Если ставить хит в 1 - то в тир понятное дело поднимется все, что кто-то пальцем ткнул.
The hit_set_count and hit_set_period define how much time each HitSet should cover, and how many such HitSets to store. Currently there is minimal benefit for hit_set_count > 1 since the agent does not yet act intelligently on that information.
И еще вот это
Note The longer the period and the higher the count, the more RAM the ceph-osd daemon consumes. In particular, when the agent is active to flush or evict cache objects, all hit_set_count HitSets are loaded into RAM.
Это настройки - которые меня удовлетворяют и обеспечивают разгрузку hdd на 90%. По факту с хитом 1 я трачу 1/7 объема ssd от общего занятого на hdd давая клиентам возможность не испытывать трудностей с io и скоростью и не нагружая дополнительно hdd.
Mike
Горячих данных мало получается. Просто если у тебя клиенты, типа всякие виртуалочки, а ты хостинг - ты не можешь знать нагрузку клиентов и для схд работа этих сотен VM - просто как белый шум.
В итоге кеш быстро забьется и начнется процесс чистки, а это сильные тормоза.
bandys
Добрый день! Кто ни будь пользовал вот такое поделие от Asus PEB-10G/57840-2T ? Цена немного пугает низкая.
Михаил
норм дешман 10г
Михаил
еще бы коммутатор тыщ за 20)
Uncel
Alex
Горячих данных мало получается. Просто если у тебя клиенты, типа всякие виртуалочки, а ты хостинг - ты не можешь знать нагрузку клиентов и для схд работа этих сотен VM - просто как белый шум.
В итоге кеш быстро забьется и начнется процесс чистки, а это сильные тормоза.
1. В моем случае тиринг не для RBD, а для пула данных FS
2. Сейчас кеш пул у меня заполнен на 90% для "чистых данных" (для грязных блоков стоит порог 30%) и я не вижу деградацию из-за очистки (которая бывает двух видов промывка и вытеснение).
Вывод статы по холодному хранению показывает 90% времени вот такое:
ceph osd pool stats cephfs_data
pool cephfs_data id 45
nothing is going on
Периодически прилетают небольшие нагрузки промывки измененных блоков, но 10% от всей нагрузки.
Если вы можете показать свою нагрузку при тирринге - велкам
Alex
Размер evict можно регулировать + можно увеличивать размер самого кеша и все это в реалтайме. Если поставить промывку при достижении 0,01% от общего размера кеша - то да, это фиговое решение, но многие проводят замеры именно так. Зачем не ясно, если пул тиринга зарезервирован фактором репликации 2 ?
Михаил
и еще 8 гигабитных
Михаил
нет бы 4 десятки запилили
Михаил
посмотреть даташит и драйверы, иногда бывают забавные моменты
ну это же днище сеть, что от неё хотеть
Михаил
я пару месяцев назад искал и нашёл что-то нетгировское
Михаил
либо тащить б\у
Stanislav
я так понимаю из дешевого только netgear XS708E-200NES?
По цене на порт как нексус от циски :( даже дороже
Anonymous
подскажите, для rbd как посчитать, сколько журналов надо?
Anonymous
вот, да
Михаил
это среднее по больнице
Михаил
Внезапная телепатия ??? 😃😃😃
Рекомендация лучших цефоводов, в частности себастьяна хана и вроде бы оф доки, но опять таки это средняя по больнице
Alex
Я про то как ты угадал о каких журналах речь
Alex
а так да, согласен
Mike
Смотря какой ssd и какие osd
Alex
пользуясь случаем, а всем удобно держать журналы на отдельном диске (дисках вы их резервируете)? Карманов не жалко?
Михаил
пользуясь случаем, а всем удобно держать журналы на отдельном диске (дисках вы их резервируете)? Карманов не жалко?
у нас на тех же где система)
Михаил
по крайней мере часть
kiosaku
если про 1U, то у меня так: 2xssd+2xhdd, по одному журналу для каждого osd
kiosaku
диски - мелкие интеля
Alex
а какие значения выставляете для
filestore min sync interval и filestore max sync interval
если журнал на ssd а диск обычный sata?
kiosaku
(ну и система на software raid1 на ssd)
kiosaku
5 и 0.5 вроде стоят
Pavel
А что за ssd? Не дохнут от нагрузки?
за ~2 года не сдох ни один ssd, а вот сата дохнут периодически
Alex
5 и 0.5 вроде стоят
а не мало ли? дефолт 10 и 15. И я думаю если журнал на ssd то может их больше ставить, чтоб большими кусками на sata скидывать
kiosaku
default вроде 5 и 0.01
kiosaku
увеличить - да, надо бы
Pavel
а не мало ли? дефолт 10 и 15. И я думаю если журнал на ssd то может их больше ставить, чтоб большими кусками на sata скидывать
По своим тестам не увидел особых профитов в тюнинге filestore
bandys
По цене на порт как нексус от циски :( даже дороже
мне стенд надо собрать для начала. на сиську денег не дадут
Alex
По журналам в сети часто встречаются комментарии о "недозагруженности журнала" при проектировании размера этих самых журналов. А как посмотреть насколько загружен журнал. Вот к примеру у меня 10GB он и проблем не наблюдаю, но на сколько он загружен я сказать не могу, так как он цельным куском на 10GB отображается
Anonymous
Кто-нибудь знает что за сбой в British airways? Почему из Хитроу самолёты не улетают? Говорят ceph там наебнулся?
Gleb
Чет толсто😃
Gleb
Оу или ты не шутишь
Sn00part
не шутит, но вот что цеф там поломался не слышал. обычный блекаут
Sn00part
частое явление. Кто то получит на орехи за коряво сделанное резервирование
𝕍ℤ
товарищи, подскажите, на одной единственной ноде можно донять ceph для работы с k8s, или стоит что-то другое выбрать? существует перспектива увеличение количества нод, поэтому ище то, что скейлится, но может комфортно работать на единственной ноде
Михаил
Михаил
На одну ноду смысла нет
𝕍ℤ
а что посоветуете? пока nfs использую
Roman
кто там хотел односокетные готовые платформы микры