Подергай внезапное повышение задержки и немного лоссов по кластерной сети, ну как если бы линк забился

спс за идею — сделаю и это

Ну и кто вообще говорил что блюстор - прод? У них только к 11.1.0 появилось приглашение тестировать на некритичных данных

а у них есть вобще кноун багс ?

О, точно. при бэкфиллинге стло память жрать

в 2 раза увеличилось

У кого-то (grnet?) еще на хаммере была проблема что некие несколько осд на одном хосте пытались пометить весь остальной кластер как down :)

А весь остальной кластер - пометил их:)

в увеличил pg_num у пула и пошёл перчинг

У кого-то (grnet?) еще на хаммере была проблема что некие несколько осд на одном хосте пытались пометить весь остальной кластер как down :)

У меня только единично такое было на разных осд

Сетепроблемы?

Скорее нагрузкопроблемы

Осд не отвечала вовремя

спс за идею — сделаю и это

Я надеюсь ты как хороший мальчик потом напишешь пост или хотя бы табличку, которую мы вынесем в вики канала?

Я надеюсь ты как хороший мальчик потом напишешь пост или хотя бы табличку, которую мы вынесем в вики канала?

хммм. я готов вот что сделать — с вас идея — с меня реализация и результаты

идея в плане того что именно сделать

хммм. я готов вот что сделать — с вас идея — с меня реализация и результаты

Ну идею тебе дали. Ты главное напиши конфиг. Диски, сеть, параметры фио

Что бы мы понимали

окей. прям сюда дампить?

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

Типо латенси ответа зашкаливает?

Ну например да

Еще интересно как себя ведет конкретная осд если она отдает данные но из-за глюка железа именно на ней вдруг резко снизился iops

это видимо можно просимылировать только так — на этом осд рандомно с помощью фио читать напрямую с девайса — чтобы сожрать иопсы

Кейс: убитый ssd

Ну например да

На текущий момент это приводит к падению иопс всего кластера

Зачем симулировать? Просто каким параметром это управляется, я хочу такую осд поставить в down

Зачем симулировать? Просто каким параметром это управляется, я хочу такую осд поставить в down

што?

Т.е. наш метод - если вдруг какие-то пг начинают дурить, лезем в мониторинг и смотрим латенси, идем и убиваем дурную осд, если это возможно?

Т.е. наш метод - если вдруг какие-то пг начинают дурить, лезем в мониторинг и смотрим латенси, идем и убиваем дурную осд, если это возможно?

как посмотреть латенси по конкретной пг ?

Но сама осд не может себя выбить из кластера если под ней диску явно плохо?

Но сама осд не может себя выбить из кластера если под ней диску явно плохо?

помнится я вроде об этом читал

как посмотреть латенси по конкретной пг ?

Скорее по диску :)

Я помню там есть что-то типа partial degrade

Для упоротых случаев типа осд на рейде

Хм, ну наверное это может сделать внешний тул, просто придти и выполнить какие-то действия (хотя конечно автоматом опускать осд... рисково!

Ну и по идее при явной I/o error снизу от девайса, осд тоже должна становиться раком

Хм, ну наверное это может сделать внешний тул, просто придти и выполнить какие-то действия (хотя конечно автоматом опускать осд... рисково!

его надо не опускать, а снижать вес.

не до нуля

по идее, надо регулировать так количество пг на каждом винте чтобы их утилизейшен (в иостат) было выравненным

Но ведь если этот осд отдает один i/o две минуты, то клиенту в любом случае будет ой как плохо

наверно так правильно

наверно так правильно

Это понятно, я про случай мягкого отказа диска

Это понятно, я про случай мягкого отказа диска

ну так там и надо — если задержка слишком большая — уменьшаем вес. ещё уменьшаем. ещё. и так до нуля

У меня была такая гадость с интеловскими ssd

Они тормозили, жрали кактус но ошибку не отдавали

а он у тебя под журнал или под основное хранилище ?

В результате раком встал flashcache с постгре ;)

Это понятно, я про случай мягкого отказа диска

Это только руками по латенси и руками же выводить.

Тут можно в частности посоветовать максимально гранулировать кластер по пулам с привязкой осд к пулам. В этом случае дегрейд диска по крайней мере приведет к дегрейду пула, а не всего кластера

Тут можно в частности посоветовать максимально гранулировать кластер по пулам с привязкой осд к пулам. В этом случае дегрейд диска по крайней мере приведет к дегрейду пула, а не всего кластера

А если у меня rgw?;)

А если у меня rgw?;)

а шо, ргв не в пул срёт объектами ?

А если у меня rgw?;)

Страдать?)

Ну я понял как это сделать

Страдать?)

почему нужно страдать если ргв?

во. я искал этот стикер

Наверное поэтому

почему нужно страдать если ргв?

Я так, чуть чуть набросить)

в 8 доебане оказывается dbus искаропки не ставится

в итоге timedatectl например не работает с марзматической ошибкой

аштрисёт

@socketpair ты понял, что тестировать и что надо в комьюнити потом вернуть?)

@socketpair ты понял, что тестировать и что надо в комьюнити потом вернуть?)

чес говоря пока запомнил только два — провал иопсов винта и провалы в сети

а что вернуть — особенности конфигурации — винты, схему и параметры фио с резултатами

Ага

а что за вики в которую нужно писануть?

sudo rbd map —pool=rbdbench image03

[ 207.630701] Key type ceph registered [ 207.630856] libceph: loaded (mon/osd proto 15/24) [ 207.634388] rbd: loaded (major 252) [ 207.640609] libceph: mon1 10.80.20.100:6789 session established [ 207.641417] libceph: client14101 fsid 56ed206b-67cf-42a6-be65-9baf32334fc9 [ 207.909058] rbd: image image03: image uses unsupported features: 0x3c

жованный крот

кагбы хуйс

https://www.mail-archive.com/ceph-users@lists.ceph.com/msg29997.html

вот уж точно.... анус конский

а на словах-то как красиво.

у меня ведро 4.8.0

@SinTeZoiD а не поможешь мне перейти от односетевого варианта к двусетевому ?

@SinTeZoiD а не поможешь мне перейти от односетевого варианта к двусетевому ?

Прямо сейчас нет.

Это в конфиге пишется

мде. жрёт больше гига на терабайт

надеюсь, не утечка

Я попробую в ПН профилить

3.25 ТБ на ноде, схавано 4.5 Гб оперативы

хотяяяяя