Так а что предлагается то? Размер страйпа тюнить?

страйп идет со стороны цефа в цефе объекты по 4мб и они страйпуются

Погодите это чтож получается в один объект упаковывается несколько блоков файловой системы которая находится на rbd? Тогда это объясняет доселе загадочный для меня феномен когда чтение большими блоками на rbd намного эффективнее чем маленькими

Так а что предлагается то? Размер страйпа тюнить?

stripe unit stripe count

Погодите это чтож получается в один объект упаковывается несколько блоков файловой системы которая находится на rbd? Тогда это объясняет доселе загадочный для меня феномен когда чтение большими блоками на rbd намного эффективнее чем маленькими

https://habrahabr.ru/post/313644/

https://habrahabr.ru/post/313644/

Тыкнете носом где в этой статье написано что несколько блоков(кластеров) файловой системы которая расположена на rbd устройстве мапируется в один rados обьект

так, мог быть не прав и там возможно этого и правда нет вопрос то в чем? как работает механизм FS(client) > RBD > CEPH > FS(CEPH OSD) ?

так, мог быть не прав и там возможно этого и правда нет вопрос то в чем? как работает механизм FS(client) > RBD > CEPH > FS(CEPH OSD) ?

Вопрос в том как страйпы помогут если нечего страйпить?

Это все, если что, про CephFS. То есть, если в ней хранить, то да. Каждый файл будет страйпиться между множеством объектов.

А для RBD такого и нету, вроде.

А для RBD такого и нету, вроде.

включаешь object map включаешь striping указываешь stripe unit и stripe count

включаешь object map включаешь striping указываешь stripe unit и stripe count

Ага, прочел) А так вот жили бы и не знали.

А была ли у кого такая шляпа, чтобы сервак вис через 8-12 часов простоя _после_ нагрузки на диски (ребаланса). Причем вис вглухую. Шасси - supermicro blade

Мож прогревается прост

И микротрещщина

Или кондеры

А была ли у кого такая шляпа, чтобы сервак вис через 8-12 часов простоя _после_ нагрузки на диски (ребаланса). Причем вис вглухую. Шасси - supermicro blade

В консоли видно чего-то? Температуры помониторить тоже, конечно же. Ну и предположение Марка проверить можно через тепловизор на плату поглядев, но это совсем экзотика. Я бы скорее на систему\микропрошивки железа грешил) Тут не цеф виноват, короче.

Два ящика так делают

В ipmi чисто

Ни перегрева, ни скачков питания

Кабилейк?

Скайлейк?

отрубили гипертрединг

Кабилейк?

десктопные камни в блейдах?

впрочем, заказчик все стерпит

десктопные камни в блейдах?

Никто про блейды не сказал

А была ли у кого такая шляпа, чтобы сервак вис через 8-12 часов простоя _после_ нагрузки на диски (ребаланса). Причем вис вглухую. Шасси - supermicro blade

Фейл

Шляпа втом, что виснет и венда, и линукс

А там комник есть? Мож console=ttyS0 сделать

Все, что можно прошить - прошито

Ну вдрук чо

Бубен стерли в ноль!

А там комник есть? Мож console=ttyS0 сделать

Ну супермикра на отъебись же относится к своим прошивкам. Я уж жалею что они у нас есть.

Ой, ответ то не тебе) Ну не суть.

Ну супермикра на отъебись же относится к своим прошивкам. Я уж жалею что они у нас есть.

хз, по опыту супермикра - железо с наименьшим удивлением в эксплуатации.

SEL чист?

https://xakep.ru/2011/12/26/58104/

в той же корзине стоят такие же лезвия, только без дисков, с виртуалками - и живут

Теперь живи с этим

и что происходит с точки зрения линукса?

хз, по опыту супермикра - железо с наименьшим удивлением в эксплуатации.

Да, беспроблемно по большей части. С новыми не очень понятно вот только. Начиная с X10 всяких материнок.

https://xakep.ru/2011/12/26/58104/

Там тоже комп вис...

Да, беспроблемно по большей части. С новыми не очень понятно вот только. Начиная с X10 всяких материнок.

в x10 появился html5 ikvm

за одно это можно боготворить

в x10 появился html5 ikvm

Ага. И чот он меня пока сильно расстраивает.

в той же корзине стоят такие же лезвия, только без дисков, с виртуалками - и живут

А, ну вот те и подсказка. Дисковый контроллер же выебывается)

угу

И он впаяный

Lsi, туды его

Причем он там тупо jbod

Да знаем. Софтовый даж может.

Но! Он вые не под нагрузкой, а после

Прям ровно после 12 часов?

8-12

Приложение создает 3T объектов в rados , потом грохает

А вот насчет того как виснет и винда и линукс. Под виндой то как тестируется?

Ставьте blank screen, netconsole и смотришь

под виндой SMB multichannel

Чоита

Эта такой лисапед от мелких, когда есть N сетевух, и венда через все N гонит самбу

скорости складываются

у нас нарисовалось 20 гигабит

2500 Мег в секунду

На разных клеентов штоль

нет, на одного

это не link aggregation

Типа мультипатх штоли

просто сетевухи в разные свитчи, настроить разные сети

дальше оно само

да

на швабре статья была

https://pubs.vmware.com › topic › com.v... While NFS 3 does not provide multipathing support, NFS 4.1 supports multiple paths. 

ну, оно NFS

а то - SAMBA

Ну типа линукс тож умеет

линукс даже на уровне аггрегации умеет

balanced-rr

лучше не используйте это (balanced-rr)

(:

Лацп типа и все такое штоле