Но это идиотизи

а если журналы будут не на ssd будут проблемы?

а если журналы будут не на ssd будут проблемы?

Скорость

ssd обязательно SAS?

ssd обязательно SAS?

Сас разъем или для дисков сас?

Вопроса не понял

есть ssd sas а есть ssd sata

Смысл разъема сас вообще есть понимание?

скорость 12gb

у меня такое понимание)

Смысл разъема сас вообще есть понимание?

Он двухканальный. SATA - одноканальный.

может дуплексный всё таки?

а то мы сейчас дойдём до того что хабы были одноканальные, а свичи двухканальные ...

а то мы сейчас дойдём до того что хабы были одноканальные, а свичи двухканальные ...

Так вот в чем разница между свичем и хабом

может дуплексный всё таки?

Найду детальеую спецификацию. Брошу сюда. Может я уже что - то путаю. Но когда внимательно читал про стандарт SAS, там работа с конечным устройством идет в два потока.

Могу ошибаться, на гуру не претендую.

Дописал следующую часть по oVirt + Ceph RBD. https://github.com/lantaris/Ceph-docs/blob/master/Doc/Ceph-oVirt-Part2.md Если есть какие - то пожелания либо возражения. Буду рад...

@dyasny можно ли менять время для GetGlusterVolumeHealInfoVDSCommand?

Не знаю но сомневаюсь

Гугл не помог, в рассылку отправил, но не уверен что ответят, в ирке чет тоже тухляк

/me мечатет заюзать openstack но железа нет для него

Такие нехорошие мечты могут и сбыться

Гугл не помог, в рассылку отправил, но не уверен что ответят, в ирке чет тоже тухляк

У тебя в логе енжина Message timeout which can be caused by communication issues

Что в логе VDSM ?

Похожая проблема тут была. Правда по причине обновлений.

Ничего

hostId='39215015-2537-4329-921f-c11256f99e04' Смотри на нем vdsm.log за то же время.

Значит в первую очередь мониторить сеть. Загрузку, потери и т.д.

1G сеть ?

10

Ошибка все - время на одном хосте ?

В Not Operational вылетает ?

Нет, рандомно по разным вылазит

В vdsm есть только ошибки по гластеру

То есть проблема скорее с ним

А по гластеру почему ?

Якобы брик недоступен, и он поднимает службу

То есть таймаут, машины в нон респондинг, а потомуведомление что гластер был запущен

Если что - то с сетью, то и здоровичка гластера тоже будет страдать из за рассинхронизации бриков.

Поведение очень похоже на сеть.

Якобы брик недоступен, и он поднимает службу

У тебя на лицо проблема с сетью. ЕНжин достучаться иногда не может до VDSMов на хостах, и гластер тома друг друга периодически не видят.

В этот момент происходит создание/удаление/перемещение какое - либо томов гластера ?

Нет, происходит в случайное время

Поднимай мониторинг сети и IOPSос на диски. Что - бы ты видел что и когда у тебя происходит.

С хоста на хост погоняй трафик, посмотри на потери.

иопсы настроены

У свича сумарная пропускная какая по спецификации ?

QOS не используешь ?

До свичей пока не добрался, с этим пока сложно

косов нету

Все - же глянь на хостах tc -s q на наличие overlimits/drops

А на свич лучше посмотри.

Проблема похоже на сетевую.

Все - же глянь на хостах tc -s q на наличие overlimits/drops

По 0

Это ведь иммелось в виду tc -s q | grep -E "dropped|overlimits" ?

Да

флудом поколоти с хоста на хост, с размером чуть меньше твоего MTU

@Edik_Ponomarenko а если на виртуальных интерфейсах много дропов?

vnet27: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet6 fe80::fc1a:4aff:fe16:151 prefixlen 64 scopeid 0x20<link> ether fe:1a:4a:16:01:51 txqueuelen 1000 (Ethernet) RX packets 2 bytes 84 (84.0 ? RX errors 0 dropped 0 overruns 0 frame 0 TX packets 92100348 bytes 24629322539 (22.9 GiB) TX errors 0 dropped 9241 overruns 0 carrier 0 collisions 0

Вот так к примеру

Это не много, к общему числу переданных

Посмотри еще логи гластера. Он тоже должен писать, что пропадает связь с бриками.

А что на энжине ?

На интерфейсах ?

MTU в сети какой ?

Посмотри еще логи гластера. Он тоже должен писать, что пропадает связь с бриками.

В логах ничего интресного не нашел

Максимум пару варнингов

И то в другое время

mtu дефолтный

1500

Ты говоришь, что у тебя мониторятся IOPSы на дисках. В моменты отвала у тебя гластер из за не правильного расположения бриков или еще чего - либо не озадачивает систему по самые немогу ?

Карту тома дай.

Нет, иопсы в порядке

У тебя один том отпадает в гластере ?

По всех хостам значения одинаковые

У тебя один том отпадает в гластере ?

Каком том?

Брик?

Овирт ругается при отвалах ноды, что причина по отвалу какого - то тома GlusterFS ?

Овирт ругается при отвалах ноды, что причина по отвалу какого - то тома GlusterFS ?

Ошибка что не может получить хелс вольюма

А смонтируй любой том гластера, чисто ради эксперемента, только с хоста, где нет его бриков.

mount.glusterfs .....

И лупание его с помощью fio

Разобрался как ?

fio --ioengine=libaio --direct=1 --name=test --runtime=60 --bs=4M --size=10G --rw=randrw --directory=/tmp Создай каталог для теста, потом пристрелишь.

Сделаю, если найди где гластер с вольюмом создать

У тебя тома уже есть.

Где у тебя oVirt тома хранит ?

gluster volume info gluster volume status

Где у тебя oVirt тома хранит ?

брики лежат на гипервизорах

Какие тома созданы в Glusterfs ? gluster volume info gluster volume status

1 вольюм репликейт

на 3 хоста

три брика без арбитра. Полноценные ?

Да

Всего три хоста ?

да

На любом делаем mkdir -p /mnt/glu mount.glusterfs <любой хост>:/<название тома> /mnt/glu Название тома берем из gluster volume info Проверяем смонтировался или нет через mount Смотрим свободное место df -h

У вас на каждом из серверов получается и том HostedEngine лежит и дата том oVirt`а ?

Хостед лежит на внешнем хранилище