диск в системе появляется?
появляется но чуть позже чем валится ошибка
Aleksey
Dmitry
а лунка на схд быстро создается?
Aleksey
ну а сама команда отрабатывает без обертки?
так она и там срабатывает, только на тот момент там нужного dm нет
Aleksey
а вот dm девайс где-то через 1-2 мин
Dmitry
конфиг мпасса стоковый?
Dmitry
и какая схема самого мультипасса получается?
Dmitry
все ли пути доступны, которые приезжают в конфиге?
Pavel
да стоковый, конфиг
Pavel
про схему не очень понял
пути все доступны
Dmitry
а логи чего говорят?
Dmitry
в мультипассе можно включит вербозность и смотреть, чего оно делает
Pavel
по дефолту active/passive
Я и твой кот
Я и твой кот
Проблема в итоге из-за медленного создания мультипас девайса, или из-за медленного появления путей до новых лунов?
Я и твой кот
Или луны сами по себе медленно создаются?
Pavel
в том и веселье что диск появляется секунд на 7-10 позже чем выполняется код
Pavel
пока не понятно где проблема. луны по идее уже созданы cinder'om
Я и твой кот
в том и веселье что диск появляется секунд на 7-10 позже чем выполняется код
/dev/sdXX появляется позже? А фигли бы сначала скан на fc не сделать, echo 0 0 0 0 и вот это всё, а потом код дальше выполнять?
Pavel
проверка в коде попенстека
Я и твой кот
А ещё зайдите к вендору на сайт, скопирните рекомендованный конфиг мультипаса на всякий случай.
Я и твой кот
проверка в коде попенстека
Ну я понял. Но не логично. Посмотрите, что там в коде в каком порядке идёт.
Pavel
это хуавей. как бы так помягче вразиться они пидерасты латентные из них нужно все клещами тащить
Я и твой кот
В комплекте с драйверами иногда идёт семпл конфига мультипаса.
Я и твой кот
В доках или как-то так. Вдруг повезёт.
Я и твой кот
Или в доках на сайте.
Я и твой кот
Это не про нас было? ))
Pavel
у них свой собственный мультипас которого нет под бубунту
Pavel
нет, я про хувей
Pavel
пол дня смотрим. пока без результатно
NS 🇷🇺
это хуавей. как бы так помягче вразиться они пидерасты латентные из них нужно все клещами тащить
У хуавея доки в гите вместе с доайвером
NS 🇷🇺
Мы все по мемуарам настроили и проблем не возникнет
Artemy
/dev/sdXX появляется позже? А фигли бы сначала скан на fc не сделать, echo 0 0 0 0 и вот это всё, а потом код дальше выполнять?
Может рескан долго делается, может он девайс долго сканит?
Artemy
Я бы в udev посмотрел сначала
Artemy
И в даты создания объекта в sysfs и в /dev
Aleksey
/dev/sdXX появляется позже? А фигли бы сначала скан на fc не сделать, echo 0 0 0 0 и вот это всё, а потом код дальше выполнять?
/dev/sd появляются быстро, а вот "/dev/disk/by-id/dm-uuid-mpath-%(wwn)s" создаётся позже чем падает ошибка
Я и твой кот
/dev/sd появляются быстро, а вот "/dev/disk/by-id/dm-uuid-mpath-%(wwn)s" создаётся позже чем падает ошибка
Подебажьте ивенты udev. Если путей много, то он может для каждого пути дёргать бинарь мультипаса, что долго.
Aleksey
Я и твой кот
Во время тестов было 8, добавляли 1
16х9 раз дёргается бинарь мультипаса удевом. Посмотрите, так ли это, и не этим ли занят удев.
Я и твой кот
144 раза.
Aleksey
16х9 раз дёргается бинарь мультипаса удевом. Посмотрите, так ли это, и не этим ли занят удев.
Посмотрим, спасибо за наводку.
Я и твой кот
Если это так, что же будет при 100 ВМ?
Ну пересмотрите дизайн SAN сети и обрубите лишние пути. Сколько fc портов на ноде?
Я и твой кот
И сколько карт?
Aleksey
Ну пересмотрите дизайн SAN сети и обрубите лишние пути. Сколько fc портов на ноде?
2 и 8 на схд, все через коммутаторы
Я и твой кот
Если это так, что же будет при 100 ВМ?
Ещё можно переписать правила удев и пореже дёргать мультипас (один раз). Ну это предположительно. Надо глянуть, чем удев занимается сначала.
Возможно, в свежей версии пакета мультипаса убунты это как-то по-другому сделано.
Я и твой кот
привет. Никто случаем не сталкивалися при работе с FC, что диск на хосте появляется с задержкой, а nova-compute за это время успевает словить ошибку?
ERROR oslo_messaging.rpc.server CommandExecutionFailed: Failed to execute command multipath -l /dev/sddj
sddj меня навело на мысль, что там у вас офердофига путей видно.
Я и твой кот
26*3+10=88 - это около 6 устройств по 16 путей.
Я и твой кот
Логично теперь.
Dmitry
омг =) 16 путей
Я и твой кот
В целом, достаточно двух в актив/актив (в зависимости от io, надо смотреть заполняемость буферов и тюнить длину очереди), раз там по два порта на ноде.
Я и твой кот
Но свичи скорее всего не умеют.
Я и твой кот
Можно ещё на сторадже раздавать каждый лун не с 8 портов, а только по одному разу с каждой карты.
Я и твой кот
8 дырок - там скорее всего два 4х-портовых модуля (карты).
Я и твой кот
От сдохшей карты спасёт.
Aleksey
Можно ещё на сторадже раздавать каждый лун не с 8 портов, а только по одному разу с каждой карты.
Наверное можно что-то придумать. Но маппинг делает драйвер, а он вроде как по портам балансить не умеет
NS 🇷🇺
От сдохшей карты спасёт.
От сдохшей карты спасет два пути в другой карте, нахрена 4 не понятно
Я и твой кот
Наверное можно что-то придумать. Но маппинг делает драйвер, а он вроде как по портам балансить не умеет
Не драйвер, а зонить луны только на определённые портгруппы на сторадже. Хз как это в хуавее называется, но должен уметь.
Я и твой кот
От сдохшей карты спасет два пути в другой карте, нахрена 4 не понятно
Я имел ввиду «спасёт от сдохшей карты/модуля на сторадже».
NS 🇷🇺
Не драйвер, а зонить луны только на определённые портгруппы на сторадже. Хз как это в хуавее называется, но должен уметь.
Это по моему работает только в том случае, если автозонинг в стеке не настроен
Я и твой кот
Это по моему работает только в том случае, если автозонинг в стеке не настроен
Всегда можно написать свой драйвер ;)
NS 🇷🇺
Всегда можно написать свой драйвер ;)
меня хуевейный устраивает более чем =) самые беспроблемые FС стораджи для стека, что у нас были
tsla
меня хуевейный устраивает более чем =) самые беспроблемые FС стораджи для стека, что у нас были
сколько суммарно ВМок на массиве?
NS 🇷🇺
сколько суммарно ВМок на массиве?
Сложно сказать, у нас схд держет варю и опенстек на самой маленькой инсталяции наших 108 лунов
tsla
Сложно сказать, у нас схд держет варю и опенстек на самой маленькой инсталяции наших 108 лунов
не, именно опенстэковские интересно
tsla
мне интересен случай когда на массиве больше 130 ВМ, вроде у хуавей нет функции маскировки
tsla
то есть обхода ограничения в 256 лунов
tsla
и какая модель массива + вывод multipath -ll
tsla
Там вроде есть возможность создавать виртуальные схд
у хуавей же этого нет, только на хайэндах 18к