Интересная вещь) Но не нашел у них версии, для развертывания у себя. Мы в частное облако пытаемся ;)
https://mcs.mail.ru/private-cloud/
Roman
Roman
Но надо болтать с манагерами в конце концов будет
Denis
Nikolay
Если разговор пошел за гланс, то логика работы зависит от кучи факторов
Nikolay
Например можно включить cinder image cache , в связке с фц, будет первый раз создаваться из имаджа волумимадж, а из него средствами схд будет клон на целевые вольюмы
NS 🇷🇺
Nikolay
Просадка по времени создания вм идет только первый раз, или первый раз исполнитель контроллера
NS 🇷🇺
Просадка по времени создания вм идет только первый раз, или первый раз исполнитель контроллера
и тут опять вы не совсем правы
Nikolay
Обоснуйте
NS 🇷🇺
1) использование имидж кеша очень сильно зависит от драйвера для СХД. Так же это зависит от вашей архитектуры, некоторые схд на разных сторадж пулах не умеют гонять luncopy и запускается классический qemu-img convert. Привет хуавей
2) про просадку - все верно, если вы делаете cinder volume, но если вы из образа создаете что-то на локальных дисках сервера, то этот кеш вам никак не поможет (а у автора вчерашнего вопроса как раз этот случай, если я все правильно понял)
Nikolay
Вопрос в том как сказать синдеру чтобы он эти имадж волумы сделал с мултиаатач
Nikolay
И подавал этот лун сразу на все контроллеры
NS 🇷🇺
Вопрос в том как сказать синдеру чтобы он эти имадж волумы сделал с мултиаатач
это вопрос к драйверо писателям
NS 🇷🇺
и будет опять от вендора зависить
Nikolay
С чего бы
NS 🇷🇺
С чего бы
с того, что если у тебя в драйвере поддержка не реализована, улыбайся и маши. Либо форкай драйвер и дописывай, благо питон
Aleksandr
потому что это работа cinder-volume и драйвера для конкретной СХД
Nikolay
Есть операции которые может делать синдер, и есть то что может драйвер
Nikolay
Вопрос первый умеет ли синдер мультиатачить кэш имаж волум
Nikolay
И только после этого ответа идем к драйверу
NS 🇷🇺
ты создал образ, дальше у тебя схд внутри себя молотит все и уже монтирует волумы созданные на целевые хосты
Nikolay
Это не так работает
Aleksandr
зачем это вообще нужно?
я так понял он хочет коллекцию вольюмов мапить на все гипервизоры и там через cp гонять.
NS 🇷🇺
с локальными дисками не так
Nikolay
Не совсем так, но идея с гиперами хорошая
NS 🇷🇺
я так понял он хочет коллекцию вольюмов мапить на все гипервизоры и там через cp гонять.
чет даже сценарий применения не вижу
Nikolay
Сейчас при поступлении задачи на конкретный экземпляр cinder, запускается процедура создания кэш луна который привязывается к этому экземпляру
Nikolay
Т.е. если задача упала на первый, то его кэшем второй воспользоваться не может
Aleksandr
чет даже сценарий применения не вижу
мне тоже не понятно ) и почему не масштабировать гланцы -))) тем более схема с данными на гиперах изначально кривая
Aleksandr
Nikolay
В моей конфигурации это происходит так
Aleksandr
Работает это так при первом создании ВМ на СХД туда приезжает образ в отдельный LUN в отдельном проекте. После этого из этого тома делается клон и просто мапиться к ВМке так это работает на тапке и так же работает на цефе
Aleksandr
В моей конфигурации это происходит так
в твоей конфигурации кэш бесполезен. Единственно если форкнешь драйвер и заставшь его делать clone средствами LVM. Но тогда имиджи будут на гиперах пачками валяться
NS 🇷🇺
В моей конфигурации это происходит так
ну просто у тебя настроено как то не так. У меня пофиг на каком контролле было создание от слова совсем
Nikolay
так а я о чем
Nikolay
так еще раз , в моей кофигурации с FC. создаются и мапятся кэш луны к каждому контролу
Nikolay
что имхо при поддержке мултиаттач не должно быть
Nikolay
2. появление этих лунов происходит вроде как стандартным способом, через конверт
Nikolay
Т.е. когда первый раз выпадает задача по созданию вм на такой не кешированный синдер то есть небольшой затык
Nikolay
Потом все идет клоном и стреляет как из пушки
Artem
Всем привет. Подскажите в чём может быть причина того что при шедуле инстанса ложится гипервизор. Проблема плавающая.
Artem
да, уходит в даун
J
да, уходит в даун
Я не синоним просил, а объяснить что с ним происходит)
Kernel panic? Сеть отваливается? Начинает тормозить безбожно?
J
По-любому же в логах ядра будет чо-то)
Artem
Сори, я не эксперт. Как проверить что из названного происходит?
Artem
В логах контейнера с новой видно что соединение отвалилось
J
Сори, я не эксперт. Как проверить что из названного происходит?
1. nova-scheduler отдельно от гипервизора установлена?
2. /var/log/kern.log
3. Через IPMI в режиме реального времени смотри во время создания инстанса что гипервизор выплевывает в свою консоль
Artemy
Вопрос первый умеет ли синдер мультиатачить кэш имаж волум
Простите, а на кой фиг? С учетом того, что вся суть этого волюма в том чтобы через него перекладывать внутрь СХД клонирование волюма
Artemy
Если мы говорим о volume image cache то там сехма такая:
1. При первом создании волюма из имаджа создается волюм V1 (юзерский)
2. из него средствами СХД (или драйвера + СХД) создается волюм который объявляется кэширующим имадж C1 = Clone(V1)
3. Все последующие создания волюма из этого имаджа являются клонами: V2 = Clone(C1), V3 = Clone(C1) и т.д.
4. Кэширующий волюм создается отдельно на каждом бакэнде - если у вас 10 нетапков и включен волюм имадж кэш - это приведет к тому что у вас не исключено будет по 10 копий каждого имаджа
NS 🇷🇺
Если мы говорим о volume image cache то там сехма такая:
1. При первом создании волюма из имаджа создается волюм V1 (юзерский)
2. из него средствами СХД (или драйвера + СХД) создается волюм который объявляется кэширующим имадж C1 = Clone(V1)
3. Все последующие создания волюма из этого имаджа являются клонами: V2 = Clone(C1), V3 = Clone(C1) и т.д.
4. Кэширующий волюм создается отдельно на каждом бакэнде - если у вас 10 нетапков и включен волюм имадж кэш - это приведет к тому что у вас не исключено будет по 10 копий каждого имаджа
ну я почти тоже самое и сказал, с тем лишь исключением, что там не всегда clone
хуавей делает luncopy
Artemy
Это несущественно. Смысл в том что драйвер пытается переложить это на СХД по возможности и это работает только внутри одного бакэнда (за оооочень редкими исключениями которых я не видел)
Aleksandr
вот-вот
NS 🇷🇺
Это несущественно. Смысл в том что драйвер пытается переложить это на СХД по возможности и это работает только внутри одного бакэнда (за оооочень редкими исключениями которых я не видел)
Артем, так я про это и писал. Мой аппонент говорил про другое =)
Artemy
А будет ли это clone или extended copy или еще что-то это уже фигшня
Aleksandr
так я ж тоже самое пытался донести )))
Artemy
А вообще самое правильное будет гланс положить на CephFS или S3 и пусть все его монтируют напрямую и оттуда таскают. Всем хорошо - гланс чисто мету отдает, все работают со всеми
NS 🇷🇺
Artemy
И ЕМНИП для rbd:// урлов в глансе это кстати работало. Только там еще куча каких-то проблем всплывала.
Artemy
В общем в опенстеке столько всякого удобрения нагородили, что теперь нормально хрен сделаешь, постоянно все лезут в кишки друг другу
Maxim
Если мы говорим о volume image cache то там сехма такая:
1. При первом создании волюма из имаджа создается волюм V1 (юзерский)
2. из него средствами СХД (или драйвера + СХД) создается волюм который объявляется кэширующим имадж C1 = Clone(V1)
3. Все последующие создания волюма из этого имаджа являются клонами: V2 = Clone(C1), V3 = Clone(C1) и т.д.
4. Кэширующий волюм создается отдельно на каждом бакэнде - если у вас 10 нетапков и включен волюм имадж кэш - это приведет к тому что у вас не исключено будет по 10 копий каждого имаджа
Как избежать необходимости создавать caching image-volume на каждом cinder host? Ведь clone произойдет, только если os-vol-host-attr:host совпадает у caching image-volume и создаваемого вольюма. При этом все cinder hosts ведут на одну и ту же дораду.
NS 🇷🇺
Как избежать необходимости создавать caching image-volume на каждом cinder host? Ведь clone произойдет, только если os-vol-host-attr:host совпадает у caching image-volume и создаваемого вольюма. При этом все cinder hosts ведут на одну и ту же дораду.
ну так укажите бекенд хост одинаковый на всех 3х волумах и будет вам счастье
Artemy
Если они у тебя ведут на одну дораду то ведь эта дорада кластерная и они работают в кластерном режиме?
Maxim
а дорада не поддерживает кластеризацию
Maxim
Если они у тебя ведут на одну дораду то ведь эта дорада кластерная и они работают в кластерном режиме?
просто на трех контролах запущены cinder-volume с одинаковым бекендом
NS 🇷🇺
NS 🇷🇺
просто на трех контролах запущены cinder-volume с одинаковым бекендом
картинка выше и что сделать тоже
Maxim
стоп а почему только один сервис cinder-volume?