Artemy
Волюм привязан к бакэнду синдера. Если бакэнд сдох - волюм становится неуправляемым. И ВМ которая его аттачнула тоже частично неуправляема. Если вам нужен HighAvailability бакэнда - кластеризуйте его на уровне синдера. Period.
icewolf
собственно тоже самое что я сказал но понятным языком
icewolf
ток Артемий не сказал кое что, такая кластеризация это определенные архитектурные решения, а так же код в синдер, что бы он работал хотя бы как у oVirt
Artemy
Скорей что это не у всех драйверов.
Artemy
Ну и это понятно работает только когда схд живет сама по себе отдельно от бакэнда. Цеф, нетапп, инфинибокс, ВК nvmebox.
Stanley
Волюм привязан к бакэнду синдера. Если бакэнд сдох - волюм становится неуправляемым. И ВМ которая его аттачнула тоже частично неуправляема. Если вам нужен HighAvailability бакэнда - кластеризуйте его на уровне синдера. Period.
Кластеризуйте на уровне синдера - я как раз и полагал что цеф это про отвязку бекенда и кластеризацию
icewolf
У ceph это тупо проще, ибо он всегда шол почти из коробки
Stanley
еще раз, у нас бэк хранения это максимально тупая подача слоя хранения и никак иначе, а вот нова как раз оперирует эвакуировать и куда
Тогда нафига Нова тыкается в дохлый бекенд???
icewolf
у нетапп и инфинибокс.. это еще на уровне api самих схд
icewolf
Тогда нафига Нова тыкается в дохлый бекенд???
так исторически сложилось, это факт с которым ну придется жить
Stanley
А что делать пока так и не понял.
icewolf
ну что делать? Думать. Понимаешь я когда пишу от недосыпа тут про kvm virsh это надо понимать не как бред или записки сумасшедшего а как данность, проверенную руками.. и иногда жопой
icewolf
самое милое что я видел как бэк хранения iscsi просто по очку поехал(netapp, страна долбоебов) потому что между 5 нодами kvm поехал по 1Ge.. драйвер? Да он в жопу не уперся
icewolf
именно kvm, никакого Xen, или qemu, оплаченная проприетарная kvm.. с жесткими фиксами по ядру, и по железу.. и вот смотрите. Live migration на ноль
icewolf
по этому что делать? Фиксировать точки отказа, потому что ceph удобнее, делать кластер на сефе с разными osd, и уже от этого плясать
icewolf
и вот тут уже с миграцией будет не туки туки, я померла и я не управляемое
icewolf
80% это сам бэк на котором хранение 20% это cinder который будет понимать что это кластер, а не просто rbd ему в конфигу сунули
Stanley
Боря, прекращай. Это просто набор букв ни о чем. Вопрос был вполне конкретный. А такую чушь и я могу нагенерить.
icewolf
Боря, прекращай. Это просто набор букв ни о чем. Вопрос был вполне конкретный. А такую чушь и я могу нагенерить.
Стенли(может будем по имени?) я умею писать но мысль сложная, ну блять опустится вниз я уже не могу..
icewolf
Я не @jingvar и уж тем более не Капитула, у которых хотя бы практика обучения, а обычный инженер, со мной очень сложно.
Artemy
Кластеризуйте на уровне синдера - я как раз и полагал что цеф это про отвязку бекенда и кластеризацию
Ну кластеризация синдера это HA-режим контролплейна. Это естественное решение.
Artemy
Ты же не будешь ныть если при падении нова компьюты на гипере у тебя ВМ станут неуправляемы? Тут то же самое
Stanley
Ну кластеризация синдера это HA-режим контролплейна. Это естественное решение.
Уфф. Контрол-плейн - чего? У цефа мониторы везде. У опенстека тоже все за-НА-шено.
Тут смысл в том что синдер-апи зачем то пытается детачнуть волум от уже мертвого хоста/сервиса
Stanley
Где тут ещё ha воткнуть - я пока не понимаю.
icewolf
Монитор даст просраться если больше 2х
Stanley
Да не в цефе дело
icewolf
ой ли
Stanley
Мониторы - на всех трёх нодах. Могу ещё раз написать что по логам синдкр-апи пытается оторвать волум и даёт сообщение в мертвый сервис
Artemy
Еще раз. Детачем аттачем занимается синдерволюм. Он у тебя сдох. Зис из зе енд, фсё. Я могу объяснить это даже в сообщениях раббита но ты готов это понять?
Artemy
Поэтому и надо кластеризовать синдерволюмы. Ну прочти же доку наконец
icewolf
Еще раз. Детачем аттачем занимается синдерволюм. Он у тебя сдох. Зис из зе енд, фсё. Я могу объяснить это даже в сообщениях раббита но ты готов это понять?
всего по немногу, тем более в пятницу. Это я пойму, Стенли будет это слишком больно.
Artemy
Точнее не совсем детачем аттачем но всякими initialize connection / terminate connection / get connection info
TB
сложные кейсы
Нету простых кейсов. Я не так искушен в open stack. Но при ближайшем рассмотрении вариантов особо нет
icewolf
Нету простых кейсов. Я не так искушен в open stack. Но при ближайшем рассмотрении вариантов особо нет
нет, в России это телко, под понятным флагом, или vk cloud onprem который через пару лет в Tencent Enterprise Cloud превратится(я видел тенсент)
icewolf
и vk cloud потихоньку превращается в tencent
Stanley
всего по немногу, тем более в пятницу. Это я пойму, Стенли будет это слишком больно.
Боя, угомонись. В пятницу запас моего терпения может и иссякнуть.
Stanley
Поэтому и надо кластеризовать синдерволюмы. Ну прочти же доку наконец
Люблю такие советы... Ну наверное я не спрашивал бы, если бы это было в документации
Grundik
Поэтому и надо кластеризовать синдерволюмы. Ну прочти же доку наконец
Он может же перенести управление волбмом на другой cinder-volume, если нет ha
Grundik
А так да cluster cinder volume решает
Grundik
Главное координацию еще прилепить
icewolf
типа хостовая ось убунту, и ты ловишь все это.. и материться уже бесполезно.. все в гавне
Artemy
Он может же перенести управление волбмом на другой cinder-volume, если нет ha
Только сменив host у волюма
Grundik
Ну да
cinder-manage volume update_host --currenthost <current host> --newhost <new host>
Artemy
Если у волюма стоит кластер то мессаги его управления идут в кластерную очередь. Иначе в хостовую.
Artemy
Но иметь два синдер волюма на один бакэнд это неправильно. Ручной HA это такое себе
icewolf
о! Пошла уличенная магия
icewolf
icewolf
знаю а сказать не могу.
Dmitry
Люблю такие советы... Ну наверное я не спрашивал бы, если бы это было в документации
Cinder-Volume¶
The most common deployment option for Cinder-Volume is as Active-Passive. This requires a common storage backend, the same Cinder backend configuration in all nodes, having the backend_host set on the backend sections, and using a high-availability cluster resource manager like Pacemaker.
Attention
Having the same host value configured on more than one Cinder node is highly discouraged. Using backend_host in the backend section is the recommended way to set Active-Passive configurations. Setting the same host field will make Scheduler and Backup services report using the same database entry in the services table. This may create a good number of issues: We cannot tell when the service in a node is down, backups services will break other running services operation on start, etc.
For Active-Active configurations we need to include the Volume services that will be managing the same backends on the cluster. To include a node in a cluster, we need to define its name in the [DEFAULT] section using the clusterconfiguration option, and start or restart the service.
https://docs.openstack.org/cinder/latest/contributor/high_availability.html#cinder-volume
icewolf
Ну на active passive мои коллеги из oVirt с вами поспорят
Dmitry
Благодарю. Это я находил. Но у меня из-за такой настойки уходят в down бекенды с lvm.
Покручу уже в пнд
TLDR если кратко в синдер-вольюмах пишешь бекэнд хост одинаковый произвольный и получаешь ха. Лучше сделать координатор, но на практике рейсы редки. На lvm не сработает, поскольку tgtd локальный, но на сефе самое то
Stanley
TLDR если кратко в синдер-вольюмах пишешь бекэнд хост одинаковый произвольный и получаешь ха. Лучше сделать координатор, но на практике рейсы редки. На lvm не сработает, поскольку tgtd локальный, но на сефе самое то
Херня в мульти-бекендах. Если б не сраный lvm - все было б проще.
Но, прорвёмся. Пасиб ещё раз.
Dmitry
icewolf
Artemy
TLDR если кратко в синдер-вольюмах пишешь бекэнд хост одинаковый произвольный и получаешь ха. Лучше сделать координатор, но на практике рейсы редки. На lvm не сработает, поскольку tgtd локальный, но на сефе самое то
И получаешь тыкву при рестарте волюма когда оно фейлит создающийся волюм и не может его удалить ибо волюм остался бизи на втором бакэнде :-) не то чтобы критично но надо потом удалять ибо оно подъедает место :-)
Ilya
TLDR если кратко в синдер-вольюмах пишешь бекэнд хост одинаковый произвольный и получаешь ха. Лучше сделать координатор, но на практике рейсы редки. На lvm не сработает, поскольку tgtd локальный, но на сефе самое то
Обсуждали с Артемием раньше. Это псевдокластер, у него есть недостатки. Лучше обычный кластер сделать
Artemy
Херня в мульти-бекендах. Если б не сраный lvm - все было б проще.
Но, прорвёмся. Пасиб ещё раз.
Лвм нахрен не надо кластерить. Смысла нет
Dmitry
И получаешь тыкву при рестарте волюма когда оно фейлит создающийся волюм и не может его удалить ибо волюм остался бизи на втором бакэнде :-) не то чтобы критично но надо потом удалять ибо оно подъедает место :-)
Ну не рестартите во время создания вольюмов :) Я же написал рейсы бывают, но не часто. По крайней мере в моей практике. Не хочешь рейсы - городи координатор
Stanley
Дима плохое посоветовал? Ой. :(
Dmitry
Дима плохое посоветовал? Ой. :(
Я такое только и советую ;) у меня просто нет кнопки сделать заебись ;) любое решение имеет недостатки
Stanley
Проблема свободы выбора.. хоть Стенли и злится
Я не злюсь. Просто меня можно заебать пиздабольмтаом и тансур-модом.
А так я совершенно спокоен.
Stanley
Я такое только и советую ;) у меня просто нет кнопки сделать заебись ;) любое решение имеет недостатки
Шучу я. Разрабы за неделю хз аебали в край и синдер этот ещё...
Ilya
Ну не рестартите во время создания вольюмов :) Я же написал рейсы бывают, но не часто. По крайней мере в моей практике. Не хочешь рейсы - городи координатор
до кучи например не видно, какой из циндер вольюмов активен, а какой упал
Artemy
Шучу я. Разрабы за неделю хз аебали в край и синдер этот ещё...
Это ты с разработчиками не общался. Мы бы тебя за....ли даже за край
Stanley
Это ты с разработчиками не общался. Мы бы тебя за....ли даже за край
Хуй сломали бы. :)
Но это другая история...
Stanley
Я в синдер полез просто чтобы отвлечься от совещаний и объяснения эффективным менеджерам простых истин.
Artemy
И чо как, "лучше бы я общался с менеджерами"?
Stanley
Не. Отдыхаю в технике. Застрял между двух миров.
icewolf
Я не злюсь. Просто меня можно заебать пиздабольмтаом и тансур-модом.
А так я совершенно спокоен.
Извините с кем поведешься так тебе и надо, а так да.. в свое время редхат был через стенку и к нам в отдел ходил без стука.
icewolf
Осталось сказать ауф-ауф гав-гав
Говеность ситуации в том, что да как собаки все понимаем но ток гавкать и можем.. ступенька вниз отключена, остались ступеньки вверх и чем дальше тем сложнее объяснять и опять ступеньки вниз отваливаются..
toktar
Добрый день ребят подскажите кастомный интефейсы для OpenStack который можно доработать.