так вроде все тоже самое
да так и есть, только что проверил… ток осторожнее…если ты на линухе, ты себе переключишь =)
NS 🇷🇺
Maksimus Ulibikus
J
Maksimus Ulibikus
Нет, неправильно.
А ты возьми и прочти документацию. Или в гугле вбей "nova server group affinity"
Читал. Ничерта не понял )) Видимо потому что на часах 23:04. Завтра утром прочитаю еще раз.
J
Читал. Ничерта не понял )) Видимо потому что на часах 23:04. Завтра утром прочитаю еще раз.
affinity и anti-affinity две политики.
Одна указывает что планировщик должен стараться лепить виртуалки на одни и те же хосты, а другая наоборот, что должен разносить.
J
Вот и всё.
J
А Name группы это Name группы.
Maksimus Ulibikus
Надеюсь за такой вопрос пинать не будете.
Есть инстанс с персистанс волюмом. Делаю его shelve, он уходит на полку. Через пару дней мне его надо снова запустить. Делаю unshelve. Вопрос. Инстанс вернётся на ту же ноду, где был создан?
J
Maksimus Ulibikus
Спасибо прочитаю
Илья | 😶☮️🐸
J
Илья | 😶☮️🐸
Vyacheslav
Как в flavor засунуть тип создаваемого диска?
В итоге так работает (извините за терраформ):
resource "openstack_compute_flavor_v2" "test" {
name = "test"
ram = 1234
vcpus = 1
disk = 10
is_public = false
extra_specs = {
"quota:disk_total_iops_sec" = "200",
}
}
Илья | 😶☮️🐸
В итоге так работает (извините за терраформ):
resource "openstack_compute_flavor_v2" "test" {
name = "test"
ram = 1234
vcpus = 1
disk = 10
is_public = false
extra_specs = {
"quota:disk_total_iops_sec" = "200",
}
}
если флейвора с такими ресурсами нет, то терраформ создаёт его самостоятельно ?
Vyacheslav
да
Vyacheslav
и даже обновит у VM где используется, только вот диск созданный не обновит
Vyacheslav
т.к. что бы применить QoS ему надо диск пересоздать
Илья | 😶☮️🐸
можно ведь QoS без пересоздания поменять
Илья | 😶☮️🐸
странно
Vyacheslav
не поменять, надо делать retype
Vyacheslav
а что бы сделать retype - надо диск оторвать от vm, а штатно так нельзя 🙂
Artemy
Кысмет
J
Ну рутовый диск если только через бд править :)
Можно через reset-state отцепить. По сути та ж правка базы, но не вручную.
Maksimus Ulibikus
Будет работать такая схема?
На controller flat network, на compute vlan network
Maksimus Ulibikus
Коллеги, сил нет.
Добавил compute ноду. Инстансы на ней завершаются с ошибкой:
qemu-kvm: -device vfio-pci,host=0000:02:00.0,id=hostdev0,bus=pci.0,addr=0x5: vfio 0000:02:00.0: group 54 is not viable
2021-09-10 13:50:28.610 10924 ERROR nova.compute.manager [instance: 07d6dce6-8cb7-4928-9853-49938fa5c236] Please ensure all devices within the iommu_group are bound to their vfio bus driver.
Карта в группе как и положено:
IOMMU Group 54 02:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] [10de:1b06] (rev a1)
IOMMU Group 54 02:00.1 Audio device [0403]: NVIDIA Corporation GP102 HDMI Audio Controller [10de:10ef] (rev a1)
С vfio всё хорошо:
[root@kvm-gpu-node1 ~]# lspci -vs 02:00.0
02:00.0 VGA compatible controller: NVIDIA Corporation GP102 [GeForce GTX 1080 Ti] (rev a1) (prog-if 00 [VGA controller])
Subsystem: Gigabyte Technology Co., Ltd Device 376b
Physical Slot: 2
Flags: fast devsel, IRQ 26, NUMA node 0, IOMMU group 54
Memory at aa000000 (32-bit, non-prefetchable) [size=16M]
Memory at 90000000 (64-bit, prefetchable) [size=256M]
Memory at a0000000 (64-bit, prefetchable) [size=32M]
I/O ports at 6000 [size=128]
Expansion ROM at ab000000 [disabled] [size=512K]
Capabilities: [60] Power Management version 3
Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
Capabilities: [78] Express Legacy Endpoint, MSI 00
Capabilities: [100] Virtual Channel
Capabilities: [250] Latency Tolerance Reporting
Capabilities: [128] Power Budgeting <?>
Capabilities: [420] Advanced Error Reporting
Capabilities: [600] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
Capabilities: [900] Secondary PCI Express
Kernel driver in use: vfio-pci
Kernel modules: nouveau
Если создать инстанс на ноде по старинке virt-install, то всё нормально с картой запускается.
Maksimus Ulibikus
И дополнительно еще такая ошибка в логах:
qemu-kvm: -device vfio-pci vfio 0000:02:00.0: group 54 is not viable
Я и твой кот
Maksimus Ulibikus
Кто там ещё в группе?
Аудио карты, собственно выше показал.
Вот полный список групп https://pastebin.com/iYMXZHKy
Maksimus Ulibikus
pci такой же как на других нодах:
[pci]
# Карты GeForce 1080Ti
passthrough_whitelist = { "vendor_id": "10de", "product_id": "1b06" }
alias = { "vendor_id":"10de", "product_id":"1b06", "device_type":"type-PCI", "name":"1080Ti" }
Я и твой кот
Аудио карты, собственно выше показал.
Вот полный список групп https://pastebin.com/iYMXZHKy
А аудиокарта получила vfio-pci?
Maksimus Ulibikus
А аудиокарта получила vfio-pci?
Да
[root@kvm-gpu-node1 qemu]# lspci -vs 02:00.1
02:00.1 Audio device: NVIDIA Corporation GP102 HDMI Audio Controller (rev a1)
Subsystem: Gigabyte Technology Co., Ltd Device 376b
Physical Slot: 2
Flags: bus master, fast devsel, latency 0, IRQ 79, NUMA node 0, IOMMU group 54
Memory at ab080000 (32-bit, non-prefetchable) [size=16K]
Capabilities: [60] Power Management version 3
Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
Capabilities: [78] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Kernel driver in use: vfio-pci
Kernel modules: snd_hda_intel
Говрю же, что всё прекрасно работает, если создавать виртуалку штатными средствами virt-install.
Maksimus Ulibikus
А ты посмотри какие устройства пытается выделить машине nova.
Завтра буду читать каждую строчку. Уже сил нет на сегодня
Maksimus Ulibikus
А ты посмотри какие устройства пытается выделить машине nova.
Я так понимаю ты об этом? В логе новы сгенерирован XML. Вот он: https://pastebin.com/R8jRhyJW
hostdev корректно сформирован
Maksimus Ulibikus
В общем я ошибался. OpenStack здесь никаким боком. Попробовал создать виртуалку по старинке - создал, запустил, выключил. Затем добавил в XML карту, пробую запустить и ...
internal error: qemu unexpectedly closed the monitor: 2021-09-10T14:04:17.352512Z qemu-kvm: -device vfio-pci,host=0000:02:00.0,id=hostdev0,bus=pci.5,addr=0x0: vfio 0000:02:00.0: group 54 is not viable Please ensure all devices within the iommu_group are bound to their vfio bus driver.
А то, что работает, это потому что давно была создана виртуалка и на ней все карты - она корректно запускается.
Я и твой кот
В общем я ошибался. OpenStack здесь никаким боком. Попробовал создать виртуалку по старинке - создал, запустил, выключил. Затем добавил в XML карту, пробую запустить и ...
internal error: qemu unexpectedly closed the monitor: 2021-09-10T14:04:17.352512Z qemu-kvm: -device vfio-pci,host=0000:02:00.0,id=hostdev0,bus=pci.5,addr=0x0: vfio 0000:02:00.0: group 54 is not viable Please ensure all devices within the iommu_group are bound to their vfio bus driver.
А то, что работает, это потому что давно была создана виртуалка и на ней все карты - она корректно запускается.
nouveau и snd_hda_intel модули подгружать в linux не стоит, а то виртуалка может ругаться, что девайсы уже кто-то инициализировал (не всегда). К описываемой проблеме это отношения вроде не имеет, но мало ли что.
J
Не на то ответил)
Maksimus Ulibikus
nouveau и snd_hda_intel модули подгружать в linux не стоит, а то виртуалка может ругаться, что девайсы уже кто-то инициализировал (не всегда). К описываемой проблеме это отношения вроде не имеет, но мало ли что.
Я подключаю только видео, аудио не трогаю. Поэтому ничего страшного.
Я и твой кот
Я подключаю только видео, аудио не трогаю. Поэтому ничего страшного.
А надо подключать все девайсы в группе.
Maksimus Ulibikus
А надо подключать все девайсы в группе.
Я так всегда делал, но недавно попробовал только один девайс и все было ок.
Да, попробую так и сделать.
Maksimus Ulibikus
Просто мне кто-то из вас сказал нет смысла использовать все устройства в группе. Ну я и подумал, видимо не все знаю. А теперь предлагаете обратное ))
Stepan T.
Господа, а прибивать Cinder к LVM поднятом на VDO допустимо или нормальные люди так не делают?
Artemy
Вопрос в латенси. Подозреваю что вдо его просадит. Ну и естественно никакого lvm thin provisioning
96eae59ecc096eb98e63cbe
привет, первый раз устанавливаю опенстак и не понимаю как что делать
я начинаю деплоить опенстак на кластере из 8 нод для хостинга виртуалок и контейнеров.
хочется сделать автоматизированный деплой. кажется для этого есть chef cookbooks? или стоит использовать что-то другое
еще не совсем понимаю какой лучше сделать partition scheme для хостов. 512 boot, 10GB root и остальное LVM?
Илья | 😶☮️🐸
манажить тоже автоматически будете ?
96eae59ecc096eb98e63cbe
хм без понятия
желательно да
Pavel
По доке ставьте, чтобы понимать что и с кем взаимодействует.
40 гигов для рута для POC хватит если не работать с жирныим имаджами
Pavel
чинить и дебажить все равно придется руками и дописывать автоматизацию
Artemy
Отличный вброс. И вопрос вброс и ответ. Прямо комбо
96eae59ecc096eb98e63cbe
96eae59ecc096eb98e63cbe
спасибо!
96eae59ecc096eb98e63cbe
кстати, стоит ли заморачиваться с ubuntu autoinstall или лучше руками все пока что делать?
Artemy
Ох, тут прямо сделали день. Убунту автоинсталлом, опестек автоматизированным деплоем и потом это менеджить автоматически.
Илья | 😶☮️🐸
С пятницы не отошёл, может и не спал даже человек)
96eae59ecc096eb98e63cbe
да что вы токсики(
Denis
96eae59ecc096eb98e63cbe
> какие цели
хостить виртуалки и контейнеры, чтобы у админа была возможность их создавать а у юзеров включать и выключать
весь остальной функционал не сложно добавить я так понимаю
Artemy
ну...кс?
вм..ре?
хай...ви?
Илья | 😶☮️🐸
96eae59ecc096eb98e63cbe
уже был
96eae59ecc096eb98e63cbe
хочется что-то поинтереснее
96eae59ecc096eb98e63cbe
нет, я правда опенстак хочу
Илья | 😶☮️🐸
вам шашечки или ехать ?
96eae59ecc096eb98e63cbe
блин как оказывается сложно на русском говорить
96eae59ecc096eb98e63cbe
но тут ребусы какие-то
96eae59ecc096eb98e63cbe
а блин я загуглил
Maksimus Ulibikus
По-моему вначале у меня были такие же тупые вопросы 🤣