Здравствуйте, кто может мне помочь? Я установил openstack с внешним CEPH, но у меня производительность записи на виртуальной машине составляет 24 Мb / s. Все находится в сети объемом 10 ГБ в bond (2x10 ГБ). В чем могут быть проблемы?
заранее благодарю
Дьявол с большей долей вероятности кроется в сети, смотрите внимательно.
Yuriy
Yuriy
А точнее в задержках между хостами, либо мониторами.
Yuriy
Чтобы понять проблему перечитайте как работает Ceph под капотом с данными.
C
Artemy
Artemy
И писать НЕ в файл а на блочное устройство
P
P
Меня больше смущает методика проверки производительности в один поток dd. Что там за устройство должно быть в бэкенде, чтоб дать ожидаемые 300? Или цеф умеет потоки разбивать на несколько устройств?
Artemy
Ну на SSD цефе 300 МБ/с вполне себе нормально достается без всяких приседаний
P
Опять-таки, вопрос в том, делает ли цеф страйпинг между дисками, и как - если что, я больше по классическим хранилкам, потому и спрашиваю. Так-то, с одного ssd снимать 300MB на запись вполне возможно, пока сборка мусора не начнётся.
P
ну, или какой-нибудь vdbench, или что там сейчас модно для эмуляции нагрузки от гипервизоров.
P
так может и топикстартер через nfs подключается, не? Или я чего-то не понял.
P
Вот, кстати, похожий кейс, но там конфигурация - весьма и весьма: https://forum.proxmox.com/threads/vm-i-o-performance-with-ceph-storage.120929/
Ksp
а какая конфигурация серверов ceph? сколько дисков, каких?
P
хочу уточнить один момент: я правильно понимаю, что речь идёт о сравнении фронт-энда ceph client vs nfs access gateway? Или более глобально - ceph vs что-то другое?
Ksp
да , + openstack
P
P
Как там про ремонт говорят - "его нельзя закончить, его можно прекратить".
Pavel
Как там про ремонт говорят - "его нельзя закончить, его можно прекратить".
"его можно приостановить"
P
...можно ещё саппорт купить. Правда, как показывает практика, саппорты ненавидят перформанс кейсы.
Ksp
проблема больше в openstack, так как ceph работает все в порядке, VM из proxmox пишуt с 500-600Mb/s v ceph
P
проблема больше в openstack, так как ceph работает все в порядке, VM из proxmox пишуt с 500-600Mb/s v ceph
извините за такой тупой вопрос: а по какому протоколу опенстек у вас общается с ceph?
Yuriy
Oleg
если блочка, то rbd
Ksp
прошу прощения, если что-то не так, я из области development,я пытаюсь перейти в области devops
Artemy
Ты ... упал с дуба на пол (это чтобы матом не спрашивать)?
P
видимо, речь не в самом протоколе, а в том, как он реализован, не? Я к тому, что есть netapp, например, который, считай, вокруг nfs построен.
P
Полностью согласен с этой формулировкой. Я просто тригернулся на упоминание nfs, к которому питаю определённую слабость :)
Oleg
коллеги день добрый, развернул коллу на 3х хостах (контроллеры и гипервизоры совмещены), создал инстанс cirros почемуто не работает живая миграция говорит: Migration pre-check error: Unacceptable CPU info: CPU doesn't have compatibility. хотя процы одинаковые и поддержка виртуализации включена. Подскажите что где подкрутить можно
Илья | 😶☮️🐸
Может быть вплоть до разных версий бивисов и не дать живую миграцию
Oleg
Может быть вплоть до разных версий бивисов и не дать живую миграцию
проверил одни и теже серваки PowerEdge R640 процы и версия биоса совподает. Может быть проблема в том что функция гипервизора и контроллера совмещена?
Илья | 😶☮️🐸
Илья | 😶☮️🐸
Там недавно у новы в этом плане изменения были, гляньте релиз ноты
Nikolay
Ну а ядра одинаковые откуда и куда?
Nikolay
Ну там логи почитать, дебаг включить?
Oleg
Ну а ядра одинаковые откуда и куда?
да процы полностью идентичны, у меня подозрение что конфиг виртуалки создался с какимто специфическим оборудованием которое не совместимо с физическим. Но тут все в контейнерах :) черт ногу сломит что где искать, да и в этих опенстеках я не силен.......
Nikolay
я не на русском пишу?
Nikolay
опенстек это обвязка над базовыми технологиями
P
Oleg
может, стоит flavor посмотреть?
(kolla) root@kolla:/etc/kolla# openstack flavor list
+------+---------------+------+------+-----------+-------+-----------+
| ID | Name | RAM | Disk | Ephemeral | VCPUs | Is Public |
+------+---------------+------+------+-----------+-------+-----------+
| auto | m1.extra_tiny | 1000 | 1 | 0 | 4 | True |
+------+---------------+------+------+-----------+-------+-----------+
Nikolay
давайте еще погадаем, мой вариант на целевой ноде у либвирта месячные
Oleg
Refer to http://libvirt.org/html/libvirt-libvirt-host.html#virCPUCompareResult
: nova.exception_Remote.MigrationPreCheckError_Remote: Migration pre-check error: Unacceptable CPU info: CPU doesn't have compatibility.
2023-07-06 10:29:06.967 16 WARNING nova.scheduler.utils [None req-1e0473a9-613a-47a4-9fc5-5312e6db2289 - - - - - -] [instance: ee547c1b-fa54-461c-8a2d-f20182819b29] Setting instance to ACTIVE state.: nova.exception_Remote.MigrationPreCheckError_Remote: Migration pre-check error: Unacceptable CPU info: CPU doesn't have compatibility.
2023-07-06 10:35:08.356 18 INFO nova.compute.rpcapi [None req-5c5d286e-39cb-4284-89c2-4dafc93b8e37 - - - - - -] Automatically selected compute RPC version 6.2 from minimum service version 66
2023-07-06 10:51:29.378 16 WARNING oslo.service.loopingcall [-] Function 'nova.servicegroup.drivers.db.DbDriver._report_state' run outlasted interval by 0.91 sec
2023-07-06 11:40:13.024 20 WARNING nova.scheduler.utils [None req-cbd4bed8-ec8f-4048-b2dd-5d0de419446d 09578e9425ba4ab7b44744de0b891be0 964bda819ab44d26822887ffb3e1ff0d - - default default] Failed to compute_task_migrate_server: Migration pre-check error: Unacceptable CPU info: CPU doesn't have compatibility.
0
Refer to http://libvirt.org/html/libvirt-libvirt-host.html#virCPUCompareResult
Traceback (most recent call last):
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/virt/libvirt/driver.py", line 9636, in check_can_live_migrate_destination
self._compare_cpu(None, source_cpu_info, instance)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/virt/libvirt/driver.py", line 10013, in _compare_cpu
raise exception.InvalidCPUInfo(reason=m % {'ret': ret, 'u': u})
nova.exception.InvalidCPUInfo: Unacceptable CPU info: CPU doesn't have compatibility.
0
Refer to http://libvirt.org/html/libvirt-libvirt-host.html#virCPUCompareResult
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_messaging/rpc/server.py", line 165, in _process_incoming
res = self.dispatcher.dispatch(message)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_messaging/rpc/dispatcher.py", line 309, in dispatch
return self._do_dispatch(endpoint, method, ctxt, args)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_messaging/rpc/dispatcher.py", line 229, in _do_dispatch
result = func(ctxt, **new_args)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/exception_wrapper.py", line 65, in wrapped
with excutils.save_and_reraise_exception():
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_utils/excutils.py", line 227, in exit
self.force_reraise()
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_utils/excutils.py", line 200, in force_reraise
raise self.value
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/exception_wrapper.py", line 63, in wrapped
return f(self, context, *args, **kw)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/compute/utils.py", line 1439, in decorated_function
return function(self, context, *args, **kwargs)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/compute/manager.py", line 213, in decorated_function
with excutils.save_and_reraise_exception():
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_utils/excutils.py", line 227, in exit
self.force_reraise()
File "/var/lib/kolla/venv/lib/python3.10/site-packages/oslo_utils/excutils.py", line 200, in force_reraise
raise self.value
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/compute/manager.py", line 203, in decorated_function
return function(self, context, *args, **kwargs)
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/compute/manager.py", line 8438, in check_can_live_migrate_destination
dest_check_data = self.driver.check_can_live_migrate_destination(ctxt,
File "/var/lib/kolla/venv/lib/python3.10/site-packages/nova/virt/libvirt/driver.py",
Nikolay
мы тут не понимаем как версию ядра посмотреть
Oleg
это кондуктор ругается
P
(kolla) root@kolla:/etc/kolla# openstack flavor list
+------+---------------+------+------+-----------+-------+-----------+
| ID | Name | RAM | Disk | Ephemeral | VCPUs | Is Public |
+------+---------------+------+------+-----------+-------+-----------+
| auto | m1.extra_tiny | 1000 | 1 | 0 | 4 | True |
+------+---------------+------+------+-----------+-------+-----------+
m1.extra_tiny стандартный, емнип, так что никакой экзотики быть не должно там.
NS 🇷🇺
за логи в чат прям отдельный котел
Oleg
в libvirt логах только старые записи
Nikolay
вангую source_cpu_info - это cat /proc/cpu_info
Nikolay
намекаю на сделать diff этого на одном и другом гипере
Сергей
посмотри virsh capabilities в контейнере nova_libvirt, что будет в model
Oleg
вроде существенных различий нет
Nikolay
ну тогда реально процы по капибилитис с точки зрения оси одинаковые
Oleg
посмотри virsh capabilities в контейнере nova_libvirt, что будет в model
я не могу понять как найти конфиг виртуалки чтобы определить ее оборудование
Сергей
я не могу понять как найти конфиг виртуалки чтобы определить ее оборудование
пришли вывод команды:
docker exec -it nova_libvirt virsh capabilities | grep \<model\>
Oleg
пришли вывод команды:
docker exec -it nova_libvirt virsh capabilities | grep \<model\>
root@kolla1:/home/user# docker exec -it nova_libvirt virsh capabilities | grep \<model\>
<model>Cascadelake-Server-noTSX</model>
<model>none</model>
<model>dac</model>
Сергей
и посмотри что у тебя в /etc/kolla/nova-compute/nova.conf в [libvirt]/cpu_model
Nikolay
Проблема может выглядит похоже
Oleg
/etc/kolla/nova-compute/nova.conf я этот конф не создавал. просто globals.yaml заполнил и раскатал
Oleg
похоже надо либвирт дополнительно конфигурить?
Сергей
/etc/kolla/nova-compute/nova.conf я этот конф не создавал. просто globals.yaml заполнил и раскатал
я имею в виду на гипервизорах, у тебя туда должна была приехать конфигурация
Nikolay
Не нужно
Oleg
а точно
Oleg
щас
Oleg
и посмотри что у тебя в /etc/kolla/nova-compute/nova.conf в [libvirt]/cpu_model
там вообще нет такой записи
Oleg
[libvirt]
connection_uri = qemu+tcp://10.254.60.111/system
live_migration_inbound_addr = 10.254.60.111
virt_type = kvm
[upgrade_levels]
compute = auto
Oleg
поставить и заново переконфигурить?
Сергей
попробуй руками добавить, рестартануть контейнеры, и проверить миграцию
Сергей
Oleg
cpu_model = Cascadelake-Server-noTSX,
Сергей
без запятой в конце
Oleg
Чет после этой настройки совсем все плохо стало
Oleg
Инстансы на операциях зависают
Oleg
Завтра ещё поразбираюсь...
Oleg
Щас у меня инстансы неработают, парочка была зависших я с ними ниче не смог сделать грохнул с опцией форс создал новый он у меня висит в статусе билдинг
Oleg
Щас убежал с работы завтра попробую опцию убрать проверить логи посмотреть