nova не проходится по каждой ноде за дополнительными данными ?

Я считаю, примерно так нужно смотреть в порядке убывания вероятности: 1. Тормоза из-за медленных дисков в mariadb 2. Тормоза из-за сети\нехватки памяти в galera кластере, короче, из-за того что какой-то экземпляр базы остальные тормозит 3. Негодные настройки буферов или индексов в mariadb или использование MyISAM :D 4. Беда с дисками на серверах где rabbitmq 5. Неоптимальные настройки api сервисов. У нас было, например, такое что нейтрон выжирал кучу соединений, бросая их незакрытыми и поэтому mysql всё остальное нахуй слал, так как максимально разрешенное число соединений превышено.

проблема в том, что медленно выполняются большие запросы. (kolla-toolbox)[ /]# time openstack server list --all | wc -l 400 real 0m17.280s user 0m1.026s sys 0m0.236s (kolla-toolbox)[/]# time openstack server list | wc -l 5 real 0m1.738s user 0m0.727s sys 0m0.143s

Ну начни с того что запусти клиент с ключом --debug и посмотри к каким API консольный клиент обращается.

к нове он обращается server/detailed

и он медленно отвечает)

ничего, в логах пусто, нет медленных запросов

А какое у тебя время считается медленным? Прописал его в конфиге? И дебаг логирование во всех api включи. Они же логируют время выполнения всего что только можно.

в хорайзоне тоже самое

все таки, что можно сделать с самим апи сервиса, кроме изменения количества воркеров?

cinder с wsgi, но (kolla-toolbox)[ /]# time openstack volume list --all | wc -l 833 real 0m16.249s user 0m0.994s sys 0m0.212s

Ну не суетись. Я же раза три уже написал что для более-менее объективной оценки времени ответа API нужно не клиентом пользоваться, а вручную curl запустить или использовать какие-нибудь тестовые инструменты, которые обращаются за раз к одному API. python-openstackclient почти для всех list и show команд опрашивает сразу несколько сервисов чтобы тебе показать красивый вывод. И даже при прямом обращении к api один сервис у другого может инфу запрашивать.

я не очень хорошо понимаю, какие процессы порождает этот запрос curl -g -i -X GET http://api.cloud:8774/v2.1/ed4e285a4b1f4072ad5210e92dab4020/servers/detail?all_tenants=True -H " но проблема в нем

Думаю, первое чо надо сделать это перевести нову на uwsgi+nginx)

uwsgi+gevent(greeenlets, libevent)

Это public endpoint для nova-api.

это понятно) не понятно как локализовать запросы от новы к другим сервисам (к базе, нейтрону и т.д.), порожденные этим запросом

например?

я не очень хорошо понимаю, какие процессы порождает этот запрос curl -g -i -X GET http://api.cloud:8774/v2.1/ed4e285a4b1f4072ad5210e92dab4020/servers/detail?all_tenants=True -H " но проблема в нем

я так понял, что те запросы, которые создает нова к нейтрону например имеют свой айди

Да. Включи debug во всех api сервисах и увидишь подробности.

он включен и это прод) в логах очень много информаци, а os profiler не помог (или я не умею им пользоваться)

я пробовал os profiler но не отловил все запросы

1. запиши tcpdump и смотри потом в WireShark 2. если api без "баратеек" то оно работает в http сервере на sync воркере, а это pure python, где есть GIL и в целом куча проблем с блокировками, чтобы избежать - нужен сишный бакенд, желательно асинхронный. В противном случае у тебя снаружи летят реквесты в api, а питоний http сервер слюни пускает стоит и не может даже нормально сделать исходящий реквест. я тестил siege до gevent и после, разица на пару нолей))

а сколько по времени выполняется сам этот курл, если его руками выполнить а не опенстек-клиентом ?

Всем привет) Есть мысли о начале использования OpenStack, но несколько пугает его объемность Скажите, пожалуйста, насколько это stable решение и запускается ли оно из коробки без допилки напильником?) Или точно придётся потратить приличное количество времени, чтобы этот комбайн просто завезти хотя бы?

Всем привет) Есть мысли о начале использования OpenStack, но несколько пугает его объемность Скажите, пожалуйста, насколько это stable решение и запускается ли оно из коробки без допилки напильником?) Или точно придётся потратить приличное количество времени, чтобы этот комбайн просто завезти хотя бы?

хочется потыкать- девстак, вроде одним тыком работает

кто помнит, коэффициент переподписки в openstack hypervisor stats show отображается?

Всем привет) Есть мысли о начале использования OpenStack, но несколько пугает его объемность Скажите, пожалуйста, насколько это stable решение и запускается ли оно из коробки без допилки напильником?) Или точно придётся потратить приличное количество времени, чтобы этот комбайн просто завезти хотя бы?

https://www.openstack.org/blog/10-years-of-openstack-tim-bell-at-cern/