Привет! Хочу настроить flavor таким образом, что бы инстансы с shared ядрами разворачивались строго на одной NUMA-ноде. Добавляю параметр hw:numa_nodes=‘1’ во flavor, это начинает работать, но все инстансы создаются исключительно в NUMA 0. Не могу нигде найти как сделать что бы инстансы распределялись равномерно между нодами.

Судя по The N parameter is an index of guest NUMA nodes and may not correspond to host NUMA nodes. For example, on a platform with two NUMA nodes, the scheduler may opt to place guest NUMA node 0, as referenced in hw:numa_mem.0 on host NUMA node 1 and vice versa. Similarly, the integers used for FLAVOR-CORES are indexes of guest vCPUs and may not correspond to host CPUs. As such, this feature cannot be used to constrain instances to specific host CPUs or NUMA nodes. Это некий порядковый норме. А всем ВМ хватило места на всех узлах в пределах numa? Есть вариант что шедулер проходит сначала по нудевой нума всех хостов, потом по первой и т.д.

numa_topology_filter включен?

Привет! Хочу настроить flavor таким образом, что бы инстансы с shared ядрами разворачивались строго на одной NUMA-ноде. Добавляю параметр hw:numa_nodes=‘1’ во flavor, это начинает работать, но все инстансы создаются исключительно в NUMA 0. Не могу нигде найти как сделать что бы инстансы распределялись равномерно между нодами.

Привет! Хочу настроить flavor таким образом, что бы инстансы с shared ядрами разворачивались строго на одной NUMA-ноде. Добавляю параметр hw:numa_nodes=‘1’ во flavor, это начинает работать, но все инстансы создаются исключительно в NUMA 0. Не могу нигде найти как сделать что бы инстансы распределялись равномерно между нодами.

Пропихиваю фикс, с трудом получается

С виду отлично решение. Исползуете в проде?

С виду отлично решение. Исползуете в проде?

Нет пока. У нас острота немного спала, когда отключили сабнумы на хостах. Осталось по две ноды на хост. Ну и топологии ВМ с 4 нума нодами убрали. Поэтому фикс не применяли.

большие странички динамические или статические ?

А память для нумы вы как настраивать собираетесь ?

Пропихиваю фикс, с трудом получается

Ну если динамические, то не вижу препятствий, чтобы сабнумы включить и равномерно размазать.

А вы в итоге почему решили откзаться от сабнум?

У нас статическая память, поэтому слишком много надо учитывать - контейнеры с опенстечными сервисами эту память не могут использовать. И слишком много плясок с бубном чтобы балансировать свободную память вне больших страниц для контейнеров, сервисов хостов и т.д.

Почитав этот гайд, я все больше скланяюсь к тому, что для shared vcpu варинты оптимизации по NUMA только связывают руки. Планировщик ядра отлично распределяет задачи по ядрам и старается запускать их на тех NUMA нодах, где лежат данные. В наших тестах есть не большой прирост от того, что VM лежат на одной ноде, но этот прирост в рамках погрешности и на своершенно пустых гипервизорах. Я не уверен, что такой же прирост сохранится, когда на хосте будет 50-100 ВМ с разным типом нагрузки.

Почитав этот гайд, я все больше скланяюсь к тому, что для shared vcpu варинты оптимизации по NUMA только связывают руки. Планировщик ядра отлично распределяет задачи по ядрам и старается запускать их на тех NUMA нодах, где лежат данные. В наших тестах есть не большой прирост от того, что VM лежат на одной ноде, но этот прирост в рамках погрешности и на своершенно пустых гипервизорах. Я не уверен, что такой же прирост сохранится, когда на хосте будет 50-100 ВМ с разным типом нагрузки.

У нас ещё и проблемы были с тем, что одна нума нода (нулевая) усиленно забивалась, остальные были свободные, и виртуалка с 4 нума доменами запуститься уже не могла. Сервер выпадал из работы.

У нас ещё и проблемы были с тем, что одна нума нода (нулевая) усиленно забивалась, остальные были свободные, и виртуалка с 4 нума доменами запуститься уже не могла. Сервер выпадал из работы.

А при каких условиях у вас это было? То есть какие параметры использовались?

А это как раз в рамках фикса и решается, но мы из-за отключения сабнум пока не применяли его

О чём именно вопрос? 4 нума домена (два проца, субнумы). Много виртуалок. Нагруженый гипер

=4

Если =4, то не понимаю в чем может быть проблема, ВМ равномерно распределяется на 4 ноды. VCPU CPU Affinity ---------------------- 0 0-11,48-59 1 0-11,48-59 2 0-11,48-59 3 0-11,48-59 4 0-11,48-59 5 0-11,48-59 6 12-23,60-71 7 12-23,60-71 8 12-23,60-71 9 12-23,60-71 10 12-23,60-71 11 12-23,60-71 12 24-35,72-83 13 24-35,72-83 14 24-35,72-83 15 24-35,72-83 16 24-35,72-83 17 24-35,72-83 18 36-47,84-95 19 36-47,84-95 20 36-47,84-95 21 36-47,84-95 22 36-47,84-95 23 36-47,84-95

были маленькие вм с одной нодой и жирненькие - на 4 ноды. Маленькие забивали нулевую, а после этого жирненькие на хост не могли залезть

камрады! а подскажите плиззз, по поводу resize существующих инстансов через новый flavor. делаю через horizon, пишет, что всё ок, но по факту ничего не меняется. релиз стека - виктория

numastat -m что говорит? Есть место в доменах?

А флейвор на сколько доменов? Там есть параметр hw:numa_nodes?

NUMATopologyFilter фильтр говорит что тачка не подходит, но как он это высчитал?

Ещё у вас может быть в настройках nova-compute какие-то ядра быть зарезервированы за системой: [compute] cpu_dedicated_set=2-17 cpu_shared_set=18-47

ITkey ищет DevOps’а со знанием OpenStack’а под какой-то проект с Mirantis. Удалёнку поддерживают.

ITkey ищет DevOps’а со знанием OpenStack’а под какой-то проект с Mirantis. Удалёнку поддерживают.

а $20k будет ?

ITkey ищет DevOps’а со знанием OpenStack’а под какой-то проект с Mirantis. Удалёнку поддерживают.

Похоже я догадываюсь под какой. :)

Что-то там про online travel вроде сказали. Я так и не понял. Название клиента не упомянули.

А, значит это другое. Что ж.

А что ещё есть?

Ну это отдельная тема. :) Гораздо важнее, что ребята в иткей хорошие, профессиональные. Неплохой вариант, если предлагают.

Золота мало. Европейскую зп в России не предложат.