надо что бы работало и не падало

Т.е. сделать все чтобы не быть готовым к аварии?

если нет учений то никто не знает что делать

а вм в этом же проекте?

а вм в этом же проекте?

Да, там единственный проект

а вм в этом же проекте?

в порт лист вроде нет привязки к проектам -) но да первым делом тоже об этом подумал

еще домены можны проверить

Я штатные средства уже попробовал, хоть и не настоящий сварщик) Поэтому и спрашиваю у знающих...

какой проект и домен в терраформе ?

и сравните их с теми что вы используете при port list

какой проект и домен в терраформе ?

в настройках провайдера указаны только регион RegionOne и tenant_name admin, то есть умолчальные, насколько я понимаю

еще домены можны проверить

openstack domain list/openstack domain show ничего похожего на айпишники не возвращает

нет там не ip шники а разные домены

просто может быть так что там несколько доменов

терраформ работает с одним а openrc настроен на другой

и тогда ресуры будут не видны

ага... сейчас гляну, спасибо

https://docs.openstack.org/python-openstackclient/pike/cli/command-objects/port.html

[--project <project> [--project-domain <project-domain>]]

вот в эту сторону покапай

[--project <project> [--project-domain <project-domain>]]

Да, я понял. Нифига, проект и домен стандартные: admin и Default. Одинаковые в openrc и терраформе

а сейчас воспроизводится ?

более точные логи и так далее

а сейчас воспроизводится ?

угу

просто тогда мыслей уже нет, надо смотреть

более точные логи и так далее

знать бы, какие именно логи и "и так далее" смотреть)

ну сейчас тераформ ругается ?

ну сейчас тераформ ругается ?

Вот прямо сейчас успешно создал терраформом инстанс с неиспользованным айпишником, закомментил его в коде, применил терраформ, то есть удалил инстанс, раскомментил, применил, то есть попытался создать — терраформ думал 5,5 минут, создавая, потом отвалился как обычно с ошибкой Error: Error waiting for instance (37492159-90f1-462c-8825-64982d4f05cc) to become ready: unexpected state 'ERROR', wanted target 'ACTIVE'. last error: %!s(<nil>) openstack server show показывает ошибку: nova.exception.BuildAbortException: Build of instance 37492159-90f1-462c-8825-64982d4f05cc aborted: Failed to allocate the network(s), not rescheduling.

странно

на компьюте что-то в логе есть интересное ?

а руками openstack port create для этой же сети и ипшника получается создать ?

на компьюте что-то в логе есть интересное ?

а как понять, на какой ноде смотреть? компьют на всех трех нодах стоит

а как понять, на какой ноде смотреть? компьют на всех трех нодах стоит

1. Попробовать через терраформ указать хост для создания (опенстак позволяет это) 2. Отключить два других узла и попробовать создать (открыть лог при этом от новы)

а руками openstack port create для этой же сети и ипшника получается создать ?

ага, получается

а руками openstack port create для этой же сети и ипшника получается создать ?

Вообще, может я что-то упускаю, и нужно создавать сеть, подсеть, порт (прямо специально) и в инстансе указывать этот порт, а не сеть с фиксированным айпишником?

ну значит в стеке оно реально освобождается, еще бы таймауты проверить. После того как тераформ заругается сразу сделать порт креэйт на тот ИП

так в тераформе посмотри там сеть создается или нет

сеть-то создается

я про явное создание порта в терраформе

хотя я пробовал и с ним — то же самое...

ну значит в стеке оно реально освобождается, еще бы таймауты проверить. После того как тераформ заругается сразу сделать порт креэйт на тот ИП

А что это даст?

1. Попробовать через терраформ указать хост для создания (опенстак позволяет это) 2. Отключить два других узла и попробовать создать (открыть лог при этом от новы)

1. для терраформ есть только scheduler_hints, а в них либо different_host, либо same_host. где можно прямо явно указать хост, я не нашел 2. а опенстек не сломается?)

1. для терраформ есть только scheduler_hints, а в них либо different_host, либо same_host. где можно прямо явно указать хост, я не нашел 2. а опенстек не сломается?)

ну отключить в плане компьют сервис вырубить

А, понял

openstack compute service --disable

1. Попробовать через терраформ указать хост для создания (опенстак позволяет это) 2. Отключить два других узла и попробовать создать (открыть лог при этом от новы)

а какой конкретно лог новы смотреть? компьют?

а какой конкретно лог новы смотреть? компьют?

tail -f /var/log/nova/nova-compute.log

ещё можно лог нейтрона глянуть заодно

neutron-server который

угу, я так и смотрел... тоже гляну, как сейчас создание зафейлится

tail -f /var/log/nova/nova-compute.log

Хм. Оно начало создаваться, потом задумалось и стало выдавать, начиная с такого: 2021-10-19 22:41:14.962 6 WARNING nova.virt.libvirt.driver [req-22334112-0412-4cb6-b90a-9827f8daf198 0360c73128dd4ee68f7e1bde53d89191 8250bcb308354086a283c55644dde488 - default default] [instance: ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446] Timeout waiting for [('network-vif-plugged', 'b08cf976-4623-40ef-bbb3-107ee1115db9')] for instance with vm_state building and task_state spawning.: eventlet.timeout.Timeout: 300 seconds 2021-10-19 22:41:15.391 6 INFO os_vif [req-22334112-0412-4cb6-b90a-9827f8daf198 0360c73128dd4ee68f7e1bde53d89191 8250bcb308354086a283c55644dde488 - default default] Successfully unplugged vif VIFBridge(active=False,address=fa:16:3e:81:67:4b,bridge_name='qbrb08cf976-46',has_traffic_filtering=True,id=b08cf976-4623-40ef-bbb3-107ee1115db9,network=Network(661d80e0-736b-4df4-a261-a4223a1a5186),plugin='ovs',port_profile=VIFPortProfileOpenVSwitch,preserve_on_delete=False,vif_name='tapb08cf976-46') 2021-10-19 22:41:15.395 6 INFO nova.virt.libvirt.driver [req-22334112-0412-4cb6-b90a-9827f8daf198 0360c73128dd4ee68f7e1bde53d89191 8250bcb308354086a283c55644dde488 - default default] [instance: ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446] Deleting instance files /var/lib/nova/instances/ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446_del 2021-10-19 22:41:15.397 6 INFO nova.virt.libvirt.driver [req-22334112-0412-4cb6-b90a-9827f8daf198 0360c73128dd4ee68f7e1bde53d89191 8250bcb308354086a283c55644dde488 - default default] [instance: ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446] Deletion of /var/lib/nova/instances/ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446_del complete 2021-10-19 22:41:15.510 6 ERROR nova.compute.manager [req-22334112-0412-4cb6-b90a-9827f8daf198 0360c73128dd4ee68f7e1bde53d89191 8250bcb308354086a283c55644dde488 - default default] [instance: ddaddbe2-09c1-43dc-b0f5-1c9a5de8b446] Instance failed to spawn: nova.exception.VirtualInterfaceCreateException: Virtual Interface creation failed

Может порт на компьюте остался

В логе neutron-server в момент создания вот что: 2021-10-19 22:36:34.271 29 ERROR sqlalchemy.pool.impl.QueuePool [req-547437ef-a93e-4ae6-9bf2-c03c5f593abf - - - - -] Exception during reset or similar: oslo_db.exception.DBConnectionError: (pymysql.err.OperationalError) (2013, 'Lost connection to MySQL server during query')

В логе neutron-server в момент создания вот что: 2021-10-19 22:36:34.271 29 ERROR sqlalchemy.pool.impl.QueuePool [req-547437ef-a93e-4ae6-9bf2-c03c5f593abf - - - - -] Exception during reset or similar: oslo_db.exception.DBConnectionError: (pymysql.err.OperationalError) (2013, 'Lost connection to MySQL server during query')

Вот и причина)

Вангую нужно количество коннектов увеличить)

Вангую нужно количество коннектов увеличить)

Если что, опенстек поднимался kolla-ansible, версия Train

может такое быть, что там по дефолту на 3 сервера мало коннектов?

может такое быть, что там по дефолту на 3 сервера мало коннектов?

кластер мускуля или один мастер ?

кластер мускуля или один мастер ?

галера из трех машин, этих же нод, на которых все остальное

Вот и причина)

На стороне мускуля: 2021-10-19 22:36:34 367833 [Warning] Aborted connection 367833 to db: 'neutron' user: 'neutron' host: 'server8' (Got an error reading communication packets)

На стороне мускуля: 2021-10-19 22:36:34 367833 [Warning] Aborted connection 367833 to db: 'neutron' user: 'neutron' host: 'server8' (Got an error reading communication packets)

ну теперь по мускулю работать надо

сервисы в норме

да кол-во коннектов к базе надо поднимать

угу... спасибо большое, Aleksandr, @frct1 )

sheeesh

да кол-во коннектов к базе надо поднимать

Вот это же max_connections = 10000?

ага

ну 10к это как-то перебор

ну 10к это как-то перебор

это дефолтное значение, причем захардкоженное в шаблоне коллы

мне тоже показалось многовато)

Попробуй подключиться в mysql как neutron

Может поймаешь в чем беда

И большой select выполни - если какие-то проблемы с mtu

Угу, завтра буду смотреть

Всем привет. Товарищи прошу поделится опытом и своим видением кто и как решает следующие задачи: 1. Биллинг клиентов. Каким софтом пользуетесь для решения этой задачи ? Гуглинг и общение указывают в основном на то что большинство пишут свои решения под себя. Есть у кого опыт использования готовых продуктов? 2. Тестирование компонентов стека перед обновлениями. В каком формате проводите тестирование и какими инструментами ? Понятное дело можно гонять ралли и тераформ. А как обстоят дела с функциональным тестированием , тесты пишем под себя и свои потребности ? Может есть какие то принятые практики ? Спасибо.

2. Есть tempest, например, под функциональное тестирование.

Всем привет. Товарищи прошу поделится опытом и своим видением кто и как решает следующие задачи: 1. Биллинг клиентов. Каким софтом пользуетесь для решения этой задачи ? Гуглинг и общение указывают в основном на то что большинство пишут свои решения под себя. Есть у кого опыт использования готовых продуктов? 2. Тестирование компонентов стека перед обновлениями. В каком формате проводите тестирование и какими инструментами ? Понятное дело можно гонять ралли и тераформ. А как обстоят дела с функциональным тестированием , тесты пишем под себя и свои потребности ? Может есть какие то принятые практики ? Спасибо.

1 обычно все пишут под свои требованиях 2 tempest там тестов на любой вкус

по билингу был как то у нас fleio но он платный и поддерживает билинг но в итоге отказались по ряду причин и написали свою билинг систему и юай с нуля)