« Rev
@openstack_ru   903
Fwd »


Tekitai
И ясное дело не получает
Tekitai
Прикольно. А как понять какие имена physnet’ов опенстак выдал интерфейсам ? Что бы назначить его для mgmt интерфейса
Tekitai
Или обязательно лезть в опенвсвитч ?
Vyacheslav
Там всё просто 1 порт = physnet1
Илья | 😶☮️🐸
маппинг
Илья | 😶☮️🐸
Там всё просто 1 порт = physnet1
или влан*
Vyacheslav
Прозрачный
Vyacheslav
И очевидный
Tekitai
У нас такой сетап в колле что там всего два физических интерфейса используется. eno1 и eno2. Первый для стораджа и связи хостов( они и указаны как нетворк интерфейсы для апи, Октавии и тд.) а eno2 это то что использует нейтрон, там публичная сетка и выход в интернет. Вот когда настраивал доступ к публичной сетке то для нее выставлял режим флат, и там как раз physnet1 стоит. Однако как сейчас завернуть на eno1 mgmt сетку не совсем понимаю. Пробовал уже physnet2
Aleksander baltazor
Хеллоу. Пытаюсь тут заставить работать masakari и столкнулся с странной проблемой: 2022-12-28 21:18:37.334 7 WARNING masakarimonitors.hostmonitor.host_handler.handle_host [-] 'hostname' is unstable state on cluster.: oslo_concurrency.processutils.ProcessExecutionError: Unexpected error while running command. 2022-12-28 21:18:37.334 7 WARNING masakarimonitors.hostmonitor.host_handler.handle_host [-] hostmonitor skips monitoring hosts. 2022-12-28 21:20:08.527 7 WARNING masakarimonitors.hostmonitor.host_handler.handle_host [-] Exception caught: Unexpected error while running command. Command: crmadmin -S hostname Exit code: 124 Stdout: '' Зашел в докер контейнер docker exec -i -t hacluster_pacemaker /bin/bash пробую: crmadmin -V -S hostname error: No reply received from controller before timeout (30000ms) error: Command failed: Connection timed out Собственно вопрос, кто то такое ловил?
Aleksander baltazor
в Kolla globals.yml enable_hacluster='yes'
Dmitry
$ openstack server add floating ip custom-web-server 10.0.0.168 HttpException: 500: Server Error for url: http://10.0.0.150:9696/v2.0/floatingips/0c11c5bd-cfd5-4944-8e6c-1c9c1444fa3d, Request Failed: internal server error while processing your request. Куда посмотреть?
Pavel
Всё про нейтрон
Dmitry
В логи...
спасибо, догадывался, в какие?
Dmitry
Всё про нейтрон
а, ясно, спасибо
Dmitry
Подскажите, верно ли просуммировал итоговый пайплайн по Ironic, в случае если у сервера нет ipmi/ilo: 1. Дёргается питание по PDU (snmp драйвер) 2. Сервер стартует, стучится в PXE 3. Ironic отдаёт iPXE 4. Проходит загрузка с образа (вероятно, это dd из qcow2 (?) или raw (?) образа) 5. После "прожига" диска снова дёргается по питанию PDU, сервер стартует 6. Не видит PXE и после таймаута загрузки с PXE грузится с локального диска 7. Получает метадату и cloud-init уже раскатывает настройки Тут появляется 2 критически важных момента: 1 .как быть с софтовым рейдом ? Оно разве не как-то в образе должно быть зашито, чтобы затем fstab корректно сработал ? Разворачивать каждый раз из чистой установки (iso + kickstard/anakonda - дело не благодарное, имхо) 2. Авторесайз root раздела через cloud-utils-growpart (проканает ли это в случае с бареметалом ?)
1) Можно в образе зашить, можно через ironic. 2) Работает, хотя может зависеть от твоего RAIDа. Подробнее могу в январе ответить - с телефона не оч.
Илья | 😶☮️🐸
Чаще используют HWraid для /
как бы да, но не во всех случаях, когда у тебя управление идет по snmp 🙂
NS 🇷🇺
Чаще используют HWraid для /
Будь мужиком, загружайся в память
Vyacheslav
Кто-то разбирался может быть: В либвирт есть сетевой интерфейс, который находится в гипервизоре - трафик который туда приходит считается теме же процессорами что и нагрузка для VM? С включенным Allocate multiple rx/tx queues видим нагрузку в VM по CPU значительно меньше, чем её считает libvirt https://www.linux-kvm.org/page/Multiqueue
Ilya
Кто-то разбирался может быть: В либвирт есть сетевой интерфейс, который находится в гипервизоре - трафик который туда приходит считается теме же процессорами что и нагрузка для VM? С включенным Allocate multiple rx/tx queues видим нагрузку в VM по CPU значительно меньше, чем её считает libvirt https://www.linux-kvm.org/page/Multiqueue
видимо речь про сетевой интерфейс вм в qemu. насколько я понимаю, трафик обрабатывается одним из тех же прцов, которые обслуживают и вм. однако если прцессоры вм не прибиты к конкретным прцессорам гипера, то шедулер ос гипера выбирает процы из своего пула и они могут меняться
Ilya
Более точно — есть потоки в рамках процесса ВМки - которые выполняют напрямую на физическом ядре все инструкции, доступные из VMX non-root operation - это те потоки, которые представляют vCPU. Но кроме этого, есть куча отдельных потоков. Они реализуют работу внешних устройств QEMU. Поэтому твой вопрос со звёздочкой :) Вот для примера потоки для ВМки: 1859036 1859036 ? 00:00:28 qemu-kvm 1859036 1859045 ? 00:00:00 qemu-kvm 1859036 1859046 ? 00:00:00 log 1859036 1859047 ? 00:00:00 msgr-worker-0 1859036 1859048 ? 00:00:00 msgr-worker-1 1859036 1859049 ? 00:00:00 msgr-worker-2 1859036 1859054 ? 00:00:00 service 1859036 1859055 ? 00:00:00 qemu-kvm 1859036 1859056 ? 00:00:00 ms_dispatch 1859036 1859057 ? 00:00:00 ms_local 1859036 1859058 ? 00:00:00 safe_timer 1859036 1859059 ? 00:00:00 fn_anonymous 1859036 1859060 ? 00:00:00 safe_timer 1859036 1859061 ? 00:00:00 safe_timer 1859036 1859062 ? 00:00:00 fn-radosclient 1859036 1859063 ? 00:00:00 tp_librbd 1859036 1859064 ? 00:00:00 safe_timer 1859036 1859065 ? 00:00:00 safe_timer 1859036 1859066 ? 00:00:00 taskfin_librbd 1859036 1859067 ? 00:00:00 fn_anonymous 1859036 1859068 ? 00:00:00 flusher 1859036 1859071 ? 00:00:00 IO mon_iothread 1859036 1859072 ? 00:00:05 CPU 0/KVM 1859036 1859073 ? 00:00:01 CPU 1/KVM 1859036 1859075 ? 00:00:00 vnc_worker 1859070 1859070 ? 00:00:00 vhost-1859036
Ilya
Видно, что есть два потока, которые соответсвуют vCPU: 1859036 1859072 ? 00:00:05 CPU 0/KVM 1859036 1859073 ? 00:00:01 CPU 1/KVM
Ilya
При грубом приближении: если что-то должна сделать виртуальная сетевая карта - отправить данные из буфера или принять в буфер - это делает один поток, а если ядро ОС внутри ВМ перекладывает данные между стеком протоколов - это делается на потоках, представляющих vCPU (естесственно, для команд, доступных в режиме VMX non-root operation)
Илья | 😶☮️🐸
чувоки, а что скажете по этой баге: https://bugs.launchpad.net/nova/+bug/1350857 Сейчас в libvirt драйвере этого параметра нет, а при миграции qcow2 с локальными дисками как-то размеры распухают нехило
Илья | 😶☮️🐸
так возьми да почини, делов на 20 минут - вошел и вышел
наааааахер, я уже пробовал QoS починить, перебрав кучу методов и версий ядра, оказывается бага была в самом OvS
Weird
в мейнстрим коммитить это вам не это
Ilya
Меня пока удивляет такой разлёт показателя использования CPU в VM и из libvirt exporter - не похоже что это баг у либвирта, но хотелось понять что считает дополнительного libivrt, и не показывается VM
Насколько я знаю, сам либвирт позволяет получить cpu time, system time и user time. Кто то еще usage пересчитывает. В общем пахнет небольшим исследованием, почему так происходит.
Ilya
А какими экспортерами вы пользуетесь для сбора статистики ( как изнутри вм так и из либвирта) ?
Илья | 😶☮️🐸
eto ti
Vyacheslav
Насколько я знаю, сам либвирт позволяет получить cpu time, system time и user time. Кто то еще usage пересчитывает. В общем пахнет небольшим исследованием, почему так происходит.
Но что точно - это не ошибка, т.к. Если грузить проц, то всё тождественно. Пробовали мигрировать, рябилд делать - разница сохраняется
Alexey
С Новым годом 🎉🎊🎁🎄 Коллеги !!! Ура ура ура
Mr.Smith
Dmitry
Да-да, всех с Новым Годом! А где бы уточнить почему не могу создать сервер: {"code": 500, "created": "2023-01-01T18:28:56Z", "message": "No valid host was found
Dmitry
ну так в дебаге и смотрю, в деталях вижу только питоновские ошибки
Dmitry
Ничего там не видно в дебаге. Нашел дедуктивным методом: flavor по диску был больше, чем есть места на компьютах
Ilya
Node exporter (1.5.0) Libvirt exporter который из yoga
Как я понимаю, libvirt экспортер использует GetVcpus из либы для работы с либвиртом на Go , которая дёргает либвиртовую virDomainGetVcpus. Если пролезть по коду, то увидим, что дёргается либвиртовая virProcessGetStatInfo(&vcpuinfo->cpuTime,NULL, NULL,&vcpuinfo->cpu, NULL,vm->pid, vcpupid) Ну а vcpupid - это tid (id потока) Резюме: судя по коду экспортер libvirt берёт в качестве cputime для виртуального проца время, которое проработал на реальном процессоре поток, представляющий виртуальный процессор.
Ilya
Первое, что можно сделать - последить за временем, которое проработал поток виртуального процессора на реальном проце. Посчитать утилизацию и сравнить с тем, что выдаёт экспортер для этого же vCPU.
Ilya
Как вариант (теоретический), user time данного потока будет равен тому, что мы видим как processor time изнутри ВМки, а system time потока - это оверхеад, который не видно изнутри ВМ. Например из-за частого выполнения VM_entry /VM_exit. Частые прерывания на ввод/вывод например.
Vyacheslav
Спасибо, у нас идеи в том же русле, вот только не ясно как отделить одно от другого
Сергей
Добрый день! Совсем зелёный в openstack, так что если вопрос тупой - прошу не серчать Проблемы с сетью судя по всему при первоначальной установке ========= Окружение: Ubuntu 20.04 Установка через devstack ========= Ошибка: +lib/neutron_plugins/ovn_agent:start_ovn:720 sudo ovn-nbctl --db=unix:/var/run/ovn/ovnnb_db.sock set-connection ptcp:6641:0.0.0.0 -- set connection . inactivity_probe=60000 ovn-nbctl: unix:/var/run/ovn/ovnnb_db.sock: database connection failed (No such file or directory) Так же ls -la показывает что файл существует Файл local.conf прикладываю Файл world дампа тоже прикладываю
Илья | 😶☮️🐸
с моего опыта помню что девстак после ребута ломался и потом не запускался вовсе корректно
Сергей
Нет, пытаюсь как раз поставить devstack, это не повторный запуск
Сергей
Сергей
HOST_IP=192.168.1.150 SERVICE_HOST=192.168.1.150 MYSQL_HOST=192.168.1.150 RABBIT_HOST=192.168.1.150 GLANCE_HOSTPORT=192.168.1.150:9292 ADMIN_PASSWORD=secret DATABASE_PASSWORD=secret RABBIT_PASSWORD=secret SERVICE_PASSWORD=secret ## Neutron options Q_USE_SECGROUP=True FLOATING_RANGE="192.168.1.0/24" IPV4_ADDRS_SAFE_TO_USE="10.0.0.0/22" Q_FLOATING_ALLOCATION_POOL=start=192.168.1.10,end=192.168.1.20 PUBLIC_NETWORK_GATEWAY="192.168.1.1" PUBLIC_INTERFACE=eth0 # Open vSwitch provider networking configuration Q_USE_PROVIDERNET_FOR_PUBLIC=True OVS_PHYSICAL_BRIDGE=br-ex PUBLIC_BRIDGE=br-ex OVS_BRIDGE_MAPPINGS=public:br-ex
Сергей
Сергей
Права на файл, selinux
sestatus: command not found
Сергей
файла /etc/selinux/config тоже нет
NS 🇷🇺
файла /etc/selinux/config тоже нет
Наверное потому что убунту 🤣
Сергей
На centos поднимать?
NS 🇷🇺
Зачем?
Сергей
Наверное потому что убунту 🤣
Насколько знаю в убунте selinux не стоит
NS 🇷🇺
Не берите devstack
Сергей
Какой метод тогда посоветуете? microstack?
NS 🇷🇺
На толстый kolla all-in-one
Сергей
Спасибо,займусь
Сергей
Насчёт kolla all in one Можете подсказать насчёт сетей Судя из оф доки необходимо два интерфейса network interface neutron_external_interface У первого интерфейса мы указываем все настройки и его ip является основным адресом,в том числе по нему мы попадаем на web Второй же интерфейс необходим для бриджа вм в внешнюю сеть, но если я правильно понял то этот интерфейс голый,без каких либо настроек Вопрос - как openstack поймёт какая сеть используется в сети к которой подключен второй интерфейс?
Сергей
Они и так не железные,внутри гипервизора экспериментирую либо не правильно правильно понял ответ
Сергей
Фигню сказал,понял что имелось ввиду Но всё равно не очень понимаю как должен быть настроен второй интерфейс
Weird
Нет, пытаюсь как раз поставить devstack, это не повторный запуск
можно попробовать сказать ему unstack и clean, проверить что файла нет и снова попробовать поставить
Weird
не, stack.sh, unstack.sh, clean.sh
« Rev
@openstack_ru   903
Fwd »