« Rev
@openstack_ru   659
Fwd »


J
Создаешь виртуалку заметив для себя время, а потом в логе nova-scheduler смотри всё что есть начиная со времени создания виртуалки.
Zloi
в принципе смотреть можно на любом хосте где запущен контейнер с nova-scheduler или только на определенном?
J
в принципе смотреть можно на любом хосте где запущен контейнер с nova-scheduler или только на определенном?
На одном из них. На каком ты заранее не узнаешь, поэтому тебе выше и советовали стопнуть все экземпляры nova-scheduler крмое одного.
Jain
Там вчера гдето лог у вас был что "kvm" не найдет на хостах
Zloi
На одном из них. На каком ты заранее не узнаешь, поэтому тебе выше и советовали стопнуть все экземпляры nova-scheduler крмое одного.
Остановил контейнеры nova-scheduler на всех нодах кроме одной. Снял полный лог создания инстанса. https://pastebin.com/K3FKTNAx
Zloi
с включенным дебагом
Ilya
Шедулер выбрал server2. А дальше нова-компьют попытается запустить ВМ на нём - включай дебаг там, удаляй и пересоздавай ВМ такую же. Она должна туда же заплейситься. И отправляй лог нова-компьют
Ilya
там после того как шедулер отрабатывает, есть хитрый код, который генерит xml и он получает дополнительные параметры с конкретного гипера
Zloi
Пытался на pastebin выложить но он мне почему то не разрешил ссылаясь на какие то фильтры .. Записал в файл.. Лог nova-compute ... Вот там уже ошибки имеются. Лог в файле
Monsieur
у nova есть права на запись в директорию /var/lib/nova/instances/ ?
Zloi
Да ls -lah /var/lib/nova/ итого 12K drwxrwxr-x 3 nova nova 4,0K июл 31 14:41 . drwxr-xr-x 37 root root 4,0K авг 4 12:54 .. drwxr-xr-x 2 nova nova 4,0K авг 20 09:39 instances
Monsieur
а далее? по пути на который nova в логи брюзжит
Monsieur
на console.log vm
Zloi
Да .. там есть разрешение на запись.. но самого console.log нет ls -lah /var/lib/nova/instances/ итого 8,0K drwxr-xr-x 2 nova nova 4,0K авг 20 09:39 . drwxrwxr-x 3 nova nova 4,0K июл 31 14:41 ..
Zloi
инстанс то сам не создался получается.. соответственно и нет console.log
Ilya
теперь время взять из лога xml с определением ВМ и руками попробовать создать ВМку
Ilya
И посмотреть, а места достаточно в этой папке
Ilya
Еще лог /var/log/libvirt/.... может помочь
Jain
все логи в kolla-ansible он в свою папку /var/log/kolla пишет. и xml/console.log в instances тоже кудато себе пишет. Посмотрите через docker inspect <kolla-nova-container> что/куда оно маунтит
Dmitry
Для тех, кто говорит по-англицки, использует ironic и имеет, что сказать: http://lists.openstack.org/pipermail/openstack-discuss/2021-August/024554.html
Я и твой кот
Интересно, чем деплоят бареметалы aws, gcp, azure, и всякие крупные пользователи бареметалов…
Dmitry
Дмитрий, а раскатка образов по torrent протоколу – померла идея?
Ага. Нужен кто-то, кто будет двигать дальше.
Dmitry
Интересно, чем деплоят бареметалы aws, gcp, azure, и всякие крупные пользователи бареметалов…
Вангую, что своими велосипедами, учитывающими 100500 местных нюансов.
Я и твой кот
Ага. Нужен кто-то, кто будет двигать дальше.
Эх. У меня лапки. Может следующего работодателя уговорю вложиться. Посмотри на Luna: https://github.com/dchirikov/luna Раскатывает в 1Gbit/s сети кластер из 72 нод образами размером по 1GB за 4 минуты. За ЧЕТЫРЕ, мать-их, МИНУТЫ!
Я и твой кот
300 нод за 5 минут.
Dmitry
Ну тут есть вопросы к тестированию. Если у тебя ironic в режиме fast-track, он тебе тоже раскатает, делов-то. HTTP тоже быстрый протокол.
Dmitry
Только если у тебя сервера выключены, они 5 минут только грузиться будут.
Я и твой кот
Ну это явно чистое время от pxe до начала ребута.
Я и твой кот
«This includes BIOS POST procedures and all starting systemd services.»
Я и твой кот
:?
Dmitry
Малореально. Я слышал про сервера, которые 30+ минут только POST проходят.
Dmitry
Наш агент, в принципе, можно было бы оптимизировать, но POST у тебя всегда останется, и он у деллов, например, некислый.
Я и твой кот
Малореально. Я слышал про сервера, которые 30+ минут только POST проходят.
Да. Если много контроллеров стоит, и многосокетовое. И какая-нибудь проверка оперативы включена.
Dmitry
Ага, у них там террабайты оперативы. Но и без таких приколов те же деллы небыстрые.
Dmitry
От скачивания 300 файлов? Ну, если у тебя на домашнем свитче сетка, то да. Но там удачи с TFTP, вообще говоря.
Dmitry
От запихивания скриптов в initramfs мы сознательно отказались, кстати, хотя это и быстрее. Отлаживать их потом - ну такое.
Я и твой кот
Ты когда включаешь 70 нод, они одновременно по pxe тянут ведро, инитрд, и всё остальное на 1GB. 70GB по 1Gbit/s – это 10 минут.
Я и твой кот
300 нод - 40 минут.
Dmitry
Ну да, может быть торрент слегка помог бы. Но на 300 нодах у тебя DHCP будет головняком, а не скорость скачивания.
Anton
Делается за 5 минут на винде
Я и твой кот
Ну да, может быть торрент слегка помог бы. Но на 300 нодах у тебя DHCP будет головняком, а не скорость скачивания.
А dhcp то что? Типичное офисное доковидное утро в /23 сети. Виндовый dhcp даже не пикнет.
Dmitry
Если там один broadcast-домен, начинаются глюки. Если нет, то развлечения с dhcp-relay.
Dmitry
Ага, только я видел железки, которые пугаются и не принимают DHCPOFFER.
Dmitry
Вот ты им оффер, а они молчок. Только под нагрузкой причём. И на QEMU я такое видел.
Я и твой кот
Не знаю… когда-то обслуживал очень большие dhcp серверы, проблем не видел.
Dmitry
Ну то, что TFTP будет пакеты терять, я молчу.
Dmitry
У нас тут из CERN жалуются, что у них IPMI пакеты теряет только в путь под нагрузкой.
Dmitry
Но, если что, я не спорю, торренты было бы круто запилить.
Anton
TFTP Будет терять пакеты в пределах одного-двух коммутаторах с 10Гбит интерконнектом?
Anton
на /23 сети
Dmitry
Утверждают, что IPMI, лично не проверял.
Anton
однако, это уметь надо так сеть настроить
Dmitry
IPMI на UDP, да.
Я и твой кот
¯\_(ツ)_/¯
Dmitry
Дык они настраивают, а баги идут нам...
Dmitry
Короче, если кто захочет покодить на тему торрентов - пишите. Помогу, чем смогу :)
Я и твой кот
Дык они настраивают, а баги идут нам...
Ну пусть на uefi http boot/redfish http boot перейдут, если сервакам лет 5-7 и меньше.
Dmitry
А к теме потери пакетов, вы, товарищи, забываете, каким место пишется firmware, что для BMC (IPMI/Redfish), что для PXE/UEFI :)
Dmitry
У каких-то деллов, уж не помню каких, но не древних, лочился BMC, если ему слишком много IPMI пакетов послать. Слишком много - это несколько в секунду.
Dmitry
У нас в коде из-за этого очередь для IPMI имеется.
Dmitry
Или вот какая красота: https://bugzilla.redhat.com/show_bug.cgi?id=1968513
Dmitry
Принято.
Там первым делом даже не кодинговая работа, надо оживить https://review.opendev.org/c/openstack/ironic-specs/+/311091, приведя к современным реалиям (deploy steps, все дела).
Fedor
Для тех, кто говорит по-англицки, использует ironic и имеет, что сказать: http://lists.openstack.org/pipermail/openstack-discuss/2021-August/024554.html
ну там про боли сборки рейда, обновления firmware, а также делл lifecycle контроллер кто-нибудь однозначно расскажет. ещё боль есть в том, что надо за обновлениями успевать))
Dmitry
Блин, я понимаю кодить долго и больно, но 5-минутную тираду на языке Шекспира можно же выдать! :)
Alex
Блин, я понимаю кодить долго и больно, но 5-минутную тираду на языке Шекспира можно же выдать! :)
Кодить как раз просто Вот думать перед тем как кодить И после того как накодил И объяснять что ты сделал - вот это не каждый может, хочет, способен, считает нужным делать
Stepan T.
Коллеги, добрый день. Запутался с сетевой частью. Поставил с помощью kolla-ansible OpenStack. Запустил инициирущий скрипт, который вытянул образ Cyrrus и сконфигурировал наборы ресурсов для включения образа. Пытаюсь понять, как выпустить инстанс из сети в OpenStack в интернет. Попробовал разные комбинации сетей, подсетей и маршрутизаторов. Нет понимания, как выпустить внаружу виртуалку.
« Rev
@openstack_ru   659
Fwd »