Логи нова шедулера в студию
Логи с control ноды:
admin@openstack-rnd03:~$ sudo grep -r req-cb34f66a-9676-4951-a99d-946abdae1e17 /var/log/kolla/
/var/log/kolla/nova/nova-conductor.log:2024-05-29 00:23:46.016 19 WARNING oslo_config.cfg [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] Deprecated: Option "api_servers" from group "glance" is deprecated for removal (
Логи с compute ноды:
admin@openstack-rnd02:~$ sudo grep -r req-cb34f66a-9676-4951-a99d-946abdae1e17 /var/log/kolla/nova/
/var/log/kolla/nova/nova-compute.log:2024-05-29 00:23:45.948 7 INFO nova.compute.manager [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] [instance: c15d778d-1bfe-4451-906e-6b9f3190edf2] During _sync_instance_power_state the DB power_state (1) does not match the vm_power_state from the hypervisor (4). Updating power_state in the DB to match the hypervisor.
/var/log/kolla/nova/nova-compute.log:2024-05-29 00:23:46.131 7 WARNING nova.compute.manager [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] [instance: c15d778d-1bfe-4451-906e-6b9f3190edf2] Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 1, current VM power_state: 4
/var/log/kolla/nova/nova-compute.log:2024-05-29 00:23:46.394 7 INFO nova.compute.rpcapi [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] Automatically selected compute RPC version 6.2 from minimum service version 66
/var/log/kolla/nova/nova-compute.log:2024-05-29 00:23:46.514 7 INFO nova.compute.manager [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] [instance: c15d778d-1bfe-4451-906e-6b9f3190edf2] Instance is already powered off in the hypervisor when stop is called.
/var/log/kolla/nova/nova-compute.log:2024-05-29 00:23:46.668 7 INFO nova.virt.libvirt.driver [None req-cb34f66a-9676-4951-a99d-946abdae1e17 - - - - - -] [instance: c15d778d-1bfe-4451-906e-6b9f3190edf2] Instance already shutdown.
Andrey
Andrey
Мы за одно)
icewolf
а что у вас случилось с базой?
icewolf
это первый вопрос.
icewolf
второй вопрос а можно dmesg с компьют нод(чисто на всякий случай) повторюсь нова просто так не реагирует, потому как действия гипервизора.
icewolf
И третье, проверьте что в mariadb. С базейкой nova. Нет ли дублирующих записей инстансов
icewolf
@j52089ec7e87 походу обновили с антилопы до bobcat
icewolf
Потому как ну очень странное в service version
Mr
1. Триальная винда с просроченным пробным периодом сама выключается чот типа через полчаса
2. Дебаг логирование нужно включить и смотреть еще раз.
3. В либвирте тоже уровень логирования надо поставитьна дебаг и смотреть там, если в логе nova не найдется ничего.
Это вроде осталось в 2008, и только у тех кто не крутил параметры 'дяди дайте ещё 90 дней ' .
icewolf
Это вроде осталось в 2008, и только у тех кто не крутил параметры 'дяди дайте ещё 90 дней ' .
не тут дело не в этом. Скорее всего или сервер качнулся, такое гавно случается когда идет статичные ошибки(dimm0 warning). Либо при обновлении с версии на версию компьюты не до конца обновились
icewolf
и да если так, такие вот приключения характерны
icewolf
ну то есть или планка памяти должна покинуть чат, или обновили не до конца
Mr
и да если так, такие вот приключения характерны
Это и в проприетарщине так бывает. из одной банки индусы
J
не тут дело не в этом. Скорее всего или сервер качнулся, такое гавно случается когда идет статичные ошибки(dimm0 warning). Либо при обновлении с версии на версию компьюты не до конца обновились
Ты чот за свои версии топишь при том что оснований грешить на обновление или на битую память нет.
Нужно подождать логи либвирта, qemu и dmesg.
icewolf
память может быть не битой, может быть варнинг, могут быть варнинги IOMMU
icewolf
там целая россыпь «почему нет»
icewolf
Ты чот за свои версии топишь при том что оснований грешить на обновление или на битую память нет.
Нужно подождать логи либвирта, qemu и dmesg.
Я чо? Я такое просто наглядно видел. С обновлением да там другая картина, но тоже бывают артефакты.
icewolf
по поводу базы, я тоже не случайно сказал. Если там блочка, и старые луны не удалились.. будет увлекательнейший квест
icewolf
@jingvar у нас нечто похожее было когда на xena, оторвали схд😎🤏😳
icewolf
руками удаляли артефакты из базы
Artemy
Инстанс отсановлен изнутри.
Artemy
/sbin/poweroff
Grundik
Что в этой строке "Instance shutdown by itself" может быть непонятно?
вопрос "кем?" не раскрыт)
Artemy
Разобраться с этой хренью уже задача хозяина ВМ а не админа облака
icewolf
Разобраться с этой хренью уже задача хозяина ВМ а не админа облака
но dmesg с компуты все равно не плохо бы глянуть:)
icewolf
А то там разное изнутри бывает:) одно дело когда это изнутри vm а другое когда libvirt
icewolf
ну и третье дело когда кто то снял крышку с сервера и выдернул планку памяти🤣🤣🤣
J
вопрос "кем?" не раскрыт)
Эт не оьбязательно изнутри.
Это остановка по не зависящим от nova причинам.
Стопнуть можно через голый либвирт и будет то ж самое, разве нет?
icewolf
так я об этом и писал, либвирт такое делает по разным причинам
icewolf
например ребут сервера
Mr
@ThersaGuidi2009 предлагаю расстрелять . Хотя и красивая
icewolf
о! Щас нам будут предлагать курсы по крипте
Mr
@ThersaGuidi2009 погодите 5 минут. Я кофе налью перед курсами
Andrey
Andrey
icewolf
Походу в хомяке место тогой
icewolf
И да вот это 88560.147797] device tapd8b4ac42-f0 entered promiscuous mode
[88666.640990] device tapc09290b4-29 left promiscuous mode
icewolf
Как то не хорошо вошел и вышел
Вадим
Всем привет
icewolf
он всегда в /var
icewolf
Я про интерфейс
Для тапочки такие выходы и входы в промискус характерны при старте сервера, но не в таких количествах
icewolf
а там прям вход выход вход выход и не 2-3 раза а дофига раз
Andrey
Парни, спасибо за содействие в решении вопроса.
В итоге всё это было из за ceph, а именно в параметре rbd_skip_partial_discard
Ещё как оказалось kolla не прокидывает логи libvirt из контейнера nova_libvirt, поэтому мы не видели жалоб на работу ceph.
Если интерестны подробности то тут всё описано: https://tracker.ceph.com/issues/63422
icewolf
ого! Мощно
icewolf
ну кстати я сразу сказал что это либвирт или хост, выяснилось что либвирт не просто так тушил инстанс
Jürgen
Вот какие инстансы надо продавать https://aws.amazon.com/blogs/aws/amazon-ec2-high-memory-u7i-instances-for-large-in-memory-databases/ 😏
Jürgen
896 cpu это вам не в тапки ссать))
Илья | 😶☮️🐸
на своих процах ?
Vyacheslav
И запустить там оракл, которому будет мало
Jürgen
For example, here’s the 32 TiB instance
😏
И ценник о я манал по нотам
Denis
только представьте какого размера у него своп
Denis
Да давно я в него не ходил) после рака отводило
если что я поднимаю уровень сарказма про оракл)
icewolf
icewolf
вот по этому инфобез не люплю
Jürgen
Ко мне просто сегодня одни деятели пришли за апрувом на тест этих херовин
Konstantin
icewolf
Ко мне просто сегодня одни деятели пришли за апрувом на тест этих херовин
ко мне тоже пришли.. Им было больно.
Jürgen
ко мне тоже пришли.. Им было больно.
Ну вот и эти уйдут если хотят пусть сами платят в час
u7in-32tb.224xlarge $407.68
icewolf
Главное шоб днище не оторвало а то петля порветься
там все оторвало. Еще до подписания договора.. просто разрыв жопы
icewolf
В 170 местах