@openstack_ru - страница 335

J

Такое себе, имхо. Но если кому-то нравится, то ок )

Ну а чо, лучше лишние 10 часов в неделю тратить на дорогу на работу и обратно?) Нравится не нравится, а альтернатва еще хуже)

J

Подскажите, есть какое то не самописное решение для авто-поднятия виртуалки которую прибил OOM на гипервизоре ? Смотрел в сторону watchdog, но это не совсем то, watchdog отрабатывает если внутри виртуалки что-то покрашилось/паника и тогда да он перезапускает виртуалку, а тут на самом гипервизоре OOM прибивает процесс и все, никакой watchdog уже не отрабатывает. Да я могу написать скрипт который будет парсить вывод virsh и т.д., но возможно есть другое решение ?

Ну, masakari. А еще сказал бы что раз доходит до такого, то коэффициент переиспользования памяти нужно бы снизить.

Artem

Подскажите, есть какое то не самописное решение для авто-поднятия виртуалки которую прибил OOM на гипервизоре ? Смотрел в сторону watchdog, но это не совсем то, watchdog отрабатывает если внутри виртуалки что-то покрашилось/паника и тогда да он перезапускает виртуалку, а тут на самом гипервизоре OOM прибивает процесс и все, никакой watchdog уже не отрабатывает. Да я могу написать скрипт который будет парсить вывод virsh и т.д., но возможно есть другое решение ?

Чего, то я не пойму, у тебя nova сверяет статусы виртуалок с базой, если она лежит, она пробует её поднять

Pavel

Лучше или не искать работу в соседней области тли уж дома сидеть, чем в кафе. Опять же мое мнение

Evgeny

Чего, то я не пойму, у тебя nova сверяет статусы виртуалок с базой, если она лежит, она пробует её поднять

не пробует - виртуалка лежит пока руками старт не дернешь

Evgeny

Ну, masakari. А еще сказал бы что раз доходит до такого, то коэффициент переиспользования памяти нужно бы снизить.

это конечно да но пока дефицит ресурсов )

J

это конечно да но пока дефицит ресурсов )

А KSM включен? Не обижайся, если чо)

Evgeny

да включен

J

да включен

Могу тебе очень грязный хак предложить) Во прям мразотный. Напиши systemd юнит или сервисный скрипт для другого супервизора или просто в крон запихай скрипт который будет брать pid qemu-system процессов и отключать для них oom киллер)

J

Звучит то не очень, но такой вариант и проще и предпочтительнее, потому что виртуалки падать не будут.

J

Еще можно zram прикрутить, если уже не используешь.

Evgeny

как раз лучше пусть падают (память освобождают), вот только руками лень поднимать ) поэтому и ищу какое то решение желательно средствами openstack/libvirt в nova.conf самое близкое это опция resume_guests_state_on_host_boot=true - она как раз в false сейчас, но кажеться от oom киллера она не очень поможет

Evgeny

Еще можно zram прикрутить, если уже не используешь.

zram не используем - прям есть профит + ksm или либо-либо ?

J

zram не используем - прям есть профит + ksm или либо-либо ?

Да не особо, но позволяет немного оттянуть момент когда OOM начнет убивать процессы. Но, конечно, ценой потери производительности.

J

https://github.com/openstack/masakari Вот) Рассказал бы чо да как, но у меня допилить то просто опенстек наш руки не доходят, не то что до вот таких сервисов.

Sergey

шел 2019 год

Sergey

а проблема ha в линуксе никуда не делась

J

шел 2019 год

Ты хотел сказать, в опенстеке) Да и то с оговоркой что забесплатно нет решения этой проблемы.

J

zram не используем - прям есть профит + ksm или либо-либо ?

Ваще, сколько смотрю, masakari выглядит довольно простым. Так что, коль уж приперло, попробуй может, потом расскажешь) Многие в чатике спасибо скажут.

Evgeny

не знал про этот сервсис, гляну спасибо

Andrey

Могу тебе очень грязный хак предложить) Во прям мразотный. Напиши systemd юнит или сервисный скрипт для другого супервизора или просто в крон запихай скрипт который будет брать pid qemu-system процессов и отключать для них oom киллер)

Что-то совсем грязно звучит. А что ему еще прибивать, если не виртуалку? Что-то системное?

Marcus

Могу тебе очень грязный хак предложить) Во прям мразотный. Напиши systemd юнит или сервисный скрипт для другого супервизора или просто в крон запихай скрипт который будет брать pid qemu-system процессов и отключать для них oom киллер)

это плохое решение

Marcus

можно вместо одной машины потерять все на хосте

J

можно вместо одной машины потерять все на хосте

Пх) Ну так можно запретить киллеру трогать только самые нужные. Да и все решения, кроме добавления памяти, плохи.

Artem

не пробует - виртуалка лежит пока руками старт не дернешь

У тебя, когда OOM прибивает, вот это есть в логах [instance: ] Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 1, current VM power_state: 4

Dmitry

святой оом, санитар облака

Evgeny

У тебя, когда OOM прибивает, вот это есть в логах [instance: ] Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 1, current VM power_state: 4

не нахожу ничего подобного - это в nova-compute.log на гипервизоре?

Artem

не нахожу ничего подобного - это в nova-compute.log на гипервизоре?

Да, можешь забить, работает только в сторону убить то, что вдруг запущено. А нова считает, что должно быть выключено. Килы процессов она воспринимает как self shutdown, то есть libvirt выключил виртуалку, значит так и надо

Evgeny

Да, можешь забить, работает только в сторону убить то, что вдруг запущено. А нова считает, что должно быть выключено. Килы процессов она воспринимает как self shutdown, то есть libvirt выключил виртуалку, значит так и надо

с этим да - поднимаешь через virsh а она опять в down )

Artem

с этим да - поднимаешь через virsh а она опять в down )

Гавно =) А чем тебе watchdog-ом за ней следить не понравилось? https://wiki.openstack.org/wiki/LibvirtWatchdog

Evgeny

он работает внутри процесса qemu насколько я понял и проверил

Artem

Ну и вроде, если вдруг машина не отвечат, то делает action какой либо

Artem

Я только не знаю, попадает ли под этот случай kill процесса

Evgeny

у меня не получилось это сделать - если вызваешь панику внутри vm или киляешь что-то внутри vm - да он отрабатывает - если снаружи всю виртуалку прибить - уже не поднимается

Andrey

Какой у вас юзкейс? У вас должны быть виртуалки, которые не могут убиваться оомом при наличии переподписки в облаке? Выделите для таких вм гипер без переподписки и специальные флейворы, а для остальных переподписку (и, соответственно, риск быть убитыми) увеличьте. Сделать всем хорошо и при этом дёшево не получится.

Artem

Какой у вас юзкейс? У вас должны быть виртуалки, которые не могут убиваться оомом при наличии переподписки в облаке? Выделите для таких вм гипер без переподписки и специальные флейворы, а для остальных переподписку (и, соответственно, риск быть убитыми) увеличьте. Сделать всем хорошо и при этом дёшево не получится.

Ну и как обрабатывать варианты когда она baloon-ингом отдавала память и вдруг ее сожрала? А ты не можешь уменьшить переподписку потому, что ресурсов нету?

Evgeny

кейс - все виртуалки равноправны и пусть они убиваются - только пусть они потом поднимаются

Sergei

Ваще, сколько смотрю, masakari выглядит довольно простым. Так что, коль уж приперло, попробуй может, потом расскажешь) Многие в чатике спасибо скажут.

А что есть тут люди кто его использует ? Документации по конфигурации и настройке masakari фактически нет.

Andrey

Ну и как обрабатывать варианты когда она baloon-ингом отдавала память и вдруг ее сожрала? А ты не можешь уменьшить переподписку потому, что ресурсов нету?

Балунинг (как и опенстек вообще, что уж тут) не про надёжность. Что бы вы делали на месте ядра в таком случае? Какие поведение правильное?

Andrey

кейс - все виртуалки равноправны и пусть они убиваются - только пусть они потом поднимаются

Мы с @nsuvorov помнится думали что-то подобное притащить, но быстро от этого отказались - слишком много рисков. А что если виртуалка начнет так в цикле флапать? Возиться с восстановлением файловой системы заказчика? А если у него там что похуже на сырых дисках? Да ну его...

J

А что есть тут люди кто его использует ? Документации по конфигурации и настройке masakari фактически нет.

А хз. По презентациям вся установка и настройка эт то чо описано в ридми на гитхабе)