Denis
https://github.com/prymitive/karma
Denis
Да ясно - в vm гироскутер не поставить - только на гипер
так тебе только с гипера и нужны метрики!
Ilyas
https://github.com/prymitive/karma
Заббикс на прометее
Я и твой кот
Artemy
Можно измерить среднее по больнице подсадив на каждую железку свою VM и оттуда собирать
Ниыига вы не увидите. Чтобы увидеть стил вам надо дать нагрузку
Denis
Это не в тему.
libvirt предоставляет статистику потребления mem/cpu и делает это через cgroups
Denis
из интересных cpu idle, user sys и проч
Denis
можно, например собрать несколько десятков замеров, посчитать между ними дельту и поднять флажок, если сильно колбасит
Vyacheslav
Вопрос был который волновал: Как понять, что vm cpu не хватает процессорного времени на физическом cpu. В vm это steal time (ожидание времени на cpu), а какая метрика на гипере показывает что у cpu просят больше, чем он может
Denis
покажет всю поднаготную, а под капотом он ходит в сигруппы....
Denis
сигруппы это не только лимиты, а в 1 очередь статистика, а уж потом лимиты!
Vyacheslav
virsh cpu-stats
Надо проверить посмотреть, спасибо
Denis
покопай поглубже туда) парни вон запилили автоматический балансер на этой херне (auto drs, если так понятней)
Vyacheslav
Я смотрел в vmstat но не очень вывод понравился
Denis
так вот, если не хватит того, что даст virsh, забери сам из сигрупп, там точно все есть
Denis
Vmware?
ну у вари это так зовут)
Denis
с точки зрения что такое ВМ? Это просто 1 процесс qemu-kvm, ищем pid смотрим сигруппы)
Vyacheslav
LA
Да, говорили про la - если будет большой контекст свитчинг не будет большим где-то на 80% будет
NS 🇷🇺
Так твоя работа доказать иб, что они ошибаются и пора пересмотреть список по
Vyacheslav
Так твоя работа доказать иб, что они ошибаются и пора пересмотреть список по
В своей части - я понимаю как это поменять и что сделать. С этим я проблемы не вижу. Проблема в том, что владелец мониторинга и банк считает что нужен именно заббикс, а не что-то ещё
Vyacheslav
А виртуалки мониторится централизовано - у нас как мы сами решим
Vyacheslav
Ты же помнишь в цхд точно такая же была история
Vyacheslav
В цхд были и промы
Но не для мониторинга внутри вм
Pavel
всмысле не внутри?
Vyacheslav
всмысле не внутри?
В сами vm клиентов какие-то агенты с пром экспортёром - не поставить быстро
Pavel
Ну это да, быстро не поставить, но не быстро и под страхом смерти...
Я и твой кот
Хотя безопасники запалят наверняка.
Vyacheslav
По-тихому впихнуть в образы ;)
Да норм план, через qemu-guest-agent
Рамиль
В сами vm клиентов какие-то агенты с пром экспортёром - не поставить быстро
Я бы поставил экспортёр на свою вм для того, что бы мою вм эвакуировали с перегруженного хоста. С удовольствием
Vyacheslav
Хотя безопасники запалят наверняка.
Сканер безопасников поместить в lxc - пусть там смотрит :)
Я и твой кот
Да норм план, через qemu-guest-agent
Так если он есть, с него разве не снять idle?
Vyacheslav
virsh cpu-stats
не очень информативно по сабжу - нет ожидания процессора: CPU0: cpu_time 242.054322158 seconds vcpu_time 110.969228362 seconds CPU1: cpu_time 170.450478364 seconds vcpu_time 106.889510980 seconds CPU2: cpu_time 332.899774780 seconds vcpu_time 192.059921774 seconds CPU3: cpu_time 163.451025019 seconds vcpu_time 88.008556137 seconds Total: cpu_time 908.855600321 seconds user_time 22.110000000 seconds system_time 35.830000000 seconds
Vyacheslav
https://www.kernel.org/doc/Documentation/scheduler/sched-stats.txt schedstats also adds a new /proc/<pid>/schedstat file to include some of the same information on a per-process level. There are three fields in this file correlating for that process to: 1) time spent on the cpu 2) time spent waiting on a runqueue 3) # of timeslices run on this cpu
Я и твой кот
вот прям очень похоже на то что надо
Оно близко, но не идеально. На power64 проц для виртуалок прям счётчик idle ведёт, как я понял. Но не на x86.
Artem
вот прям очень похоже на то что надо
Насколько мне известно относительно новые libvirt умеет это отдавать
Artem
Прямо steal time
Artem
Все таки это механизм внутри него
Vyacheslav
Насколько мне известно относительно новые libvirt умеет это отдавать
https://serverfault.com/questions/1035039/can-i-get-vms-cpu-idle-load-and-steal-time-through-virsh ^_^
Vyacheslav
??
нет ответа, как смотреть через virsh - если есть инфа, можно прям туда написать :)
Artem
Artem
Kvmtop
Artem
Но кажется, тут через выше скиданную инфу
Artem
Считают
Alexey
Вот так, так что я пожалуй наврал про либвирт
Либвирт тоже умеет в новых версиях, он оттуда же и читает, только по каждому vcpu-треду
Илья | 😶☮️🐸
Artem
https://alexzzz.ru/post/its-steal-time/ :))
Годно, но откуда столько времени блоги вести?
Artem
Это же ведь надо все ещё оформить красиво, зарелизить ... труд прямо 😅
Denis
не очень информативно по сабжу - нет ожидания процессора: CPU0: cpu_time 242.054322158 seconds vcpu_time 110.969228362 seconds CPU1: cpu_time 170.450478364 seconds vcpu_time 106.889510980 seconds CPU2: cpu_time 332.899774780 seconds vcpu_time 192.059921774 seconds CPU3: cpu_time 163.451025019 seconds vcpu_time 88.008556137 seconds Total: cpu_time 908.855600321 seconds user_time 22.110000000 seconds system_time 35.830000000 seconds
Я накинул как посмотреть очень много метрик из cgroup, virsh именно так получает все метрики, гляньте strace или сорцы, если не верите словам:) так вот, если чот не хватило в его выводе, я говорил посмотреть файлысигрупп вручную.
Andrey
As of 21.0.0 (Ussuri) an additional stable device rescue mode is available. This mode now supports the rescue of volume-backed instances.
Я использовал, работает с нюансами, нужно указывать версию апи, соответсвенно из хорайзона не работает. Вм грузится с флехи при рескью.
Andrey
А туда можно iso диски как-то засунуть вместо boot flash? Через —image например
Так ты в образ прописываешь мету и с этого диска как раз и делаешь рескью. У меня есть дока, я тебе кину в личку
Andrey
Dok
Спасиб
Alexey
Это же ведь надо все ещё оформить красиво, зарелизить ... труд прямо 😅
Надо-надо, поэтому публикую реже, чем хотелось бы
Artur
Парни, у кого был опыт обновления Квинса до Штейна?
Artyom
До трейна сделал на одном облаке, полет нормальный в целом
Artyom
Правда все сильно зависит от конфигурации облака и от желаемого даунтайма/аптайма