Vyacheslav
нашёл что разной версии либвирт:
2021-10-19 17:47:20.701 28 DEBUG nova.conductor.tasks.live_migrate [req-a4fdd96c-0c52-4169-a396-f9d7b3004e15 3192fea44fb74cb280ee9b795cc09220 0a7b6b7635b442c38494c4a5e04aae41 - default default] Skip
ping host: compute because: The instance requires a newer hypervisor version than has been provided. _find_destination /var/lib/kolla/venv/lib/python2.7/site-packages/nova/c
onductor/tasks/live_migrate.py:521
Aleksandr
да такое бывает, у нас миграция не работала из-за разных версий qemu -)
Vyacheslav
ну он на более новое едет, а на старое - нет
NS 🇷🇺
Vyacheslav
но можно сказать ему без live
Vyacheslav
и тогда перевезёт через pause
Vyacheslav
ты как в первый раз я не знаю
странно почему он через паузу мигрирует, а на живую нет
хотя и так и так VM физически "не падает"
Aleksandr
в смысле через паузу ?
Aleksandr
так он всегда так делал. На самом последнем этапе фриз
Pavel
Никогда в лайве фриза не было. Всегда догоняет память дифами. отсюда была проблема что при интенсивном изменнии памяти вм не уезжает
Pavel
с какогото (трейн или квинс) редлиза добавили тротлинг во время лайв миграции
Vyacheslav
Никогда в лайве фриза не было. Всегда догоняет память дифами. отсюда была проблема что при интенсивном изменнии памяти вм не уезжает
там можно так если супер активная:
nova live-migration-force-complete
icinga
с какогото (трейн или квинс) редлиза добавили тротлинг во время лайв миграции
всм как опцию или байдифолт?
Aleksandr
Ну так правильно как догонит фризит и последнюю делюту уже с фриза. Просто не сильно заметно это.
Vyacheslav
странно почему он через паузу мигрирует, а на живую нет
хотя и так и так VM физически "не падает"
проверил - вру я, там через destroy
Vyacheslav
uptime не падает
Pavel
есть tcp пакет его выплюнул коммутатор в сторону вм а вм зафиризили.
Vyacheslav
у нас были VOIP сервера которые пинг кидали 0.1 секунду, так они --live считали не live, прям как ты
Pavel
если проццесс зафризить и перенести на другую мащину это не лайв.
Лайв это когда скопировали память регитсры и в конце дифом донесли разницу, буферы (сеть диск и т.д.)
Vyacheslav
в самом конце всё равно есть момент pause|start
Pavel
нету там этого. там именно фриз процесса на уровне qemu для перенса дифа бувверов и памяти
Pavel
Лайв миграциякстати tls или ssh?
Vyacheslav
Илья | 😶☮️🐸
c tls же пляски с конфигом либвирта
Pavel
Pavel
c tls же пляски с конфигом либвирта
там всего 3 настройки. но толку ноль, потому как офлайн миграция один фиг через ssh
Vyacheslav
я и руками так могу сделать. из без всяких оберток это было еще в мосиксе в 2000=х
ну можно забить и на nova live-migration и сделать всё руками, в БД подправить пару таблиц, пару команд в virsh|qemu
Pavel
ну можно забить и на nova live-migration и сделать всё руками, в БД подправить пару таблиц, пару команд в virsh|qemu
ниже нужно спускаться на процессы и пять на сервере :)
Pavel
Сейчас есть тротлинг. он какраз без фриза и форса. тупо начитанет не давать времени cpu виртуалке в следствии чего и память не меняется. Выглядит как просадака по производительности.
Aleksandr
Сейчас есть тротлинг. он какраз без фриза и форса. тупо начитанет не давать времени cpu виртуалке в следствии чего и память не меняется. Выглядит как просадака по производительности.
там еще в самом qemu, вставили что бы с каждой неудачной миграцией за како-то время, росло время паузы для попытки итого синка памяти
Pavel
live_migration_permit_auto_converge=true
Pavel
live_migration_permit_post_copy - как вариант. типа сначала перенести буферы и процесс, а потом память
Vyacheslav
live_migration_permit_post_copy - как вариант. типа сначала перенести буферы и процесс, а потом память
а оно норм работает? я побоялся включать
Pavel
По коду да. но работа с кажется только 5+ версии либвирта и то не увер с какой из нее и к qemu тоже тредования
Pavel
Этоже что у вас там за изменения по памяти что live_migration_permit_auto_converge не вывозит?
Pavel
пагу десятков гигабит в секунду?
Илья | 😶☮️🐸
При TLS значительно лучше ?
Aleksandr
не проверял у меня он не заведется -((( но должно быть значительно лучше
Pavel
так там тротлин начитается. я что-только не пробовал чтобы с live_migration_permit_auto_converge не дать вм смигирровать. он фиг мигрировало. с просадкой до 90% производительности
Vyacheslav
Pavel
о нужно постетстить может им удастся затормозить. но кубер мастер мигрируют
Aleksandr
не он развалится ((( он вообще большую латенци между нодами не любит
Aleksandr
ну если через паузу, на лив миграции норм пашет у нас
Vyacheslav
норм, только он мигрирует час
Илья | 😶☮️🐸
ну если через паузу, на лив миграции норм пашет у нас
паузить все ноды (инстансы) кубера и переносить мастер :)
Pavel
а накой лав для кубера?
Aleksandr
пока ты их запаузишь он уже развалится -) не забывай сколько секунд опенстэк думает -)
Pavel
тольно не говорите что мастер один
Pavel
мы тут железные мастера кубера стрелчем по питалову.
Pavel
к томуже если я правильно посню то опеншифт также по дефолту юзает etcd
и выход одного из трех серверов ему не проблема
Vyacheslav
к томуже если я правильно посню то опеншифт также по дефолту юзает etcd
и выход одного из трех серверов ему не проблема
ну ему не проблема, а вот "мониторинг сработал""
Aleksandr
к томуже если я правильно посню то опеншифт также по дефолту юзает etcd
и выход одного из трех серверов ему не проблема
самому куберу не проблема -) но эксплуатация ругается на смену мастеров -)
Pavel
ну ему не проблема, а вот "мониторинг сработал""
Так поваляться одной ноде/мастеру минут 5-10 вообще штатня штука для штука. может алерт выше сделать
bofh666
Всем привет!
Есть простейший опенстек из трех нод, в нем терраформом создал сеть, подсеть и пытаюсь создавать инстансы с fixed_ip в этой (под)сети. Почти все работает, кроме одной особенности: после удаления инстанса невозможно создать новый с таким же fixed_ip (отваливается по таймауту с ошибкой Virtual Interface creation failed) — такое ощущение, что эти адреса где-то запоминаются. Пытался смотреть в портах, там их нет, то есть терраформ все удаляет корректно. Подскажите, пожалуйста, куда копать, чтобы можно было переиспользовать адреса удаленных инстансов? Логи nova_compute и neutron смотрел, гуглил, но просветления не случилось(
Vyacheslav
Илья | 😶☮️🐸
Других причин не должно быть
bofh666
Порты может не удаляются ?
Да вот смотрел командой openstack port list, в выводе "старых" айпишников нет. Посмотрел хелп к команде, нельзя ли вывести неактивные порты, и не увидел такой опции.
Pavel
Vyacheslav
Всмысле? это штатная штука для кубера. А если мастер заменить они вообще в обморок попадают?
не для высоких стандартов банка
Vyacheslav
там есть опции отвязать floating ip от мапа
bofh666
там скорее всего floating ip не отпускается
floating я никак не использую... но спасибо, посмотрю
Pavel
Это же дичь даже по меркам теории верроятности.
или банк решил преписать теорВер?
bofh666
там скорее всего floating ip не отпускается
openstack floating ip list возвращает пустую строку
Vyacheslav
Vyacheslav
/project/floating_ips/
Vyacheslav
Это же дичь даже по меркам теории верроятности.
или банк решил преписать теорВер?
надо что бы работало и не падало