Aleksey
А может кто подскажет из простого - как зафигачить VXLAN туннели между двумя серверами?
satandyh
Вроде выше сказали, что это делается автоматом
J
дальше
Что дальше?)
Дальше пакет от первой вм попадает на линуксовый бридж qbr где к нему применяются правила security групп. После этого пакет с линуксового бриджа кидается через veth пару на br-int. Там с учетом входящего порта и мака виртуалки на пакет навешивается временный vlan тэг и пакет выкидывается на br-tun. В br-tun по соответствующему openflow правилу с пакета снимается vlan тэг и навешивается vxlan идентификатор. А дальше пакет выкидывается на vxlan интерфейс в том же br-tun. А дальше уже ядро заботится о том через какой реальный интерфейс сроутить исходящий vxlan пакет. На ноде назначения все в обратном порядке происходит.
J
Может я ошибся в том, разве что, где временный влан тэг подменяется на tunnel id - хз на br-int или br-tun. Ща гляну.
Anonymous
Aleksey
Вне OpenStack, но с использованием Open vSwitch
Aleksey
Хочу Proxmox-сервера между собой объединить
Anonymous
vtep сделать на овс бридже
Aleksey
Тоже так думал, но где-то ошибся и у меня модуль ядра не начинает слушать VXLAN порт =(
Anonymous
да можно и без овс
Anonymous
ипрут2 утилитой
Aleksey
при этом в ovs-vsctl show было видно эти бриджи...
Aleksey
Можно, но нужно на них. Ими через Ansible удобнее командовать
Anonymous
Тоже так думал, но где-то ошибся и у меня модуль ядра не начинает слушать VXLAN порт =(
а модуль выгрузить-загрузить пробовали?
J
и как это снимает нагрузку?
Не снимает.
Но и не думаю что создает, так то. В сравнении с тем что жрут сами виртуальные машины это сущие мелочи будут. Особенно с dpdk.
Sergey
Aleksey
а модуль выгрузить-загрузить пробовали?
Нет, не пробовал. Только в автозагрузку закинул в /etc/modules
Aleksey
Сейчас проверю
Anonymous
скорее всего
Aleksey
Не страшно, есть бекапный ифейс
Andrey
это хорошее обоснование вот этого, да
что непонятного, запустили 2x ВМ в VNI 11111 на compute1 ВМке выдали VLAN 1 на compute2 выдали VLAN 2, на сетевом железе замапили на HW-port-compute1-VNI 11111 в VLAN 1 а на HW port-compute2-VNI 11111 в VLAN 2
Andrey
это автоматом должен делать плагин нейтрона под конкретное железо
Aleksey
rmmod vport_vxlan; rmmod vxlan; modprobe vxlan; modprobe vport_vxlan;
nc -u -l 192.0.2.1 4789 получается забиндить
Anonymous
Aleksey
К сожалению нет.
Aleksey
Такой вопрос - у меня адрес, на котором должен слушаться этот порт не в ovs бридже. В этом может быть проблема?
Aleksey
Блин, а может кто посоветует нормального манула/книгу по ovs на покурить?
J
Блин, а может кто посоветует нормального манула/книгу по ovs на покурить?
А нету.
Только официальные их бумажки, вроде.
J
Такой вопрос - у меня адрес, на котором должен слушаться этот порт не в ovs бридже. В этом может быть проблема?
И эт не должно иметь значения, так то.
ip_forward включен?
Aleksey
И эт не должно иметь значения, так то.
ip_forward включен?
Само собой! Как-же может быть иначе %)
Aleksey
Но тут до форвардинга не доходит. Модуль ядра не биндится на нужный порт
Oleg
объединял два бриджа ovs за натом с помощью openvpn+tap, но с mtu потом довольно много костылял
Aleksey
объединял два бриджа ovs за натом с помощью openvpn+tap, но с mtu потом довольно много костылял
Я так тоже делал, оно нормально работает, но ИМХО это неправильно и лучше переделать. Тем более ovs'ом можно рулить через Ansible😊
Oleg
согласен костыль )
Anonymous
Блин, а может кто посоветует нормального манула/книгу по ovs на покурить?
scott lowwe blog
networkstatic blog
ovs manual from ovs site
Anonymous
да пробовать, что еще делать
Aleksey
scott lowwe blog
networkstatic blog
ovs manual from ovs site
Спасибо! Буду читать и пробовать =))
Roman
вот этот чувак мне нравится еще, у него хорошие интро https://www.youtube.com/user/mahler711/videos
Anonymous
вот этот чувак мне нравится еще, у него хорошие интро https://www.youtube.com/user/mahler711/videos
да, отлично рассказывает
V.
Привет. подскажите есть ли возможность узнать изнутри инстанса, из одной numa ноды была выделена ему память или нет
J
Привет. подскажите есть ли возможность узнать изнутри инстанса, из одной numa ноды была выделена ему память или нет
Привет!
Изнутри никак, думаю.
V.
вобщем я правильно понимаю, чем жирнее виртуалка по vcpu и по памяти, тем больше шансов что с памятью она будет работать медленнее?
Михаил
вобщем я правильно понимаю, чем жирнее виртуалка по vcpu и по памяти, тем больше шансов что с памятью она будет работать медленнее?
в общем - да
в теории тебя спасёт vNUMA(да поправят меня знающие) однако я не уверен есть ли в KVM поддержка vNUMA
V.
спасибо за ответы
Михаил
однако у nova есть возможности NUMA тюнинга
V.
openstack используем исключительно как пользователи, провайдер им рулит ) пока инстансов толше чем на 4 vcpu и 8Гб Ram нет. и внутри гостя видно только 1 нума ноду. планируем ввести толстые инстансы от 8 vcpu 32 Гб Ram.
V.
вот и интересно. как опенстэк разруливает такие инстансы.
V.
есть ли у него возможность транслировать внутрь инстанса структуру физических numa нод, на которых инстанс запущен
Aleksey
scott lowwe blog
networkstatic blog
ovs manual from ovs site
Ха, вот что забавно - настраивал VXLAN + openvSwitch по инструкции c networkstatic.net .
Пока не взлетело 😆
Andrey
А за DRS в openstack кто ?
Alexander
Dorian
вот и интересно. как опенстэк разруливает такие инстансы.
Есть понятие NUMA awareness
https://docs.openstack.org/nova/pike/admin/cpu-topologies.html
Михаил
я че-то не смог нагуглить по поводу vNUMA в KVM
Uncel
https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/virtualization_tuning_and_optimization_guide/sect-virtualization_tuning_optimization_guide-numa-numa_and_libvirt
Uncel
вот шляпный гайд для примера
Dorian
Чем бы по быстрому для PoC раскатать OpS на 3х нодах?
Dorian
Centos
Александр
RDO centos. либо самописные playbook для ansible
Yefim
Kolla
Александр
ооо вот kolla лично для меня как то совсем не зашла
Dorian
Мне б по быстрому...
С калой ещё поибатца наверняка придется
Dorian
Как ни странно но самая безболезненная инсталляция у меня была на autopilot
Александр
если совсем без геморая. то на три ноды руками и скриптами.по документации не слишком то и долго все ставиться.
Александр
если память не изменяет у автопилота есть ограничения
Dorian
не совсем понял вопрос.
Вы про эти скрипты ?
https://docs.openstack.org/project-deploy-guide/openstack-ansible/latest/
Александр
да.
Aleksey
Вопрос по поводу Open vSwitch + GRE Tunnel. Правильно-ли понимаю, что GRE работает в Userspace?
Александр
Вы про эти скрипты ?
https://docs.openstack.org/project-deploy-guide/openstack-ansible/latest/
если архитектура совпадает то мучиться с дописыванием не нужно. а если что то более сложное тогда велком в ад.
Dorian
Спасибо
Тогда rdo )
Anonymous
Вопрос по поводу Open vSwitch + GRE Tunnel. Правильно-ли понимаю, что GRE работает в Userspace?
толсто или тонко?
аа, сори, не так прочитал
ip tunnel — ядерный
Danila
Друзья, вм в лайвмиграции целый день
Danila
откуда начинать траблшутить?
J
откуда начинать траблшутить?
Смотря как миграция запускалась. Если через Horizon, то с него, думаю.
J
А дальше смотреть логи новы и кролика.
Danila
не, через CLI