то есть такой этакий vlan получается чтоли ?

Это получается что ты просто файрволом запрещаешь трафик между группами)

вопрос а если одна security group на 2 compute ноды ?

а туплю

вот они и будут друг друга видеть

по сути хочу OVS с публичными IP без SNAT: 1) VXLAN per VM (изоляция трафика нескольких VM от всех других) 2) В качестве сети которая раздается по DHCP машинам использовать реальные маршрутизируемые в интернет адреса (без SNAT) 3) Ну и чтобы не тратить адреса unnabered интерфейс (один gw на все VM)

кейс пахнет calico )

зависит от драйвера sg. если дефолтный iptables, то производительность может быть совсем не очень

а что взять вместо iptables ?

вопрос а если одна security group на 2 compute ноды ?

Группа то на порты нейтрона назначается, на виртуалки и роутеры, то сеть. Это такой нищебродский вариант изоляции виртуалок с помощью файрвола будет)

да, я уже понял

не подскажу, к сожалению, по другим драйверам.

то что мне нужно :)

Это я рассказал то что относится к l2 механизмам для openvswitch и linux bridge. Но есть и куча других вариантов навороченных, вплоть до полного отказа от l2 транспорта, например.

на что есть смысл обратить внимание еще ?

Да ни на что, в общем то. Просто очитать как изнутри в нейтроне все это работает. Вот, к примеру) В ех уже достал, наверное, этими ссылками) https://docs.openstack.org/liberty/networking-guide/scenario-dvr-ovs.html https://networkop.co.uk/tags/openstack-sdn/ вторая ссылка - оч крутой бложик. Парень прям подробно-подробно разбирает все.

спасибо большое!

Можно адреса из внешней сети цеплять напрямую в инстансы, минуя механизм флоатинг ИП?

Можно адреса из внешней сети цеплять напрямую в инстансы, минуя механизм флоатинг ИП?

Можно

Это нормальное явление в стане попенстека или черезжопица?

это у тебя полчится тупая расшраенная сеть между проектами

Можно адреса из внешней сети цеплять напрямую в инстансы, минуя механизм флоатинг ИП?

у меня внешние сети в отдельных вланах, цепляю инстансы прямо в них - вроде всё норм

По факту создаётся vtep, который втыкается в br-int, а потом идёт через flow в br-ex. Сетку лучше сразу vlan делать, чтобы можно было херачить внешние сетки по тегу вилана

Спасибо за реплаи

ну что, звездный час комьюнити.

где там в метадате есть информация про ip, которые заассайнились на остальные интерфейсы, кроме первого?

не. ну первый-то ок получается. # curl http://169.254.169.254/latest/meta-data/local-ipv4 192.168.200.10

остальные где?

ты их как передавал?

или сразу просто интов нахерачил?

дак вопрос, что это классическая функциональность и дополнительно я их туда не передавал.

нахреначил сетей и интерфейсы в них.

и привет.

шо значит и привет? =)

что я хочу запросить список ip, которые оно заассайнило на порты

а оно отдаёт только один с первого интерфейса и игнорирует остальные.

надо код идити читать, видимо.

надо код идити читать, видимо.

да у этой поделки это обычная операция =)

надо ещё посмотреть, как у контрейла это реализовано

а то окажется, что метадата тоже своя.

и тогда вообще боль

https://github.com/openstack/nova/blob/stable/ocata/nova/api/metadata/base.py#L260

ну чот такое.

как бы вроде и должно, а вроде и нет.

ну то есть надо руками прибивать fixed_ips, видимо :(

это ж жесть какая.

Попытка №2. ReadOnly user без policy.json вообще возможен?

Попытка №2. ReadOnly user без policy.json вообще возможен?

Как тебе идея, в api оставить только get

Ставишь nginx на ендпоинты

Разрешает в нем только GET запросы

Разрешает в нем только GET запросы

Самое простое, пожалуй) А иначе с политиками возиться.

Как тебе идея, в api оставить только get

Хороший план

Ребята, подскажите куда копать: VXLAN не поднимается между нетворк и компуте нодой 🙁 Вот лог с компуте ноды, она шлет VXLAN пакет но порт никто не слышет… 23:17:40.133591 IP 10.88.2.2.45845 > 10.88.5.1.8472: OTV, flags [I] (0x08), overlay 0, instance 1 ARP, Request who-has 185.228.234.2 tell 185.228.234.12, length 28 23:17:40.133932 IP 10.88.5.1 > 10.88.2.2: ICMP 10.88.5.1 udp port 8472 unreachable, length 86

Кто у тебя выступает ендпойнтом для туннеля? Овс или ядро?

Если ядро, то там кажется нужно определенный модуль подгружать, но я не помню

Или может быть проблема с мультикастом

Кто у тебя выступает ендпойнтом для туннеля? Овс или ядро?

OVS

selinux, iptables/firewalld? Мультикаст от сорса до дестинейшна? Порт 4789 udp то вообще слушается? Другие туннели есть рабочие?

ничего такого нет. про мультикст не очень понял вопрос. 4789 вроде да но он почемуто шлет на 8472 пакеты. нет.

ничего такого нет. про мультикст не очень понял вопрос. 4789 вроде да но он почемуто шлет на 8472 пакеты. нет.

О, это кажется старый порт - его до iana-стандарта использовали

Vxlan-у нужен рабочий мультикаст между точками установки соединения емнип.

Гугл в общем, проблема должна быстро решаться как мне кажется.

Я офф

Ок спасибо

Ок спасибо

Не разобрался?

Vxlan-у нужен рабочий мультикаст между точками установки соединения емнип.

Не нужен. Он по-умолчанию работает в юникастовом режиме с ovs.

Ок спасибо

Начнем вот с чего: vxlan интерфейс соответствующий есть на нетворк сервере? Если да, смотри прям по цепчке дампы: физический интерфейс - br-tun - br-int Но с ovs эт не так просто как с обычными бриджами. Надо делать internal gорт и на него зеркалировать трафик. tcpdump не умеет слушать на ovs бриджах просто так)

В старых версиях попенстека если на компуте не было вм, то тонель между нетворком и компутом не поднимался

это так на всякий случай =)

В старых версиях попенстека если на компуте не было вм, то тонель между нетворком и компутом не поднимался

Да ну и в новых так же, вроде)

Какой командой в жопэнстеке можно вывести список всех ip адресов, ну типа openstack servers ip list

Да ну и в новых так же, вроде)

не проверял, скорее всего так да

Какой командой в жопэнстеке можно вывести список всех ip адресов, ну типа openstack servers ip list

openstack port list

или neutron port-list, если кли старый.

Не разобрался?

не знаю что помогло, либо обновление, либо echo "options vxlan udp_port=4789" >> /etc/modprobe.d/vxlan.conf

но теперь работает VXLAN и на нужный порт стучит

Начнем вот с чего: vxlan интерфейс соответствующий есть на нетворк сервере? Если да, смотри прям по цепчке дампы: физический интерфейс - br-tun - br-int Но с ovs эт не так просто как с обычными бриджами. Надо делать internal gорт и на него зеркалировать трафик. tcpdump не умеет слушать на ovs бриджах просто так)

теперь копаю в этом направлении… тк виртуальный роутер что-то не отвечает все равно

теперь трафик долетает до router’a но router (gw) не отвечает… # ip netns exec qrouter-b26e9ba6-0519-4e13-a1ad-503a552926d5 tcpdump -i qr-a33e174e-6e -nnn tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on qr-a33e174e-6e, link-type EN10MB (Ethernet), capture size 262144 bytes 13:05:25.730507 ARP, Request who-has 185.228.234.2 tell 185.228.234.3, length 28 13:05:25.963399 ARP, Request who-has 185.228.234.2 tell 185.228.234.12, length 28 13:05:26.731183 ARP, Request who-has 185.228.234.2 tell 185.228.234.3, length 28 13:05:26.965409 ARP, Request who-has 185.228.234.2 tell 185.228.234.12, length 28 13:05:27.733315 ARP, Request who-has 185.228.234.2 tell 185.228.234.3, length 28 13:05:28.962782 ARP, Request who-has 185.228.234.2 tell 185.228.234.12, length 28 # ip netns exec qrouter-b26e9ba6-0519-4e13-a1ad-503a552926d5 ip a show qr-a33e174e-6e 37: qr-a33e174e-6e: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN qlen 1000 link/ether fa:16:3e:db:63:6d brd ff:ff:ff:ff:ff:ff inet 185.228.234.2/24 brd 185.228.234.255 scope global qr-a33e174e-6e valid_lft forever preferred_lft forever inet6 fe80::f816:3eff:fedb:636d/64 scope link valid_lft forever preferred_lft forever

подскажете куда копать? :)

[root@controller ~]# ip netns exec qrouter-b26e9ba6-0519-4e13-a1ad-503a552926d5 arp -n Address HWtype HWaddress Flags Mask Iface 185.228.234.12 (incomplete) qg-11899318-e6 185.228.234.3 (incomplete) qg-11899318-e6 185.228.234.1 (incomplete) qg-11899318-e6

А посмотри ip route show чтоль...