Me
Господа
Me
вопрос есть
Me
На Compute и Controller nodes всего 2x10G
Как правильно распорядиться?
NS 🇷🇺
собрать в бонд и использовать влан
Me
Для CEPH в том числе?
Me
Для Ceph 4x10g
Me
2 планируется под синхронизацию, 2 для гостей
Me
Т.е. нормально будет всё на VLAN сделать?
Me
А не как гайд приписывает использовать отдельные NICs ?
Vadim
А не как гайд приписывает использовать отдельные NICs ?
все зависит, конечно, от задач (приватное облако или паблик), но вообще, установка отдельных карт для повышения производительности также предполагает что у тебя на нодах куча ядер (чтобы можно было обрабатывать очереди этих карт) причем без ht. Если нет столько ядер то ставить отдельные карточки не особо смысл, будет бутылочное горлышко на обработке
Me
все зависит, конечно, от задач (приватное облако или паблик), но вообще, установка отдельных карт для повышения производительности также предполагает что у тебя на нодах куча ядер (чтобы можно было обрабатывать очереди этих карт) причем без ht. Если нет столько ядер то ставить отдельные карточки не особо смысл, будет бутылочное горлышко на обработке
Приватное
С ресурсами особо не разбедишься, перееиспользуется старое оборудование под обещания построить VIM
Vadim
тогда бонд и вланы будет то что надо
Me
Me
Ок
Me
Спасибо
Vadim
оверлей планируется?
Me
Нет
Vadim
vxlan/gre?
Vadim
а ну тогда вообше все в шоколаде будет)
Me
Все тенанты будут выходить в приватнубю сеть
Me
через prov-br
Me
А если vxlan, то MTU нужно выкручивать?
Sergey
1600 и выше
Vadim
ну вообще желательно и так jumbo юзать, а так да придется накинуть
Sergey
не всегда jumbo хорошо
Vadim
ну и карты с offload нужны
Vadim
в идеале
Sergey
не в идеале, а нужны. иначе будет плач что vxlan это медленно
Sergey
с определенного количества сетей
Artem
не в идеале, а нужны. иначе будет плач что vxlan это медленно
А тут можно поподробнее? Вы сейчас про TOE?
Sergey
tcp offload это отдельно
Sergey
есть еще nvgre offload и vxlan offload
Sergey
ща
Sergey
Me
Любой 10G адаптер это уже умеет иМХО
Artem
tx-gre-csum-segmentation: on
tx-udp_tnl-csum-segmentation: on
Оно?
Ruslan
Если новый относительно. Вдруг у вас там пятилетнее железо.
Me
Там 520е карточки
Me
Спасибо за советы, сделаю 3 группы bond интерфейсов
2x10g (Storage, tenant, internal)
4x1g (api, external)
2x1g (mgmt)
J
Спасибо за советы, сделаю 3 группы bond интерфейсов
2x10g (Storage, tenant, internal)
4x1g (api, external)
2x1g (mgmt)
Привет, ребята)
А погоди минутку, я спросонья так и не понял, под цеф отдельная группа интерфейсов?
Me
Да, отдельная
Me
На стораж нодах
2х10G синхронизация
2x10G внешние
Vadim
в некоторых драйверах да, например меланокса
Artem
Intel Corporation Ethernet Controller 10G X550T
Vadim
но эт не панацея, тюннинг сети в линухе никто не отменял, очереди, буферы, другие перегрузки, softirq backlog и т.д.
Artem
но эт не панацея, тюннинг сети в линухе никто не отменял, очереди, буферы, другие перегрузки, softirq backlog и т.д.
Я понимаю, я просто не знал что есть в карточке инструкции для gre\vxlan
Artem
Теперь хочу понять работают ли они вообще
Vadim
offload?
Vadim
если включился - то работает
Vadim
смотри ethtool
Artem
Да включился, там выше и был ethtool
Vadim
если нет поддержки то драйвер не дает включить, там стоит off [fixed]
Vadim
не всегда jumbo хорошо
можно пример, ради интереса? в голову приходит только неподготовленная/кривая сеть
Sergey
например при использовании roce
Sergey
550 карты норм: "Network virtualization stateless
offload: VXLAN and NVGRE."
J
Точнее 2х10 + 4х1ж + 2х1ж
А, ну, в принципе нормально раскидал.
В зависимоти от степени фривольности взглядов твоих коллег и руководства можно, разве что, прикрутить к этому динамическую маршрутизацию.
Me
Me
Девиз коллег KISS
Uncel
Artem
Ну так и что, как оно калико? С opencontral можно сравнить? Хотя я и его плохо знаю =)
J
Девиз коллег KISS
В маршрутизации ничо сложного нет, так то)
Но эт ща холивар начнется какой-нибудь. Так чт, симпл так симпл)
Me
так что vlan лучший acl
Vadim
флуды на растянутый l2?) или вы уверены в контроле того что шлют все инстансы?
Me
уверены
Vadim
эх, идеальный у вас мир, всем бы так:(
Me
Секрет в кастом образах и жёстких правилах ИпТаблес
Me
Кстати, кто то использует две контроль ноды?
Me
Как HA сделано?