Молодец, что отписываешься после решения проблемы)

Ну а как по другому... )

Находишь тему на форуме с описанием проблемы, а там "Пацаны у меня всё заработало"

например)

В общем отписываюсь. На сетевом интерфейсе хоста MTU уменьшили до 1400 на глаз. Теперь миграция летает туда и обратно, хотя все так же в логах либвирта пишет что устройство занято. Даже задержек сетевых нет во время миграции... В общем такое дело )

А в чем изначальная проблема была? из первого поста плохо понятно(вроде как ругань либвирта и недоступность обратной миграции )

проблема была в две стороны... с любой из нод на другую и обратно. Винда начинала тупить и только перезагрузка помогала. То смотришь на либвирте две одинаковых виртуалки на разных хостах, одна потушенная, другая в онлайне.

Сеть задумывалась на 2-3 минуты...

Эм, а сеть какая? 1гб?

10гб

ШТО!?!?!??!! 1400 мту для 10г?

Серьёзно?!

А было сколько?

ну да, пока в тестовом режиме, отлавливаем... будет 9к, но пока так

1500 было

Эм, а 9к не пробовал?

А можешь по интерфейсу инфо скинуть сюда?

а mtu на всех нодах одинаковое?

ifconfig или чо там

bond0.3016 Link encap:Ethernet HWaddr 02:53:a8:4a:6d:f0 inet addr:10.78.220.215 Bcast:10.78.220.255 Mask:255.255.255.0 inet6 addr: fe80::53:a8ff:fe4a:6df0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1400 Metric:1 RX packets:1246209 errors:0 dropped:0 overruns:0 frame:0 TX packets:3635402 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:5172414081 (5.1 GB) TX bytes:4242782798 (4.2 GB)

на всех нодах

Эм, может в бондах проблема?

Именно в самом бонде

У меня не бонды, бриджи норм работали

?

а это бонд из каких устройств ?

Ну бонды сами по себе работают нормально. Сеть обеспечивают. Есть еще на одной ноде LACP а на другой нет. На это еще грешим

бонд это 2 сетевых интерфейса в 1

Эм,.. я хуй знает как правильно объяснить

Ну бонды сами по себе работают нормально. Сеть обеспечивают. Есть еще на одной ноде LACP а на другой нет. На это еще грешим

Хм, не думаю.

бонд из двух сетевух

10gbe ?

потом на 2 влана... да на 10

Такс

Стоп

Сек проверю

а кто-нить юзал mptcp для увеличения пропускной способности ?

всмысле совместно с ceph

А сервера в одной подсети?

У меня правда не убунту, но за тестирую

Хм,.. на бонде тоже бегает, туда-обратно

Проблема наверное в чём-то другом

да, в одной сервера, если у меня спрашивали

Интересно даже стало

Так, надо вернуть обратно :D

всем спасибо, пойдем домой )

А в логах окромя тех 3х строк ничего нет?

И в логах виртуалки

ну то что я показывал, в основном это... В логах виртуалки уже не посмотрим. Если всплывет такой проблем - скину

Ага

и другой лог, системный

может там чего есть

который кернел

а кто-нить юзал mptcp для увеличения пропускной способности ?

тоже интересно

а кто-нить юзал mptcp для увеличения пропускной способности ?

Нет(

@SinTeZoiD

У вас было такое?

@spuzirev

Multipath? Нет

А почему нет?

Не пробовал всмысле?

У меня l3 сети были с отключенным multipath. Его разве можно туда прикрутить не обеспечивая поддержку в самом сефе?

Хуя вопросики ?

Ну это магией выглядит, если так

Ну вообще там вроде L3 из каропки, на сколько я понимаю

так поддержка не нужна в цефе

Ненене, там написано типа отдельно для ceph l3

Всмысле, оно поддерживает, но надо настроить

10г сеть лучше сделай на интерконнект цефа

10г сеть лучше сделай на интерконнект цефа

На гигабите даже не пытаться?

На гигабите даже не пытаться?

Лабу можно. Интерконнект к проду тоже можно попробовать, но вдумчиво, понимая тип нагрузки. А вот интерконнект между нодами цефа нужен 10г. Иначе ребаланс будет долгим и печальным

Лучше просто взять и посчитать, сколько будет ребаланс и сколько будет потолок между цефом и клиентом

Если устраивает - велкам

Коллеги, я понимаю, что это чятег про openstack, но всё же отважусь задать вопрос. Можно ли в openstack создать attacheable volume без cinder? Volume же создаётся под каждую виртуалку без cinder, значит должна быть возможность создавать его без отдельного хранилища. Пока у меня только вот такой результат: $ cinder list +--------------------------------------+--------+-------------+------+-------------+----------+-------------+ | ID | Status | Name | Size | Volume Type | Bootable | Attached to | +--------------------------------------+--------+-------------+------+-------------+----------+-------------+ | ae59dee1-e889-48bb-963d-1dfd904784ad | error | test | 10 | - | false | | +--------------------------------------+--------+-------------+------+-------------+----------+-------------+

Итак, контролер упал, зато все компьют ноды остались рабочими. Но, все инстансы потеряли сеть. Сеть с инстансами вернулась когда контролер вернули. Что это может быть? Почему такая надобность в контролере для работы сети?

А на чем сеть? Linux bridge?

Да

Пока седим на Митаке

если сеть легаси, то это нормально поведение, если DVR то надо разбираться

Что такое сеть легаси?

А шлюзом что является? Не сам контроллер?

Когда все подымали, то подымали по официальным докам митаки + self service

Что такое сеть легаси?

тупые сеточки, когда весь трафик течет наружный через нетворк ноду

А шлюзом что является? Не сам контроллер?

Сейчас с сетевой командой проверю

Походу да, он на контролере

Подскажите тогда как все настроить тогда

Буду благодарен

Вроде нашел: https://wiki.openstack.org/wiki/Neutron/DVR

Оно?

http://docs.openstack.org/liberty/networking-guide/scenario-dvr-ovs.html

хоть ссылка и на либерти, но на митаке тоже проверялось

В общем если контроллер шлюз и различные подсети для виртуалок, соответственно при отключении контроллера они не будут друг друга видеть. Если в одной подсети, то пофигу

Как вариант несколько контроллеров и HA роутеры

По volume у кого-нибудь есть соображения?

По volume у кого-нибудь есть соображения?

не понимаю вопроса- по сути ты на cinder можешь скормить локальную lvm vg и она по iscsi будет подключаться на compute ноды(хранилка не отдельная- все в рамказ ноды, где стоит cinder-volume)

у меня нет cinder host'а

у меня кактус под названием rackspace private cloud

Это нормально в нашем не нормальном мире

что есть cinder host? у тбея есть где запутсить cinder-volume и где будет lvm vg, которую можно пользовать как хочется?

* но естественно, если этот хост с cinder-volume упадет- то все виртуалки лягут по отвалу диска