Такое в принципе не возможно на одной машине

Разве что теги вланов снимать на гипервизоре

Vf не умеют транк. Интеловые карты точно нет. Только акцесс (pvid)

Понятно

Добрый день всем

и вам не хворать и не мигрировать виртуалки почем зря

Всем доброго дня

Здесь про ceph под PVE можно задавать вопросы?

про KVM и не посредственно сам PVE да. Если про ceph, то откуда пришел :)

Здесь про ceph под PVE можно задавать вопросы?

какое кэширование на виртуалках включено ?

Кстати, дискард снижает производительность на цефе или нет?

мне пока интересно как вносить правки в /etc/pve/*conf И ceph.conf в частности

мне пока интересно как вносить правки в /etc/pve/*conf И ceph.conf в частности

Я просто правлю /etc/pve/ceph.conf И проверяю или файл расползся по всем нодам

Потом рестартую необходимые демоны

зачем их вообще рестартавать

?

нужно только виртуалку выключить/включить

зачем их вообще рестартавать

Например если меняешь параметры OSD, не все инжектится нормально

стандартный клиент читает из /etc/ceph/ceph.conf

/etc/ceph/ceph.conf - симлинк на /etc/pve/ceph.conf

у мну еще такой мальнький проблем, завел сервер PVE-apollo1 в проксмокс - в /etc/hostname он сел с доменным префиксом, я проморгал. На всех нодах он норм завелся кроме ноды ceph3 - в итоге миграция VM с PVE-apollo11 -> ceph3 Норм, а обратно no such cluster node 'pve-apollo1' (500)

добавь статично все ноды на всех нодах в /etc/hosts

только pvelocalhost не скопируй...

ceph1 { "nodename": "pve-ceph1", "version": 16, "cluster": { "name": "pve-cluster", "version": 4, "nodes": 4, "quorate": 1 }, "nodelist": { "pve-ceph1": { "id": 1, "online": 1, "ip": "10.10.254.113"}, "pve-ceph2": { "id": 2, "online": 1, "ip": "10.10.254.114"}, "pve-apollo1": { "id": 4, "online": 1, "ip": "10.10.254.120"}, "pve-ceph3": { "id": 3, "online": 1, "ip": "10.10.254.115"} } } ceph3 { "nodename": "pve-ceph3", "version": 10, "cluster": { "name": "pve-cluster", "version": 3, "nodes": 3, "quorate": 1 }, "nodelist": { "pve-ceph1": { "id": 1, "online": 1, "ip": "10.10.254.113"}, "pve-ceph2": { "id": 2, "online": 1, "ip": "10.10.254.114"}, "pve-ceph3": { "id": 3, "online": 1, "ip": "10.10.254.115"} } }

/etc/pve/.members

pve-ceph3:~# pvecm nodes Membership information —------------------— Nodeid Votes Name 1 1 pve-ceph1 2 1 pve-ceph2 3 1 pve-ceph3 (local) 4 1 pve-apollo1

Кстати, прокс сам чекает SMART, и предупредит о проблеме. Или нужно самому клацать по каждому диску/ноде?

в логи точно сыпет warning

научился?

smart не всегда выручает. диск может тормозить месяц, потом перестать работать вообще без единой проблемы в smart. ну это если диски без tler и ему подобных.

посему нужно мониторить параметры дисков отдельно от smart

iostat?

например да

всем привет посоветуйте как лучше opennebula ставить фронт на хост (ноду) или вынести фронт на отдельную вм?

VM на vmware vsphere c HA

Откуда картинка?

Сам рисовал

А зачем это может быть нужно?

Без подковырки, честно спрашиваю (-:

увеличить производительности сетевой подсистемы в нужных виртуалках, которым нужна быстрая сеть\

увеличить производительности сетевой подсистемы в нужных виртуалках, которым нужна быстрая сеть\

Типа, чтобы без OVS, сразу шли?

что такое DVS?

ой, сорян

open vswitch

с овс, вместе

что такое DVS?

А ты просто тестировал производительность так и так, разница большая?

разница с virtio есть

Или это мыслеэксперимент?

по pps

То есть через OVS медленнее чем через транк?

По пакетам в секунду?

через просто ovs медленнее, чем через sr-iov

для того и изобрели sriov

хочется вместе их заюзать

т.к. ovs удобен

а sr-iov производителен

Теоретически, такая схема ничему не противоречит.

А почему сам не попробуешь?

теоретически, да

попробую

есть куча наработок вокруг этой связки, плюс dpdk

но я не видел ничего вне neutron

Как же хочется забыть про коммутацию уже (-:

Странно что по пакетам, он же все-таки OpenV Switch

почему? sriov это практически passthrough, виртуализация интерфейса там на уровне asic, никакого тормозного софта

Я думал он сразу eth0 передает весь тегировнный трафик и вообще весь второй уровень

То есть OVS через карту не разгружает?

он не передает, он прямо с ним работает. vmfex передает, но через macvtap, что тоже быстрее чем простой tap

ну это работает на уровне ядра, а не на уровне асиков

овс

Буду знать (-:

это все нужно только для очень специфичных нагрузок

воип всякий, телекомовский, транзакционные машины

И никак нельзя включть это в самом адаптере?

в каком адаптере?

в свойствах сетевой карты

если адаптер это поддерживает, то он просто показывает хосту себя как физ. порт, плюс набор виртуальных функций к которым можно прицепить машины

На серверных картах же есть всякие фишки по разгрузке, вот я про это говорю.

когда цепляется машина, то она получит мак виртуальной функции и будет себя вести как будто у нее есть физ. карта

разгрузка это другое - ToE/LSO/LRO/TSO

они для специфичных нагрузок, iscsi например

Короткий ответ "Нет"?

если есть энтерпрайзная карта то в ней могут быть sriov функции, но это не во всех

ответ (всегда) - it depends

Понятно, что для специфических (-: кому еще охота изъебываться? Только если прижало.

там просто проблема получается - так как это проброс, но миграция ахтунг

*то

с vmfex это можно обойти, с sriov насколько я знаю - нельзя, но я очень давно не трогал это дело

https://www.ovirt.org/develop/release-management/features/network/liveMigrationSupportForSRIOV/

по ходу можно уже

с vmfex это можно обойти, с sriov насколько я знаю - нельзя, но я очень давно не трогал это дело

Да, это сразу проблема. Получаем на хосте, несколько пэтов, которые никуда не могут смигрировать и настройки делаются вручную.

https://www.ovirt.org/develop/release-management/features/network/liveMigrationSupportForSRIOV/

Так и запишем (-:

я помню когда ucs только вышел у меня был разговор с технарями из циско о том же, но с vmfex, и они клялись что миграция точно невозможна. две недели спустя я эту миграцию гонял у себя в кластере