у контролла?

надо смотреть драйвер для rbd в последнем циндере - как реализована функция retype/migrate_volume

очевидно да

ну, по графику очевидно, что трафик льется от CTR =) Весьма вероятно, что без записи на диск. А свобродное место на файловых системах меняется? дефолтный шаблон заббикса снимает эту инфу

например, при разворачивании блочного устройства из образа - он активно записывает в лиректорию conversion контроллера

например, при разворачивании блочного устройства из образа - он активно записывает в лиректорию conversion контроллера

Ну это естественно, cinder конфертирует через qemu-img и ему ж надо куда-то в новом формате образ временно записать.

Но это здесь непричем, думаю.

ну, по графику очевидно, что трафик льется от CTR =) Весьма вероятно, что без записи на диск. А свобродное место на файловых системах меняется? дефолтный шаблон заббикса снимает эту инфу

неа место не меняется, оператива тоже

Volume что то курочит, проц жрет

неа место не меняется, оператива тоже

значит гонит каким-то образом напрямую.

Volume что то курочит, проц жрет

Ну значит через него проходит все.

хотя, в rbd.py вижу def retype(self, context, volume, new_type, diff, host): """Retype from one volume type to another on the same backend."""

Дайте ссылочку на github плз?

тоесть в рамках одного кластера из пула в пул гонит у нас же один бэкэнд - один кластер?

https://github.com/openstack/cinder/blob/master/cinder/volume/drivers/rbd.py

тоесть в рамках одного кластера из пула в пул гонит у нас же один бэкэнд - один кластер?

Неа, два разных backend, два разных pool, два разных ДЦ

Отсюда уезжает

Cюда едет

Ребята, а давайте вот так? https://www.sebastien-han.fr/blog/2013/11/25/ceph-find-whos-mapping-a-rbd-device/

Ребята, а давайте вот так? https://www.sebastien-han.fr/blog/2013/11/25/ceph-find-whos-mapping-a-rbd-device/

Воо, спс, счас попробую. Но судя по всему он просто перегоняет используя cinder-volume

Ну это логично, так т.

Ну это логично, так т.

Меня пугало то как он это делает, не охото чтобы он сначала себе клал потом туда отправлял

Место не резиновое на серваке =)

Он не кладет.

Ваще вот чего-то про cinder и rbd mirror. https://gist.github.com/jbernard/1d7359cac7641216659066b3860760d6

То ли я тупой то ли чтоб retype между кластерами делать как ты хочешь - напрямую, надо руками включить mirror и тогда cinder будет видеть что образ уже есть в новом кластере и не станет трафик через себя гнать, а просто переключится на копию в новом кластере.

Прикольно... добавил новые ноды в фуеле а он мне опенстек переустанавливает 😕

перезапускает необходимые таски

может быть достаточно опасно

для добавления новых нод лучше запускать таски вручную по порядку

я не заметил там запуск по порядку...

из консоли

при этом опенстек продолжает работать

ок

сейчас доку гляну

fuel node —node {node,node,node} —tasks {task}

1 rsync_core_puppet 2 pre_hiera_config 3 override_configuration 4 upload_configuration 5 configuration_symlink 6 plugins_rsync 7 plugins_setup_repositories 8 copy_deleted_nodes 9 copy_changed_admin_user 10 sync_time 11 lcm-certificates 12 reserved_ports

Ну в доке может не быть))

эм и какждую операцию по очереди

и таски могут быть разными в зависимости от того, какие плагины поставлены

если Вам дорог ваш кластер и ворклоад на нем

я так думаю он наверное на старых нодах не переустанавливает опенстек, а всеголишь вносит изменения в конфигурации

мда осталось понять что в каком порядке)) вручную запускать

на следующей ноде надо будет проверить

Ну так installng openstack - означает лишь, что он запускает таски

в каком порядке и какие тасски он запускает - бог только знает)

там есть лог графический))

вот и капец

[ 3362.344710] bnx2x 0000:1b:00.0 enp27s0f0: NIC Link is Down [ 3362.384364] bnx2x 0000:1b:00.0 enp27s0f0: NIC Link is Up, 10000 Mbps full duplex, Flow control: ON - receive & transmit [ 3362.914731] bnx2x 0000:1b:00.0 enp27s0f0: NIC Link is Down [ 3362.952426] bnx2x 0000:1b:00.0 enp27s0f0: NIC Link is Up, 10000 Mbps full duplex, Flow control: ON - receive & transmit

что ему надо...

настройки один в один с соседними нодами на портах

Settings for enp27s0f0: Supported ports: [ FIBRE ] Supported link modes: 1000baseT/Full 10000baseT/Full Supported pause frame use: Symmetric Receive-only Supports auto-negotiation: Yes Advertised link modes: 10000baseT/Full Advertised pause frame use: Symmetric Receive-only Advertised auto-negotiation: No Speed: 10000Mb/s Duplex: Full Port: FIBRE PHYAD: 1 Transceiver: internal Auto-negotiation: off Supports Wake-on: g Wake-on: g Current message level: 0x00000000 (0) Link detected: yes

Я такое видел когда gso\gro и прочиие оффлоды включены.

хм

попробую

непомогло попробую лезвие передернуть

Ну, кстати, с супермикровскими twin\quad самые разные глюки бывали пока сервер не передернешь физически. Но у тебя блейд ж, это другое, наверное)

так там 10г отдельной платой

на лезвии

Доброе утро.

Вечер

Подскажите, есть OpenStack Pike - https://www.openstack.org/software/pike/ 5 физических серверов. 1 Controller node 3 Computer node 1 Block Storage (Cinder) Свежая инсталляция никого кроме меня доступа к ней нет. Развернуто 10 инстансов. Сегодня ночью один произвольно перезагрузился, в логах инстанса: Oct 26 01:56:35 localhost sshd[1008]: Server listening on 0.0.0.0 port 22. Oct 26 01:56:35 localhost sshd[1008]: Server listening on :: port 22. Oct 26 01:56:35 localhost systemd-logind[1015]: Watching system buttons on /dev/input/event0 (Power Button) Oct 26 01:56:35 localhost systemd-logind[1015]: New seat seat0. Oct 26 01:58:17 localhost sshd[1015]: Server listening on 0.0.0.0 port 22. Oct 26 01:58:17 localhost sshd[1015]: Server listening on :: port 22. Oct 26 01:58:17 localhost systemd-logind[1048]: Watching system buttons on /dev/input/event0 (Power Button) Oct 26 01:58:17 localhost systemd-logind[1048]: New seat seat0. Т.е. выглядит так как будто с контроллера была отправлена команда soft reset. Вопрос в куда копать ?

Инстансы и хосты на Ubuntu 16.04.03

По куску логов, что у вас, ничего нельзя сказать, так то.

я смотрел nova-compute.log на compuer node, там ничего нет

в какие ещё логи можно позаглядывать ?

логи ipmi/ilo/rmm/и тд/syslog

soft reset мог и oom отправить

смотрите qemu Логи у инстанса этого

ну и, безусловно, syslog на invoke

>смотрите qemu Логи у инстанса этого ну так это nova. смотрел, не вижу там ничего не обычного

soft reset мог и oom отправить

там памяти ещё вагон

>смотрите qemu Логи у инстанса этого ну так это nova. смотрел, не вижу там ничего не обычного

Не логи nova)

Логи qemu самого)

там памяти ещё вагон

Может быть ее уже вагон ;)

Если есть ощущение в софт ресете - значит гипер отдал сигкилл

Может быть ее уже вагон ;)

там забикс смотрим на неё, не было там провала.

Если есть ощущение в софт ресете - значит гипер отдал сигкилл

как бы это узнать?