Artem
Сейчас вопрос такой возник как думаете, на кокой ОС в итоге лучше Openstack разворачивать, Ubuntu 22.04 или Centos 8 Stream
Илья | 😶☮️🐸
Artem
Вот начали ковырять, в ubuntu уже готовые конфиги практически, в centos муторных моментов много, права и тд
Artem
и модули в репозетарии вроде все есть
J
Vyacheslav
Artem
да у нас все в ручном варианте)))
Artem
ахахах
Artem
Согласен
Илья | 😶☮️🐸
Roman
В kolla ubuntu 20.04
Centos же тоже поддерживает, не?
https://docs.openstack.org/kolla-ansible/latest/user/support-matrix.html
Vyacheslav
Vyacheslav
Но kolla уже не поддерживает. C7
Pavel
ну я хз как там в коллах но я уже не говтов обратно на ансиблы для опенстека.
Dmitry
Вот, уже теплее. Потому что нова на гипере плевать хотела на этот параметр. :(
Нова на гипере к созданию объекта в опенстеке не имеет никакого отношения
Dmitry
Задумался. Че?
Нова компьют не создаёт объектов в опенстеке, создание объектов - это апишки, скедулеры и так далее
Dmitry
Stanley
И? Я все еще не понимаю мысль. Если выставить max local=0 на контролах, то ни на каких гиперах нельзя будет сделать вмки с локал дисками
Stanley
Nova api, скеджел и прочее - это на контролах
J
Stanley
Ну и что тебя смущает в этом?
То что это тупо. На части гиперов нужны локалы, на части - цеф
Dmitry
Опенсурс - боль
J
То что это тупо. На части гиперов нужны локалы, на части - цеф
Тупо, как по мне, пытаться с помощью конфигов запретить пользователям создавать локальные диски)
J
Ну сделай отдельный cell или смонтируй на гипервизорах в /var/lib/nova/instances файл нулевого размера.
J
Или еще круче.
Можно просто сделать host aggregate с гипервизорами где НЕЛЬЗЯ создавать локальные диски, навесить на aggregate трейт и в нужные флейворы прописать этот трейт как запрещенный. И тогда они никогда выбираться не будут.
Можно и без агрегата напрямую навесить.
J
А на остальных будет создаваться.
Stanley
Ну вот пока пытаюсь разобраться что тут наделали. Потому что опция есть, но гиперу на нее плевать. Есть агрегаты, но и на агрегаты плевать.
Stanley
А запрещать делать локал диски на рейде под систему - по моему логично.
Nikolay
Мы тут потестили fc vs local SSD, из коробки fc уделывает локальный диск от слова совсем. Особненно если на соседней вм сделать dd
Илья | 😶☮️🐸
Мы тут потестили fc vs local SSD, из коробки fc уделывает локальный диск от слова совсем. Особненно если на соседней вм сделать dd
главное чтоб хранилка не померла
Nikolay
Переваривает легко
Fedor
Мы тут потестили fc vs local SSD, из коробки fc уделывает локальный диск от слова совсем. Особненно если на соседней вм сделать dd
Потому что фибра пишет в большой красивый рам кеш FC хранилки или ещё есть тому причины?
Nikolay
Там с очередями приколюхи
Илья | 😶☮️🐸
а изучали и взвешивали выбор хранилки и локальные диски ?
Nikolay
Суть в том, что 3вм , на двух запускаем fio, видим 27к iops, на третей делаем dd , iops падают до 300 без K
Илья | 😶☮️🐸
сеть какая и на чём ?
Nikolay
Fc
Илья | 😶☮️🐸
может по сети не пролезает ?
Nikolay
Изучали как раз по причине попыток запрета локальных дисков :)
Nikolay
Встал вопрос а какой с них приход
Aleksandr
Суть в том, что 3вм , на двух запускаем fio, видим 27к iops, на третей делаем dd , iops падают до 300 без K
видел в вмваре аналогичную ситацию на EMC Celerra - проблема была в драйвере EMC PowePath
Nikolay
Если нет fc, но нади иопсов, то похоже только nvme отдельным диском
Nikolay
Может и драйвер, но тут был тупой тест из коробки
Aleksandr
карточки небось qlogic попробуйте последнюю фирмварь подложить
Nikolay
Может быть, я в последний день перед отпуском воткнулся :)
Nikolay
В любом случае, локальные диски да еще на системном, выглядят как зло
Nikolay
Да и всякие гуру облизстека пишут - нинада локальный диск
Nikolay
Был такой смешной случай, поставили на контрольной прометеи и все что можно, бодрая мазакари по увеличению таймаута при параллельном многопоточном темпесте решила, что всему стало плохо
Nikolay
Пошла годы и новакомпуты в мейнтенас увела :)
Artemy
Да и всякие гуру облизстека пишут - нинада локальный диск
Ну типа да, с появлением волюмов эфемерки заобсолетили
Nikolay
Один из мотивов это миграции и рекавери
Nikolay
Но очень спорно, т.к. если нужен ha, то надо клиенту сервис в ha, а не молиться на отказоустойчивость инфры
Nikolay
Но случаи, клиенты разные
J
почему ?
Тоже не вижу почему. Если с умом подходить, а не бубнить себе мантры про добро и зло, то всё хорошо будет.
Илья | 😶☮️🐸
Тоже не вижу почему. Если с умом подходить, а не бубнить себе мантры про добро и зло, то всё хорошо будет.
не ну правды ради, я бы сам перешёл на хранилку отдельную и просто заваливал её дисками, но
1. произошло 24 февраля, который сбил все цепочки доставки в РФ
2. оверинжиниринг
3. стоимость и риски
J
не ну правды ради, я бы сам перешёл на хранилку отдельную и просто заваливал её дисками, но
1. произошло 24 февраля, который сбил все цепочки доставки в РФ
2. оверинжиниринг
3. стоимость и риски
А почему все время сетевое хранилище и тома противопоставляют локальным дискам?
Это для разных задач два вида дисков.
Stanley
А почему все время сетевое хранилище и тома противопоставляют локальным дискам?
Это для разных задач два вида дисков.
Задачи у них как раз одни - давать блочное хранение.
Stanley
Суть в том, что 3вм , на двух запускаем fio, видим 27к iops, на третей делаем dd , iops падают до 300 без K
Фио можно так запустить, что и 100к сферических иопсов увидите. Про измерение dd лучше вообще не заикаться.
Fc то 8 или 16 хотя бы было?
Nikolay
Не dd не измеряло, а убивало iops на вмках соседних
Stanley
Хотелось бы все же закрыть тему с локал дисками и параметром max_local_block_devices = 0
Если, как написали вчера "нова на гиперах не участвует в разрешениях на создание объектов опенстека", то почему в api.py на гиперах есть этот код:
max_local = CONF.max_local_block_devices
if max_local >= 0:
num_local = len([bdm for bdm in block_device_mappings
if bdm.destination_type == 'local'])
if num_local > max_local:
raise exception.InvalidBDMLocalsLimit()
J
Хотелось бы все же закрыть тему с локал дисками и параметром max_local_block_devices = 0
Если, как написали вчера "нова на гиперах не участвует в разрешениях на создание объектов опенстека", то почему в api.py на гиперах есть этот код:
max_local = CONF.max_local_block_devices
if max_local >= 0:
num_local = len([bdm for bdm in block_device_mappings
if bdm.destination_type == 'local'])
if num_local > max_local:
raise exception.InvalidBDMLocalsLimit()
Ну значит только на гипервизорах и применяется этот параметр.
В коде нигде больше не встречается, вроде.
J
А почему у тебя не работает хз. Вставь в код в интересующих местах логирование и глянь)
Содержимое block_device_mappings, например.
Stanley
А почему у тебя не работает хз. Вставь в код в интересующих местах логирование и глянь)
Содержимое block_device_mappings, например.
Да вот вчера на этом и остановились.
Просто меня вчера пытались убедить что параметр надо вкидывать в нова апи или плесмент. А на гиперах он не заработает
J
Stanley
Ну и стоит ли людей в это тыкать?)
Шутишь? Да меня хлебом не корми, дай в людей потыкать. :)))
Stanley
На самом деле, надо бы разобраться с этой бородой...
Stanley
И я благодарен всем за мнения и помощь. Серьезно.
J
Но ваще тебе этот параметр не особо полезен будет. Он все равно ж к ошибке будет приводить. С точки зрения конечных пользователей это косяк.
Artemy
Хотелось бы все же закрыть тему с локал дисками и параметром max_local_block_devices = 0
Если, как написали вчера "нова на гиперах не участвует в разрешениях на создание объектов опенстека", то почему в api.py на гиперах есть этот код:
max_local = CONF.max_local_block_devices
if max_local >= 0:
num_local = len([bdm for bdm in block_device_mappings
if bdm.destination_type == 'local'])
if num_local > max_local:
raise exception.InvalidBDMLocalsLimit()
Потому что ты не понимаешь структуру кода. Код из compute/api.py используется нововской APIшкой через конструкцию
from nova import compute
...
self.compute_api = compute.API()
Artemy
Так что смотри не в каком файле код лежит а из какого он вызывается
Stanley
Потому что ты не понимаешь структуру кода. Код из compute/api.py используется нововской APIшкой через конструкцию
from nova import compute
...
self.compute_api = compute.API()
Я нигде не писал что я знаю код. Именно по этому и задал вопрос. А отвечать «чувак, ты не знаешь код и по этому вот тебе другой код» - немного странно. :)
Stanley
Так что смотри не в каком файле код лежит а из какого он вызывается
Нова апи на контролах, API. Py на гиперах. И вызывается через контролы? Вот сейчас серьёзно? :)