Andrey
Подскажите, по поводу проброса дисков в вм. Есть рэйд с 24 дисками, в ОС я их вижу как sdb,sdc.... Возможно эти диски целиком пробрость в вм как дополнительные диски?
Andrey
Это не рейд
На рейде все диски как jbod настроены.
icewolf
raid из 24 дисков… кто это в нас такой богатенький Буратино, обладатель схд от netapp
icewolf
Это не рейд
Мастера лингвистики из одноименной квадратной компании netapp называют это aggregate
Andrey
В одну вм?
Нет, в целом использовать такую возможность.
Vadim
На рейде все диски как jbod настроены.
Если говорить про опенстак, то это должна быть поддержка со стороны cinder, вероятно вам придётся написать свой драйвер и про миграцию можно забыть, ну и смысл от такого решения
J
Нет, в целом использовать такую возможность.
В целом это будет сложно. Есть десятилетней давности блюпринт, за который никто не брался: https://blueprints.launchpad.net/nova/+spec/add-virtio-scsi-bus-for-bdm А сам по себе virtio-scsi позволяет мапить блочные устройства, да. У тебя какая-то задача которая прям требует проброса сырых блочных устройств?
Andrey
За ссылку спасибо, для информации.
J
Хотел nvme диски пробродить, через PCI. Но пока нету серверов с nvme, но есть сервера с кучами дисками, вот и возник вопрос.
Так это вообще по-разному работать будет) А почему хочешь NVMe пробрасывать как PCI устройства?
Andrey
Так это вообще по-разному работать будет) А почему хочешь NVMe пробрасывать как PCI устройства?
Нужны вм с быстрыми дисками. Кстати после такого вопроса. А что есть другие варианты пробросить нвме в вм?
J
Нужны вм с быстрыми дисками. Кстати после такого вопроса. А что есть другие варианты пробросить нвме в вм?
Конечно. Например, не пробрасывать, а просто на nvme хранить raw диски виртуалок.
J
Не, задача от бизнеса использовать диск целиком.
Бизнес не шарит же нихуя, зато задачи раздавать горазд)
Andrey
Мы иногда сами не знаем что хотим.😂
Andrey
Бизнес не шарит же нихуя, зато задачи раздавать горазд)
Есть другое облако из фарфоровой страны и много фич хотят заиметь в новом облаке по аналогии.
J
Раз задача "использовать диск целиком", значит 100% каприз чей-то, а не объективное и обоснованное требование. Проброс NVMe добавит возни, скорее всего. И немало. Там тебе и необходимость играться с типами машин, чтобы все PCIe BAR мапились корректно и, возможно, танцы с подсовыванием ROM файлов и бог знает чо еще) А ради чего хз.
J
"Шоб было как в Tencent"
Andrey
И вот спустя столько времени, опять?)
Ага, я помню как руками правил конфигурации от вм и впихивал туда диск целиком.
J
Накоплю денег и памятник менеджеру-мудаку за свой счет поставлю)
Roman
Раз задача "использовать диск целиком", значит 100% каприз чей-то, а не объективное и обоснованное требование. Проброс NVMe добавит возни, скорее всего. И немало. Там тебе и необходимость играться с типами машин, чтобы все PCIe BAR мапились корректно и, возможно, танцы с подсовыванием ROM файлов и бог знает чо еще) А ради чего хз.
не соглашусь. если требования к латенси и iops у клиента то использование механизма проброса целиком карточки рейда внутрь гостя единственный способо выжать максимум производительности от дисковой подсистемы железки. Любые слои виртуализации не бесплатны с точки зрения стоимости операции и внесут или просадку по производительности или увеличение латенси. Если я не прав прошу агрументно доказать обратное.
Roman
Ага, я помню как руками правил конфигурации от вм и впихивал туда диск целиком.
не диски перекидывай а целиком контролер рейда через pci pass внутрь гостя
Andrey
Конечно. Например, не пробрасывать, а просто на nvme хранить raw диски виртуалок.
Вот кстати вспомнил, я же так смогу использовать только рутовый диск. А попросят второй и третий дополнительный диск.
Roman
Или трусы снять или крестик одеть :)
J
не соглашусь. если требования к латенси и iops у клиента то использование механизма проброса целиком карточки рейда внутрь гостя единственный способо выжать максимум производительности от дисковой подсистемы железки. Любые слои виртуализации не бесплатны с точки зрения стоимости операции и внесут или просадку по производительности или увеличение латенси. Если я не прав прошу агрументно доказать обратное.
Не буду) Возьми сам, посмотри на разных NVMe и разных ФС насколько велика потеря линейной производительности или насколько больше заержки для разных операций в сравнении с сырым устройством и там уже решай. Каждый менеджер в душе руководитель лаборатории в CERN. Надо из процессоров выжать всё до последнего такта, из дисков всё до последнего иопса (а как же еще сотни гигабайт в секунду писать с детекторов частиц), а из людей выжать всю душу, получается) А потом на всём этом великолепии пользователи облака крутят написанного на nodejs бота для тыканья хомяков)
Roman
С хомяком прям в точку )))
J
С хомяком прям в точку )))
Ну я к тому веду что конечно будет похуже производительность, но это проценты, а не десятки процентов. И чаще лучше смириться с этим чем пытатсья выжать всё и потом мучиться при повседневном обслуживании)
J
За щеку набери.
icewolf
На секунду отошел
J
Ну я к тому веду что конечно будет похуже производительность, но это проценты, а не десятки процентов. И чаще лучше смириться с этим чем пытатсья выжать всё и потом мучиться при повседневном обслуживании)
Например, прокинув NVMe как PCI устройство ты не то что лишишь себя живых миграций для ВМ с прокинутыми дисками, но и офигеешь если кто-то случайно сделает обычную холодную миграцию. Она пройдет штатно, но данные то между NVMe проброшенными не скопируются. И получишь технически завершенную миграцию, но без переноса данных.
J
Какие в лес NVMe, у него же написано "sdb, sdc". Были бы NVMe - были бы nvmeXnY
Ты чего) Он же написал что хочет поэкспериментировать перед тем как на NVMe делать) >Хотел nvme диски пробродить, через PCI. Но пока нету серверов с nvme, но есть сервера с кучами дисками
icewolf
потому как при выходе в прод и простреле виска, комьюнити не сможет вам помочь собрать мозги обратно
icewolf
Так что единственное что хочется порекомендовать, послать коммерсантов-манагеров в Tencent пусть покупают и внедряют
icewolf
это будет очень дорого
icewolf
но избавит от геморроя во всю задницу и вас и коммерсантов
icewolf
по поводу деняг, это будет дороже rhosp+vk cloud 4 on-prem+airship вместе взятых и оплаченных.
icewolf
все начнется с обучения и идеологии это где то 3 года
Artemy
Ну с другой стороны проброс PCI вроде давно есть - https://docs.openstack.org/nova/pike/admin/pci-passthrough.html
J
Ну с другой стороны проброс PCI вроде давно есть - https://docs.openstack.org/nova/pike/admin/pci-passthrough.html
Есть и nvme норм пробрасывается. Но не совсем без проблем и смотри чо выше я про миграции написал)
Artemy
Когда используется проброс хостовых девайсов, слово "миграция" становится оксюмороном
J
Когда используется проброс хостовых девайсов, слово "миграция" становится оксюмороном
Да не, с любыми устройствами кроме устройств хранения это норм тема. Ну да, живые миграции только с sr-iov сетевушками и mdev видюшками работают, но холодные то норм. А тут при холодной миграции виртуалка уедет, а данные останутся, а ты и не поймешь сразу.
Artemy
И как это потом мигрировать будет?
Тыжпрограммист, тыж и придумывай.
icewolf
Тыжпрограммист, тыж и придумывай.
Я коммерсантам вот так отвечу
icewolf
не мое дело думать за дураков
J
не мое дело думать за дураков
Твоё) А их дело бизьнес стратегию выдумывать и говорить "хочу вот так".
icewolf
Твоё) А их дело бизьнес стратегию выдумывать и говорить "хочу вот так".
Пусть хотят, а потом когда окажется что надо соответствовать требованиям ЗО КИИ по первому классу? Тогда что… ой всё?
J
Пусть хотят, а потом когда окажется что надо соответствовать требованиям ЗО КИИ по первому классу? Тогда что… ой всё?
Тогда всё. Ну и стрёмно на эти бумажки ссылаться. Их такие ж надутые пиджаки и пишут. Только с военно-кгбшным прошлым. Сами практическую безопасность ни в сфере ИТ ни в сфере ограничения доступа к физической инфраструктуре это ИТ поддерживающей у них нету.
J
На тебе вот, дорогой, далласлок, касперский и сейф с touch id таблеточками закрытый на кодовый замок. Ну и решеточки на окна. Всё, безопасноооо - спасу нет.
icewolf
KUMA еще забыл
icewolf
ну и иконки рядом с монитором
J
ну и иконки рядом с монитором
С Владимиром Владимировичем, Дмитрием Анатольевичем и Александром Василичем Бортниковым.
icewolf
Ну это смотря где)
Не ну как бы в загранице да..
icewolf
вообще это все я хочу вот так.. берешь магарам хочунам.. вот тебе дискета с линукс кернел.. остальное сам напишешь
icewolf
правда это не дискета, а Iomega-zip
icewolf
что бы усложнить начальные условия
Denis
icewolf
это что за барабан?
Denis
Пакет сменных магнитных дисков ЕС-5261 производство Болгария, 80ые
Denis
как раз самое то для linux kernel
Denis
можно записать и в Гохран положить
Denis
на случай ядерной войны
Alex
icewolf
на случай ядерной войны
В случае ядерной войны не пригодится. Потому что изобретут нечто подобное для считывания только через 2 млн лет
Denis
Ну значит загрифовать и всем господрядчикам облаков по спецпочте под роспись выдавать
icewolf
Ну значит загрифовать и всем господрядчикам облаков по спецпочте под роспись выдавать
тоже сомнительно, в лучем случае через 1млн. лет ядерная зима сменится на потепление.. те кто хоть как то сохранится под землей врядли смогут сохранить так долго эти носители