Zhandar

Доброе утро! Друзья, не получается пробросить GPU на инстанс через pcipassthrough. 1 host - Ubuntu 18.04 server, nvidia 710, devstack.

J

Доброе утро! Друзья, не получается пробросить GPU на инстанс через pcipassthrough. 1 host - Ubuntu 18.04 server, nvidia 710, devstack.

Привет! https://gist.github.com/claudiok/890ab6dfe76fa45b30081e58038a9215 В чем конкретно проблема?

Zhandar

Привет! https://gist.github.com/claudiok/890ab6dfe76fa45b30081e58038a9215 В чем конкретно проблема?

Делаю blacklist nouveau, но после перезагрузки все равно in use: nouveau

J

Делаю blacklist nouveau, но после перезагрузки все равно in use: nouveau

Ну может статься что у тебя nouveau не модулем скомпилирован, а прямо в ядре.

J

Ну может статься что у тебя nouveau не модулем скомпилирован, а прямо в ядре.

Если так, то нужно скриптом отцеплять GPU от nouveau и цеплять к vfio-pci

Zhandar

Если так, то нужно скриптом отцеплять GPU от nouveau и цеплять к vfio-pci

👍🏼 где можно найти скрипт?

J

Делается так, я думаю: echo <pci address> > /sys/bus/pci/drivers/nouveau/unbind И потом то же самое, но с vfio-pci и bind

J

либо ядро взять другое, где nouveau как модуль.

Zhandar

Делается так, я думаю: echo <pci address> > /sys/bus/pci/drivers/nouveau/unbind И потом то же самое, но с vfio-pci и bind

Спасибо. Попробую

J

http://events17.linuxfoundation.org/sites/events/files/slides/GPGPU%20on%20OpenStack%20-%20The%20Best%20Practice%20for%20GPGPU%20Internal%20Cloud.pdf

Artemy

Делаю blacklist nouveau, но после перезагрузки все равно in use: nouveau

А initrd пересобрал с ключиком не включать nouveau?

Zhandar

По данному гайду делал

Zhandar

https://www.jimmdenton.com/gpu-offloading-openstack/

Zhandar

http://events17.linuxfoundation.org/sites/events/files/slides/GPGPU%20on%20OpenStack%20-%20The%20Best%20Practice%20for%20GPGPU%20Internal%20Cloud.pdf

Спасибо, попробую unbind как здесь. Сейчас не за компом.

J

У меня тож есть вопрос про проброс устройств. Мне хочется пробросить не только саму видеокарту, но и дочерние устройства - аудио, serial, usb. И я что-то не придумаю никак способа как это сделать. Можно нахреначить алиасов и запрашивать их через flavor, но на хосте то несколько видеокарт, где гарантия что nova не хватанет видюшку из одного pci слота и вместе с ней чужие дочерние устройства из другого? Подскажете варианты, ребята?)

Tamerlan

всем понедельник! добавляю новый ендопоинт: openstack endpoint create --region RegionOne metric admin https://xxx теперь horizon выдаёт 502-ую ошибку на логине кейстоун вываливает следующую запись: Authorization failed. The request you have made requires authentication. from xxx: Unauthorized: The request you have made requires authentication. при этом если добавлять ендпоинт публичный, то всё ок: openstack endpoint create --region RegionOne metric public https://xxx куда копать, что может быть?

J

всем понедельник! добавляю новый ендопоинт: openstack endpoint create --region RegionOne metric admin https://xxx теперь horizon выдаёт 502-ую ошибку на логине кейстоун вываливает следующую запись: Authorization failed. The request you have made requires authentication. from xxx: Unauthorized: The request you have made requires authentication. при этом если добавлять ендпоинт публичный, то всё ок: openstack endpoint create --region RegionOne metric public https://xxx куда копать, что может быть?

Ну хз. Дебаг включил?

Tamerlan

Ну хз. Дебаг включил?

да уже разобрался. nginx резал заголовки большие 🤷‍♂️

J

да уже разобрался. nginx резал заголовки большие 🤷‍♂️

Ничо себе. Это кто его так заставил делать у тебя?

Tamerlan

Ничо себе. Это кто его так заставил делать у тебя?

размер буферов по дефолту

Tamerlan

а ошибка кейстоуна оказалась не связана

J

размер буферов по дефолту

Ааа.

J

Ну тогда я с чистой совестью могу со своими вопросами докапыватсья.

Andrey

к стати KSM кто-нибудь пользует ? есть положительные отзывы ? или все как и я посмотрели на выросший cpu usage и забили на него ?

J

к стати KSM кто-нибудь пользует ? есть положительные отзывы ? или все как и я посмотрели на выросший cpu usage и забили на него ?

Не замечал особой разницы по CPU. Процентов 5-10 иногда экономит.

Andrey

"иногда" ? а график из графаны есть ? ))

J

"иногда" ? а график из графаны есть ? ))

Неа, смотрел не на опенстеке, а на отдельном железе, где нарезались виртуалки под мероприятие. Там вообще была netdata и ничего не сохраняли в долгосрочное хранилище.

J

Вопрос, ребята, вот какой. Нужен совет как правильно собирать в openstack-ansible кастомные virtualenv, чтобы сорцы брались те которые нужно мне, а не те что прописаны в релизе openstack-ansible и при этом чтобы всякие upper-constraints и global requirements не применялись к этой venv. Надеюсь, понятно написал.

Андрей Федюнин

ну прям чтоб как ты хочешь у меня не получилось, но закостылить что то можно, я так деплоил релиз magnum выше основного OS

J

ну прям чтоб как ты хочешь у меня не получилось, но закостылить что то можно, я так деплоил релиз magnum выше основного OS

В stein опять чо-то поменяли и venv теперь собираются прям на хостах, как раньше было если ставить developer mode. И новые переменные добавили, projectname_upper_constraints_url. Вот и подумал, может сделали нормальный какой-то способ. Меня доебало уже, по-другому не скажешь, выдумывать как их сраную спагетти-сборку обходить.

Андрей Федюнин

мы рождены чтобы мучаться😁

J

мы рождены чтобы мучаться😁

Ды мне надо нову свежую, в которой img_hide-hypervisor_id добавляет в xml не только kvm hidden, но еще и vendor_id в секцию hyperv, чтоб винду обманывать.

Михаил

Вопрос, ребята, вот какой. Нужен совет как правильно собирать в openstack-ansible кастомные virtualenv, чтобы сорцы брались те которые нужно мне, а не те что прописаны в релизе openstack-ansible и при этом чтобы всякие upper-constraints и global requirements не применялись к этой venv. Надеюсь, понятно написал.

J

У меня щас вот так работа и выглядит.

Михаил

Мне кажется я никогда не перестану хихикать над людьми жрущими говнецо при попытке сетапить инфру чужими плейбуками

J

Мне кажется я никогда не перестану хихикать над людьми жрущими говнецо при попытке сетапить инфру чужими плейбуками

А мне вот кажется что ты всех по себе меришь. Я не представляю как за разумное время свою автоматизацию написать, а потом её еще и поддерживать, если у тебя нету нескольких коллег, которые шарят.

Михаил

А мне вот кажется что ты всех по себе меришь. Я не представляю как за разумное время свою автоматизацию написать, а потом её еще и поддерживать, если у тебя нету нескольких коллег, которые шарят.

У нас разные взгляды на эту практику.

J

У нас разные взгляды на эту практику.

В чем отличие? Отлично иметь свой инструмент, но если кто-то не может себе позволить иметь своё то как-то даже и стремно хуесосить.

J

Все равно что людей живущих на съемной хате подъебывать "а хули вы такие бедные? Чо свою хату не купите и не отремонтируете как надо?"

Михаил

В чем отличие? Отлично иметь свой инструмент, но если кто-то не может себе позволить иметь своё то как-то даже и стремно хуесосить.

Всё таки хуесосить и немного хихикать над проблемами это разное, не находишь?

J

Всё таки хуесосить и немного хихикать над проблемами это разное, не находишь?

Для меня разницы никакой, не люблю к словам цепляться. Твоё злорадство раздражает, думаю, ты и сам знаешь.

Михаил

Для меня разницы никакой, не люблю к словам цепляться. Твоё злорадство раздражает, думаю, ты и сам знаешь.

Ок, отойдём от злорадства. Давай попробуем определить разумное время и масштабы.

J

Ок, отойдём от злорадства. Давай попробуем определить разумное время и масштабы.

Да мне не до того сейчас как-то) Ты чот нигде, вроде, и не рассказывал за сколько и какую автоматизацию для себя написал.

Михаил

Да мне не до того сейчас как-то) Ты чот нигде, вроде, и не рассказывал за сколько и какую автоматизацию для себя написал.

Ну, слушай, если у тебя кейс 2 дня и 10 стоек, потому что надо сдать проект, то тогда я хер с горы со своим злорадством.

Я и твой кот

Я токсичный.

@j52089ec7e87 ^^

Я и твой кот

позвоните в опенстэк

Я и твой кот

черт, какое же токсичное сообщество

Я и твой кот

хуже, чем в чате сефа

Михаил

@j52089ec7e87 ^^

Да он знает

Я и твой кот

Давайте добрее быть.

Я и твой кот

https://podcasts.apple.com/ru/podcast/podlodka-137-%D1%82%D0%BE%D0%BA%D1%81%D0%B8%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C/id1209828744?i=1000456405692

J

Ну, слушай, если у тебя кейс 2 дня и 10 стоек, потому что надо сдать проект, то тогда я хер с горы со своим злорадством.

У меня неделя на то чтобы дохуя всего сделать, хранилище с нуля, не зная ни доменов отказа ни требований к производительности и полезному доступному месту, образов наготовить, в том числе винду, да так чтобы на ней проброшенные RTX2080 работали, а параллельно консультировать по пёс его знает каким вопросам. Мне вообще не до того чтоб выёбываться с самописными инструментами для деплоя.

Михаил

https://podcasts.apple.com/ru/podcast/podlodka-137-%D1%82%D0%BE%D0%BA%D1%81%D0%B8%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C/id1209828744?i=1000456405692

Не успел послушать

Михаил

У меня неделя на то чтобы дохуя всего сделать, хранилище с нуля, не зная ни доменов отказа ни требований к производительности и полезному доступному месту, образов наготовить, в том числе винду, да так чтобы на ней проброшенные RTX2080 работали, а параллельно консультировать по пёс его знает каким вопросам. Мне вообще не до того чтоб выёбываться с самописными инструментами для деплоя.

Ну тогда я хер с горы, а тебе успехов!)

J

Ну тогда я хер с горы, а тебе успехов!)

Ты ж пойми, я не то чтоб злюсь, но прям так и подмывает огрызнуться. Я не часто помощи прошу, так то. Стараюсь сам разбираться.

Dmitry

У меня неделя на то чтобы дохуя всего сделать, хранилище с нуля, не зная ни доменов отказа ни требований к производительности и полезному доступному месту, образов наготовить, в том числе винду, да так чтобы на ней проброшенные RTX2080 работали, а параллельно консультировать по пёс его знает каким вопросам. Мне вообще не до того чтоб выёбываться с самописными инструментами для деплоя.

Вполне реально, если знать что делать. Тут создание образов больше времени сожрет

Dmitry

Я прочитал две недели, если честно

Dmitry

За неделю тяжко, но тоже возможно

Михаил

Вполне реально, если знать что делать. Тут создание образов больше времени сожрет

Ты лучше человеку помоги с ансибл)

J

Вполне реально, если знать что делать. Тут создание образов больше времени сожрет

Создание образов все время и сжирает. Я с виндой пятый день воюю.

Dmitry

С ансибл-опенстэком или обычным ансиблом? В такой ситуации чем проще, тем лучше. Имхо с нуля ансибл под себя проще написать, чем с костылями от сообщества разбираться

J

С ансибл-опенстэком или обычным ансиблом? В такой ситуации чем проще, тем лучше. Имхо с нуля ансибл под себя проще написать, чем с костылями от сообщества разбираться

openstack-ansible

Dmitry

openstack-ansible

Вот с ним я вообще не знаком :(

J

Мне скиллов не хватает чтоб самому на ансибле писать что-то большое. Он у меня стойкую неприязнь вызывает.

J

Ну, в общем, ладно. Нет так нет)