icewolf
убунту стайл, поддержка по форумам🤣🤣🤣
Artemy
замечу что я на плюсах еще умею писать, и пока я еще с ногами и с руками.
И прямо вот без гугления лямбду запилишь и в середину std:vector по памяти элемент вставишь?
J
и то что клепают для массового сектора, ну я не знаю..
A100 массовая карта? MI250 - массовая? H100? Если они массовые, то какие не массовые? Какие у них характеристики? Рабочие названия? В чем отличие от серийных карт?
J
Say NDA again, I dare you! I double dare you!
icewolf
поковыряться по МФТИшным форумам
Denis
убунту стайл, поддержка по форумам🤣🤣🤣
Ну началось … оказывается, чтобы быть спецом недостаточно бабла красно шапке заслать, надо еще и в кишки лезть
icewolf
A100 массовая карта? MI250 - массовая? H100? Если они массовые, то какие не массовые? Какие у них характеристики? Рабочие названия? В чем отличие от серийных карт?
Там выше ответили, казус будет не в том что вы сходили/слетали/сплавали и купили, а в том что вендор вам когда что то не работают хер что выкатит. И вы будете ползать по форумам и гитхабам
Denis
ну а как вы хотели:) надо знать еще и куда лезть
А спецы на что? Или все смирились с уровнем хуяк хуяк, контейнеры куберы и девляпсы?
icewolf
Ну нам тут рассказывают как по форумам бороздят
icewolf
и по issue вангуют
icewolf
а это без разницы, линукс не линукс
icewolf
линукс просто прощает ошибки
icewolf
Unix нет
Denis
Я разве говорю, что только вендоры или только форумы?
Denis
Везде копаться приходится
Denis
Иногда и вендоров носом в их же поделия тыкать
icewolf
это вон J говорит, ща сбегает купит и по форумам и гитхабам бабах и заработает
icewolf
Иногда и вендоров носом в их же поделия тыкать
и даже великих из redhat, они хотя бы нормально воспринимают это
icewolf
а вот убунтята иногда обидку включают
icewolf
я даже больше скажу, есть такая вот группа компаний астра:) за год я у них 5 тикитов связанных с ядром открывал, они таки фиксили.
icewolf
хотя там уровень фиксов это обычные патчи, частично из шапки частично из дебиан. Но сам смысл что надо простите не в доцкеры с кубами прятаться(это кстати из-за лени и не желания работать), а фиксить скажем так на «земле»
J
это вон J говорит, ща сбегает купит и по форумам и гитхабам бабах и заработает
Так и было со всеми картами, что есть сейчас в облаке. Не пойму чо у тебя горит так. Ты про свои терки с вендорами вечно и какие они хуесосы и насрали тебе под кашу. А у меня подход другой, вендоры последнее место куда пойду, потому что они все ориентированы на поддержку крупных заказчиков и их узкий круг задач. К тому ж, нервы целее без общения с надрессированными сервиторами которые с использованием 10 видов извинений скажут "пошел на хуй, не поддерживаем."
J
Уже немного достало каждый раз читать про тайные знания и технологии, про которые нельзя рассказать из-за нда. И про то что только вендоры знают как что делать, а если разбираешься сам, ты мартышка.
icewolf
а то что все вендоры п***сы я как бы всегда говорил
J
а то что все вендоры п***сы я как бы всегда говорил
Ну и зачем же ты тога рассказываешь что не поклонившись пиорасам правильно не сделать?
icewolf
Ну и зачем же ты тога рассказываешь что не поклонившись пиорасам правильно не сделать?
потому что без этих падл сутулых частенько ничего не сделаешь
icewolf
и даже имея самый свежий и короший линукс с всеми свежими дровами
J
потому что без этих падл сутулых частенько ничего не сделаешь
Да, безусловно. Но не до такой степени ведь чтобы прилось выпрашивать на коленях работающие варианты оборудования которое ты и так уже купил за несколько миллионов.
J
Такое бывает, но только с чем-то очень-очень свежим.
icewolf
хочешь приведу пример eltex, за который ты заплатишь дохера и получишь болт
Mikhail
Человеки-драмы бывает надоедают
icewolf
icewolf
вот убунту стайл надоедает
Mikhail
да нет никакой драмы:)
Ну ты в целом позитивного никогда ничего не пишешь, один минор
Mikhail
А учитывая, что ты пишешь много, то и фон тоже идёт минорный
icewolf
Ну ты в целом позитивного никогда ничего не пишешь, один минор
ну так получилось, что весь опенсорс один минор.
Mikhail
Или в твоей голове 🤣
icewolf
на простой вопрос который я задаю чет тоже никто не ответил
icewolf
Или в твоей голове 🤣
да в моей голове:) потому что я токсичный инженер. А не вот эти снежинки с диаграммами Ганта и жирами с канбанами с скрамами
icewolf
классика:) это не рынок, то не рынок.
icewolf
И только в 🇺🇸 рынок, и люди платят и получают рабочее решение(нет конечно же)
Mikhail
да в моей голове:) потому что я токсичный инженер. А не вот эти снежинки с диаграммами Ганта и жирами с канбанами с скрамами
Чем больше времени тратиться на токсичность тем меньше остаётся его на созидание
Denis
Человеку просто скучно, понять и простить. Ну или забанить 😂
icewolf
Чем больше времени тратиться на токсичность тем меньше остаётся его на созидание
Эх:) если бы было бы так. Вот вопрос спрашивал можно ли: Иметь три нетворк ноды и что бы они и с овиртом и с опенстеком работали. Кейс вроде бы стандартный
John Roe
Elia: user has been CAS banned
Илья | 😶☮️🐸
Господа, а у кого-то есть расчёт на объем стораджа для gnocchi + ceilometer ?
Илья | 😶☮️🐸
Хочу собирать метрики по инстансам
Oleg
А как дела с vgpu ?
Попробую внести немного конструктива и оптимизма. Так и не понял конспирологии, которую описывал icewolf весь день У нас ситуация с GPU/vGPU следующая: 1. В одном из облаков у нас порядка 80 карт Nvidia Tesla в разных комбинациях и 4 карты AMD MI100 2. Все комбинации рабочие, никаких "секретных" карт нам к счастью ни разу не доставалось: a. Dell R740/ Xeon Gold 6226R + Tesla V100S PCIe 32GB b. Supermicro AS-4124GS-TNR/AMD EPYC 7513 + Tesla T4 PCIe 16GB c. Dell R750xa/Xeon Platinum 8358 + NVIDIA A100 PCIe 40GB d. Niagara R2206SG (supermicro)/AMD EPYC 7513 + NVIDIA A100 PCIe 40GB e. Lenovo SR670 V2/Xeon Gold 6338 + NVIDIA A100 PCIe 80GB f. Dell R750XA/Xeon Gold 6338 + NVIDIA A100 PCIe 80GB g. Dell R750xa/Xeon Gold 6338 + AMD Instinct MI100 32GB h. есть ещё где-то SXM4 версии карт A100, но сходу не могу найти 3. Для карт Ampere vGPU нормально работают с парой не очень приятных особенностей: a. Нужно в скрипт автозагрузки добавлять команды разбиения на карты и создания mdev девайсов, чтобы при ребуте не терялись идентификаторы. В противном случае nova-compute не запускается, поскольку помнит, что у виртуалок были девайсы с определёнными идентификаторами. b. Разумеется, жадная Nvidia хочет лицензию внутри виртуальной машины на требуемые типы vGPU. Про деление через sriov без лицензии верится слабо (кто-то выше писал) -- я читал исходники драйверов из утечки, там довольно жестко определяется тип нарезанной карты прямо в драйвере. Если нарезать нештатным способом, драйвер все равно понимает, что это vgpu и требует лицензию c. В зависимости от конкретной карты нужно внимательно смотреть в документации, какой версии драйвер она хочет в хост- и гостевой системе (525 или 535) чтобы расслоение через MIG срабатывало правильно и работало внутри виртуалки. Драйвера как ни странно было проще качать не с сайта Нвидии, а у какого-то заботливого чувака с гитхаба, его репозиторий прихлопнули, к сожалению (был тут: https://github.com/justin-himself/NVIDIA-VGPU-Driver-Archive) 4. С точки зрения использования самих видеокарт через pci-passthrough целиком проблем у Nvidia вообще никаких. Единственное что, нужно выключать у видеокарт GSP, он приводит к сбоям внутри ВМ (https://github.com/NVIDIA/open-gpu-kernel-modules/issues/446) 5. Проблемы с прокидыванием внутрь виртуалок были только у AMD MI100 из-за того что при перезагрузке ВМ посылается неправильная последовательность команд для освобождения PCIe устройств. Коллеги починили это модулем к ядру, но полноценно протестировать пока не успеваем. Если кто-то заинтересованный есть, могу забрать код у автора и дать под честное слово рассказать результат (мы его собираемся заопенсорсить, но только после того как кто-то его проверит — мы или не мы)
J
Попробую внести немного конструктива и оптимизма. Так и не понял конспирологии, которую описывал icewolf весь день У нас ситуация с GPU/vGPU следующая: 1. В одном из облаков у нас порядка 80 карт Nvidia Tesla в разных комбинациях и 4 карты AMD MI100 2. Все комбинации рабочие, никаких "секретных" карт нам к счастью ни разу не доставалось: a. Dell R740/ Xeon Gold 6226R + Tesla V100S PCIe 32GB b. Supermicro AS-4124GS-TNR/AMD EPYC 7513 + Tesla T4 PCIe 16GB c. Dell R750xa/Xeon Platinum 8358 + NVIDIA A100 PCIe 40GB d. Niagara R2206SG (supermicro)/AMD EPYC 7513 + NVIDIA A100 PCIe 40GB e. Lenovo SR670 V2/Xeon Gold 6338 + NVIDIA A100 PCIe 80GB f. Dell R750XA/Xeon Gold 6338 + NVIDIA A100 PCIe 80GB g. Dell R750xa/Xeon Gold 6338 + AMD Instinct MI100 32GB h. есть ещё где-то SXM4 версии карт A100, но сходу не могу найти 3. Для карт Ampere vGPU нормально работают с парой не очень приятных особенностей: a. Нужно в скрипт автозагрузки добавлять команды разбиения на карты и создания mdev девайсов, чтобы при ребуте не терялись идентификаторы. В противном случае nova-compute не запускается, поскольку помнит, что у виртуалок были девайсы с определёнными идентификаторами. b. Разумеется, жадная Nvidia хочет лицензию внутри виртуальной машины на требуемые типы vGPU. Про деление через sriov без лицензии верится слабо (кто-то выше писал) -- я читал исходники драйверов из утечки, там довольно жестко определяется тип нарезанной карты прямо в драйвере. Если нарезать нештатным способом, драйвер все равно понимает, что это vgpu и требует лицензию c. В зависимости от конкретной карты нужно внимательно смотреть в документации, какой версии драйвер она хочет в хост- и гостевой системе (525 или 535) чтобы расслоение через MIG срабатывало правильно и работало внутри виртуалки. Драйвера как ни странно было проще качать не с сайта Нвидии, а у какого-то заботливого чувака с гитхаба, его репозиторий прихлопнули, к сожалению (был тут: https://github.com/justin-himself/NVIDIA-VGPU-Driver-Archive) 4. С точки зрения использования самих видеокарт через pci-passthrough целиком проблем у Nvidia вообще никаких. Единственное что, нужно выключать у видеокарт GSP, он приводит к сбоям внутри ВМ (https://github.com/NVIDIA/open-gpu-kernel-modules/issues/446) 5. Проблемы с прокидыванием внутрь виртуалок были только у AMD MI100 из-за того что при перезагрузке ВМ посылается неправильная последовательность команд для освобождения PCIe устройств. Коллеги починили это модулем к ядру, но полноценно протестировать пока не успеваем. Если кто-то заинтересованный есть, могу забрать код у автора и дать под честное слово рассказать результат (мы его собираемся заопенсорсить, но только после того как кто-то его проверит — мы или не мы)
Спасибо, расписал как батя)
icewolf
к счастью не попадалось, иногда бывают исключения:)
icewolf
и к слову вы написали ровно то что я и говорил, сходить в магазин и купить не получится, вы даже список серверов которые с картами работают привели. Ну так то
icewolf
и да про 4 пункт я специально молчал, потому что passthrough при работе с контейнерами ну мягко говоря нафиг нужен, по остальным пунктам все в точку. Но спасибо я пасс эти игры с gpu сильно выматывают нервы.
icewolf
и да нет никакой конспирологи, есть жадные красные и зеленые и попытки синих(пока нифига не получается) в обоих случаях качество и количество зависит от бюджета(это первое что спросит невидия) и чем он больше тем вас больше будут «любить». Так называемый не рыночный случай
Я и твой кот
Немного пятничного оффтопа Идешь такой по Белграду и здрасте
Так-с. А вы в Белграде живёте? Нет ли у вас вакансии для миддла сисадмина и чуть-чуть девопса? Очень нужна работа (это не мне).
Den
Господа, а у кого-то есть расчёт на объем стораджа для gnocchi + ceilometer ?
https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/17.1/html/managing_overcloud_observability/planning-for-operational-measurements_assembly я сюда заглядывал. Описана математика сколько одна метрика будет места занимать, в зависимости от архив-полиси
Илья | 😶☮️🐸
https://access.redhat.com/documentation/en-us/red_hat_openstack_platform/17.1/html/managing_overcloud_observability/planning-for-operational-measurements_assembly я сюда заглядывал. Описана математика сколько одна метрика будет места занимать, в зависимости от архив-полиси
size in bytes = 525600 points X 8 bytes = 4204800 bytes = 4.1 MB Одна метрика, видимо, в контексте того, что именно отдельный показатель отдельно взятого инстанса.
Илья | 😶☮️🐸
8 метрик = 4.1МБ умножается на 8
Илья | 😶☮️🐸
А какой-то механизм по удалению метрик после удаления инстанса есть ?
Den
А какой-то механизм по удалению метрик после удаления инстанса есть ?
https://github.com/gnocchixyz/gnocchi/issues/1050 Нёки сказали - не наша задача удалять и предлагают костыль https://gist.github.com/sombrafam/a3259f2f8855194bdb4ffae743ddc0be
Slava
А какой-то механизм по удалению метрик после удаления инстанса есть ?
А они не удаляются автоматом, когда метрики устаревают?
اسم
@mixroot а чо там по материалам курсов от редхата? В истории сообщений уже нет, но люди помнят
icewolf
@mixroot а чо там по материалам курсов от редхата? В истории сообщений уже нет, но люди помнят
пока глухо, по сефу тишина, по rhosp 17 вроде есть но в студент буков нету.
icewolf
В остальном все стандартное осталось
icewolf
хотя(ну да ну да) 17.x отличается приблизительно как хер от подводной лодки с 16.x. Зато по высшей ступени опеншифт вроде как чет будет ближе к марту
icewolf
потом student book все равно будет на английском.