а смысл? это ж грубо говоря конкурирующий продукт =)

Не вижу поля для конкуренции, если вместо можно построить норм решение

В следующих статьях мы расскажем как подготовить Kubernetes для запуска виртуальных машин и как настроить провижининг Kubernetes кластеров по кнопке 🤷‍♀️ Чисто технически натравить cozystack на список развернутых инстансов опенстаком с талосом на борту возможно ?

Да, там все тот же Cluster API

Условно tf для управления сетевыми железками джуна, куда бареметал с талосом подключен, а cozystack на них уже кубер разворачивает

Ну все, наконец то заживем)

можно ещё и магнум выкидывать!

nova + ironic + cozystack

плакала половина палаты it тусовки

nova + ironic + cozystack

мне одному не понятно, зачем тут нова?

мне одному не понятно, зачем тут нова?

ну чтоб инстансы бареметала раскатывало

ну чтоб инстансы бареметала раскатывало

айроник же умеет без новы работы

айроник же умеет без новы работы

умеет

ну вот и зачем она тут?

удачи костыли писать с отдельным апи, если можешь по сути одним апи и провижнить и просто бареметал инстансы, или же бареметал и сразу их в кубер засовывать

удачи костыли писать с отдельным апи, если можешь по сути одним апи и провижнить и просто бареметал инстансы, или же бареметал и сразу их в кубер засовывать

Чот щас этот один api не очень хорошо на всё сразу натягивается)

ой все juju top =)

Я чот не понял правда весь смысл этого заигрывания с кубернетесом.

как зачем, есть те, кому нужен кубер с гпу, например, а бареметал тут идеально заходит

какой-нибудь мутабельный кластер для генератора пикч с простым управлением и прозрачным биллингом

Звучит это всё очень уныло.

то ли дело обмазывать все несколькими слоями абстракции и виртуализации, чтобы потерять 15% производительности

когда запихал в бареметал и вперед

то ли дело обмазывать все несколькими слоями абстракции и виртуализации, чтобы потерять 15% производительности

15% куда делись?)

15% куда делись?)

квм там, контейнер сям

И куда там девается производительность?

цыгане крадут

осталось завести пятничный вентилятор, да начнется срач

Ну это ж всё бабкины сказки из начала двухтысячных. Потеря производительности "от виртуализации" и "от контейнеров" это последнее про что щас думают выбирая инструменты. Потому что потери там и нет, все в пределах погрешности измерения)

В следующих статьях мы расскажем как подготовить Kubernetes для запуска виртуальных машин и как настроить провижининг Kubernetes кластеров по кнопке 🤷‍♀️ Чисто технически натравить cozystack на список развернутых инстансов опенстаком с талосом на борту возможно ?

Не так прочитал, думаю, сделать это возможно, но лучше будет перекатить

Ну это ж всё бабкины сказки из начала двухтысячных. Потеря производительности "от виртуализации" и "от контейнеров" это последнее про что щас думают выбирая инструменты. Потому что потери там и нет, все в пределах погрешности измерения)

Потеря на переключения контекста значит миф . Ок

Потеря на переключения контекста значит миф . Ок

Давай щас откроем замусоленную пудовую книжку Таненабаума, сдуем пыль со страниц и найдем чо-нибудь еще. Трансляция виртуальной памяти в физическую тоже ужас просто, говорят)

Давай щас откроем замусоленную пудовую книжку Таненабаума, сдуем пыль со страниц и найдем чо-нибудь еще. Трансляция виртуальной памяти в физическую тоже ужас просто, говорят)

Да, дорого. Но кэшей подвезли же

Давай щас откроем замусоленную пудовую книжку Таненабаума, сдуем пыль со страниц и найдем чо-нибудь еще. Трансляция виртуальной памяти в физическую тоже ужас просто, говорят)

i cant feel my NUMA

Да, дорого. Но кэшей подвезли же

Це сарказм.

Потеря на переключения контекста значит миф . Ок

То есть, обычные процессы одним контекстом живы?

Давай щас откроем замусоленную пудовую книжку Таненабаума, сдуем пыль со страниц и найдем чо-нибудь еще. Трансляция виртуальной памяти в физическую тоже ужас просто, говорят)

Тем не менее потери на виртуализации есть.

ну чтоб инстансы бареметала раскатывало

Инстансы бареметал для тенант-кластеров мы планировали реализовывать тоже, но чуть позже, когда найдем спонсоров на эту фичу, скорее всего будем использовать PXE, как это было реализовано с Kubefarm и натянем это на Cluster API

Це сарказм.

Разумию

i cant feel my NUMA

Cause you don't have one

Инстансы бареметал для тенант-кластеров мы планировали реализовывать тоже, но чуть позже, когда найдем спонсоров на эту фичу, скорее всего будем использовать PXE, как это было реализовано с Kubefarm и натянем это на Cluster API

а если эти инстансы будут развернуты ironoc'ом с образом talos ?

То есть, обычные процессы одним контекстом живы?

Не смог распарсить сарказм

мне только не понятна механика как cozystack доберется до них, если они в своем vni будут жить без публичного доступа

Не смог распарсить сарказм

Ну всё, access violation

Cause you don't have one

Тем не менее потери на виртуализации есть.

И откуда они берутся там?)

а если эти инстансы будут развернуты ironoc'ом с образом talos ?

У Талоса на данный момент есть несовместимость с нативным control-plane кубера, если он не сделан на Talos Нам очень хочется control-plane для тенант-кластеров запускать как микросеовис прямо в контейнерах родительского куба

И откуда они берутся там?)

Откаты же

У Талоса на данный момент есть несовместимость с нативным control-plane кубера, если он не сделан на Talos Нам очень хочется control-plane для тенант-кластеров запускать как микросеовис прямо в контейнерах родительского куба

Возможно мы это решим добавив в образ талоса обычный kubeadm

ой все juju top =)

с козырей заходишь )

И откуда они берутся там?)

The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Skew values that are too high (typically over a few milliseconds) are an indication that the VM is unable to access all its processors synchronously. Отсюда. https://www.heroix.com/blog/vmware-vcpu-over-allocation/

The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Skew values that are too high (typically over a few milliseconds) are an indication that the VM is unable to access all its processors synchronously. Отсюда. https://www.heroix.com/blog/vmware-vcpu-over-allocation/

Краткий экскурс в примитивные планировщки ESXi ранних версий? И написано то каким языком. The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Что это вообще значит? Я буду благодарен если кто-то объяснит языком не для vmware фанатов.

Краткий экскурс в примитивные планировщки ESXi ранних версий? И написано то каким языком. The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Что это вообще значит? Я буду благодарен если кто-то объяснит языком не для vmware фанатов.

Это в современный, от 6.7 и выше - там в тексте есть "как было" и "как теперь"

Это в современный, от 6.7 и выше - там в тексте есть "как было" и "как теперь"

Я вот сижу, читаю и не могу понять какой вывод то сделать. В VMware используется proportional share планировщик и т.н. skew в качестве веса процессов vCPU. Вижу как таким подходом впустую расходуется процессорное время, но не вижу как это иллюстрирует накладные расходы от виртуализации.

Я вот сижу, читаю и не могу понять какой вывод то сделать. В VMware используется proportional share планировщик и т.н. skew в качестве веса процессов vCPU. Вижу как таким подходом впустую расходуется процессорное время, но не вижу как это иллюстрирует накладные расходы от виртуализации.

Кстати, а где почитать про планировщик в KVM ?

Кстати, а где почитать про планировщик в KVM ?

В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)

В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)

А как он тогда с переподпиской работает без планировщика ?

В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)

Earliest eligible virtual deadline first scheduling, ага.

В принципе, EEVDF это и есть твой вмваревский планировщик с небольшими отличиями)

В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)

а раскидывает то как? Вот у меня в виртуалке 10 ядер, какого размера временной слот, как определяется кто как работает?

В принципе, EEVDF это и есть твой вмваревский планировщик с небольшими отличиями)

)))) где почитать про сходство и различия ?

)))) где почитать про сходство и различия ?

Нету готовых статей. Перечитай сначала те две что мне скинул, подробгнее хз есть ли, это ж вмваре. А по EEVDF и CFS много статей. Вот кратко и нормальным языком) https://lwn.net/Articles/925371/ А вот по хардкору, например) https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=805acf7726282721504c8f00575d91ebfd750564

Нету готовых статей. Перечитай сначала те две что мне скинул, подробгнее хз есть ли, это ж вмваре. А по EEVDF и CFS много статей. Вот кратко и нормальным языком) https://lwn.net/Articles/925371/ А вот по хардкору, например) https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=805acf7726282721504c8f00575d91ebfd750564

Спасибо, завтра почитаю

я таки добрался до metal3io, ну что сказать уебаться им об стену

а еще моя ленивая жопа решила kubespray попробовать, деплой 20минут сука

Я, даже с расстройства призвал независимого рецензента, не показалось ли мне что это смердит

Все больше начинаю любить колу

Разобрался, странная магия была где-то в настройках окружения. Переделал, чтобы параметры брались не из переменных окружения (openrc), а из cloud.yaml. --- clouds: infra: auth: auth_url: http://XX.XX.XX.XX/keystone/v3/ username: myuser password: mypasss domain_id: default system_scope: all project_name: admin cacert: /path/to/Root_CA.crt identity_api_version: 3 region_name: RegionOne interface: private Теперь образы стали загружаться.

А как он тогда с переподпиской работает без планировщика ?

Нормально. С точки зрения гипера vcpu гостя это обычные треды. Просто они выполняются в основном внутри ioctl KVM_RUN. А ядро уже давно преемтибл, со времен так наверное 2.2

@devopsina

Вторая часть нашего рассказа о том как мы готовим виртуализацию на базе Kubernetes https://habr.com/ru/companies/aenix/articles/797323/

Для себя не нашел лимитов на IO и NET. Закладывайте это в первую очередь. если у вас будет в вируталке убунта которую никто не настраивает то при нехватке памяти (пришел oom а внурит вм памяти уже нет и своапа нет), он выжрет диска столько сколь переварят виртуальные CPU этой вм (это могу быть и гигабайты в секунду, но при этом на диск ничего не пишется). С сетевкой - не давайте пользователям выжрать все ресурсы (тут правда если у вас N сетевух то на контролплейн не повлияет, а вот елси сетевуха одна то можно и остерилть всю ноду)

Лимиты на ио легко ставятся средствами опенстека. Если там не опенстек то средствами либвирта.

Ну там либо iotune в либвирте, либо со стороны схд

Ну там либо iotune в либвирте, либо со стороны схд

Да, можно

Кстати вопрос, а не было ли годных попыток вместо роутеров баланесеров лепить ченить типа опенсенс

Кстати вопрос, а не было ли годных попыток вместо роутеров баланесеров лепить ченить типа опенсенс

Опенсенс это же противоположность нормальных роутеров, если речь о большой инфраструктуре)

случаи разные бывают

Он же задумывался и развивается как универсальный софтовый SOHO\Small Enterprise.

А от былого величия бсдшного сетевого стека ничо не осталось, к несчастью(

Кстати вопрос, а не было ли годных попыток вместо роутеров баланесеров лепить ченить типа опенсенс

У меня одно время была мысль chr/vyos затащить

Но она так и осталась мыслью