Илья | 😶☮️🐸
а смысл? это ж грубо говоря конкурирующий продукт =)
Не вижу поля для конкуренции, если вместо можно построить норм решение
Илья | 😶☮️🐸
Условно tf для управления сетевыми железками джуна, куда бареметал с талосом подключен, а cozystack на них уже кубер разворачивает
J
Ну все, наконец то заживем)
Илья | 😶☮️🐸
можно ещё и магнум выкидывать!
Илья | 😶☮️🐸
nova + ironic + cozystack
Илья | 😶☮️🐸
плакала половина палаты it тусовки
NS 🇷🇺
nova + ironic + cozystack
мне одному не понятно, зачем тут нова?
Илья | 😶☮️🐸
мне одному не понятно, зачем тут нова?
ну чтоб инстансы бареметала раскатывало
NS 🇷🇺
ну чтоб инстансы бареметала раскатывало
айроник же умеет без новы работы
NS 🇷🇺
ну вот и зачем она тут?
Илья | 😶☮️🐸
удачи костыли писать с отдельным апи, если можешь по сути одним апи и провижнить и просто бареметал инстансы, или же бареметал и сразу их в кубер засовывать
NS 🇷🇺
ой все juju top =)
J
Я чот не понял правда весь смысл этого заигрывания с кубернетесом.
Илья | 😶☮️🐸
как зачем, есть те, кому нужен кубер с гпу, например, а бареметал тут идеально заходит
Илья | 😶☮️🐸
какой-нибудь мутабельный кластер для генератора пикч с простым управлением и прозрачным биллингом
J
Звучит это всё очень уныло.
Илья | 😶☮️🐸
то ли дело обмазывать все несколькими слоями абстракции и виртуализации, чтобы потерять 15% производительности
Илья | 😶☮️🐸
когда запихал в бареметал и вперед
Илья | 😶☮️🐸
15% куда делись?)
квм там, контейнер сям
J
И куда там девается производительность?
Илья | 😶☮️🐸
цыгане крадут
Илья | 😶☮️🐸
Илья | 😶☮️🐸
осталось завести пятничный вентилятор, да начнется срач
J
Ну это ж всё бабкины сказки из начала двухтысячных. Потеря производительности "от виртуализации" и "от контейнеров" это последнее про что щас думают выбирая инструменты. Потому что потери там и нет, все в пределах погрешности измерения)
J
Потеря на переключения контекста значит миф . Ок
Давай щас откроем замусоленную пудовую книжку Таненабаума, сдуем пыль со страниц и найдем чо-нибудь еще. Трансляция виртуальной памяти в физическую тоже ужас просто, говорят)
gwaewion
Потеря на переключения контекста значит миф . Ок
То есть, обычные процессы одним контекстом живы?
𝚔𝚟𝚊𝚙𝚜
ну чтоб инстансы бареметала раскатывало
Инстансы бареметал для тенант-кластеров мы планировали реализовывать тоже, но чуть позже, когда найдем спонсоров на эту фичу, скорее всего будем использовать PXE, как это было реализовано с Kubefarm и натянем это на Cluster API
gwaewion
Це сарказм.
Разумию
gwaewion
i cant feel my NUMA
Cause you don't have one
Илья | 😶☮️🐸
мне только не понятна механика как cozystack доберется до них, если они в своем vni будут жить без публичного доступа
gwaewion
Илья | 😶☮️🐸
𝚔𝚟𝚊𝚙𝚜
а если эти инстансы будут развернуты ironoc'ом с образом talos ?
У Талоса на данный момент есть несовместимость с нативным control-plane кубера, если он не сделан на Talos Нам очень хочется control-plane для тенант-кластеров запускать как микросеовис прямо в контейнерах родительского куба
Aleksandr
ой все juju top =)
с козырей заходишь )
Mr
И откуда они берутся там?)
The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Skew values that are too high (typically over a few milliseconds) are an indication that the VM is unable to access all its processors synchronously. Отсюда. https://www.heroix.com/blog/vmware-vcpu-over-allocation/
J
The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Skew values that are too high (typically over a few milliseconds) are an indication that the VM is unable to access all its processors synchronously. Отсюда. https://www.heroix.com/blog/vmware-vcpu-over-allocation/
Краткий экскурс в примитивные планировщки ESXi ранних версий? И написано то каким языком. The operating system on a VM requires synchronous progress over all of its vCPUs. In order to keep track of the synchronicity of the vCPUs assigned to a VM, the hypervisor keeps track of the difference in progress for each vCPU assigned to the VM – this difference in progress is called the “skew”. Что это вообще значит? Я буду благодарен если кто-то объяснит языком не для vmware фанатов.
J
Это в современный, от 6.7 и выше - там в тексте есть "как было" и "как теперь"
Я вот сижу, читаю и не могу понять какой вывод то сделать. В VMware используется proportional share планировщик и т.н. skew в качестве веса процессов vCPU. Вижу как таким подходом впустую расходуется процессорное время, но не вижу как это иллюстрирует накладные расходы от виртуализации.
J
Кстати, а где почитать про планировщик в KVM ?
В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)
J
В принципе, EEVDF это и есть твой вмваревский планировщик с небольшими отличиями)
Mr
В KVM нет планировщика. Планировщик хоста раскидывает потоки внутри процесса Qemu/KVM. До версии ядра 6.6 планировщие CFS, 6.6 и выше EEVDF)
а раскидывает то как? Вот у меня в виртуалке 10 ядер, какого размера временной слот, как определяется кто как работает?
J
)))) где почитать про сходство и различия ?
Нету готовых статей. Перечитай сначала те две что мне скинул, подробгнее хз есть ли, это ж вмваре. А по EEVDF и CFS много статей. Вот кратко и нормальным языком) https://lwn.net/Articles/925371/ А вот по хардкору, например) https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=805acf7726282721504c8f00575d91ebfd750564
Nikolay
я таки добрался до metal3io, ну что сказать уебаться им об стену
Nikolay
а еще моя ленивая жопа решила kubespray попробовать, деплой 20минут сука
Nikolay
Я, даже с расстройства призвал независимого рецензента, не показалось ли мне что это смердит
Nikolay
Все больше начинаю любить колу
• _
Разобрался, странная магия была где-то в настройках окружения. Переделал, чтобы параметры брались не из переменных окружения (openrc), а из cloud.yaml. --- clouds: infra: auth: auth_url: http://XX.XX.XX.XX/keystone/v3/ username: myuser password: mypasss domain_id: default system_scope: all project_name: admin cacert: /path/to/Root_CA.crt identity_api_version: 3 region_name: RegionOne interface: private Теперь образы стали загружаться.
Artemy
А как он тогда с переподпиской работает без планировщика ?
Нормально. С точки зрения гипера vcpu гостя это обычные треды. Просто они выполняются в основном внутри ioctl KVM_RUN. А ядро уже давно преемтибл, со времен так наверное 2.2
Aleksandr
@devopsina
Pavel
Вторая часть нашего рассказа о том как мы готовим виртуализацию на базе Kubernetes https://habr.com/ru/companies/aenix/articles/797323/
Для себя не нашел лимитов на IO и NET. Закладывайте это в первую очередь. если у вас будет в вируталке убунта которую никто не настраивает то при нехватке памяти (пришел oom а внурит вм памяти уже нет и своапа нет), он выжрет диска столько сколь переварят виртуальные CPU этой вм (это могу быть и гигабайты в секунду, но при этом на диск ничего не пишется). С сетевкой - не давайте пользователям выжрать все ресурсы (тут правда если у вас N сетевух то на контролплейн не повлияет, а вот елси сетевуха одна то можно и остерилть всю ноду)
Artemy
Лимиты на ио легко ставятся средствами опенстека. Если там не опенстек то средствами либвирта.
Nikolay
Ну там либо iotune в либвирте, либо со стороны схд
Nikolay
Кстати вопрос, а не было ли годных попыток вместо роутеров баланесеров лепить ченить типа опенсенс
J
Кстати вопрос, а не было ли годных попыток вместо роутеров баланесеров лепить ченить типа опенсенс
Опенсенс это же противоположность нормальных роутеров, если речь о большой инфраструктуре)
Nikolay
случаи разные бывают
J
Он же задумывался и развивается как универсальный софтовый SOHO\Small Enterprise.
J
А от былого величия бсдшного сетевого стека ничо не осталось, к несчастью(
NS 🇷🇺
Но она так и осталась мыслью