не не, я про нову в целом
Затрудняюсь ответить. 😊
Tarakanov
Tarakanov
Планируйте не ha для попробовать
т.е. надо набить шишки, чтобы понимание сформировалось, а потом уже планировать нормальную схему?
Vyacheslav
Да, нормальная схема с ha - 3 контрола и дальше компьюты
Vyacheslav
Но надо понимать, что контролы прожорливые на ресурсы
Vyacheslav
Где-то 64 ram 16 cpu
Tarakanov
Прилично
Tarakanov
У меня железки 128 ГБ 2х10 cpu (без ht)
Vyacheslav
Ну и сильно зависит от модулей
Vyacheslav
Если l2 Linux bridge - мало кушает
Vyacheslav
Если l3 dvr - может и не хватить
Илья | 😶☮️🐸
вопрос распределения нагрузки решается простым добавлением контролов ?
Vyacheslav
Regions, cells
Илья | 😶☮️🐸
Илья | 😶☮️🐸
ааа
Vyacheslav
Дальше кролик не очень себя может начать чувствовать.
Илья | 😶☮️🐸
ну вот этот момент выглядит немного странноватым
Tarakanov
У нас огород на 10 серверах врядли перевалит за 100 ВМ, тупо ресурсов для них не хватит.
Tarakanov
Да, нормальная схема с ha - 3 контрола и дальше компьюты
Под контролами keystone подразумевается, верно?
Vyacheslav
У нас 65к vm в 80 регионах
Vyacheslav
На 20keystone
Vyacheslav
Под контролами keystone подразумевается, верно?
Нет, control: nova, neutron, glance, galera
The
Сервис провайдер
Я и твой кот
3 или 5 контроллёров, остальные компьюты.
Vyacheslav
Мы делаем ресурсы для разработки в банке
Я и твой кот
И вообще. Если поверх запускать в основном кубер, и немного других виртуалкок, то можно сразу кубер на бареметал и разворачивать. Виртуалки в kubevirt завернуть.
Илья | 😶☮️🐸
Да, но из-за архитектуры в компании
норм
ну там только предстоит разобраться подробнее, но уже представление есть, спасибо
The
А, dev/test контур, ну ок, понятно.
Tarakanov
И вообще. Если поверх запускать в основном кубер, и немного других виртуалкок, то можно сразу кубер на бареметал и разворачивать. Виртуалки в kubevirt завернуть.
Хорошая идея. На kubefarm задумываюсь, но боюсь жидко сходить в процессе эксплуатации
Vyacheslav
Vyacheslav
K8s может и cinder openstack использовать - диски что бы с san fc затягивать
Vyacheslav
Ceph вроде и так k8s умеет
Vyacheslav
Вообще можно все vm в virsh запустить и не париться
Vyacheslav
У вас же не будет нормального san/ceph для миграции и быстрого спасения vm
Vyacheslav
В такой конфигурации - скорее всего локальные диски. Падение ноды - потеря дисков, пока не загрузите хост и nova block migration долго и мучительно перенесёт диски
Илья | 😶☮️🐸
3k computes
cell можно считать за своего рода проект ?
Ведь это получается что-то в духе независимой инсталяции
Vyacheslav
Cells развивает regions
Vyacheslav
Но мы пока не ставили - в планах есть, но как скоро - не знаю
Vyacheslav
Может быть к v3 созреем
Tarakanov
Спасибо за помощь. Хорошо что не полез со своим калькулятором в большие облака))
Vyacheslav
Нам для cells надо в начале l3 bgp netwrok поднять с миграцией ip между регионами
Илья | 😶☮️🐸
Нам для cells надо в начале l3 bgp netwrok поднять с миграцией ip между регионами
l3 bgp network это из разряда анонса /32 для каждого плавающего адреса ?
Vyacheslav
А уже после накрывать cells для миграций между разными l2 доменами
Vyacheslav
l3 bgp network это из разряда анонса /32 для каждого плавающего адреса ?
Просто для каждого адреса - без floating
Vyacheslav
Floating на network node snat
Vyacheslav
А с dvr и l3 оно ходит сразу на compute
Pavel
Вот вы ресрсами раскидывается 64 гига на 16 cpu
А доку читать не? потребление зависит от количества воркеров каждой службы. даже в просто они память как отожали так и не отдадут
Vyacheslav
Vyacheslav
Есть опыт контрола с 16 рам
Vyacheslav
Ну и у нас тест кейс - 1.5к вм за 10 минут
Vyacheslav
С ceph норм, а вот san dorado -не вывозит
Pavel
1.5 за 7 минут проходил еще на митаке с костылями без нормально оптимизации. там правда коннтроллеры с 700+ гигами рамы были, но и ldap и virtuozzo
Илья | 😶☮️🐸
metadata service (169.254)- мастхев или config drive за глаза ?
Илья | 😶☮️🐸
вроде и норм, можно что-то закастомить, в отличие от конфиг драйва
Pavel
если будет кубер внути то мастхев
Vyacheslav
metadata service (169.254)- мастхев или config drive за глаза ?
Хватает, но Кастомизацию не смотрим
Илья | 😶☮️🐸
если будет кубер внути то мастхев
кубер будет для личных сторонних нужд, которые не связаны с стаком
Илья | 😶☮️🐸
1.5к инстансов, реально находятся такие нагрузки в моменте ?
Vyacheslav
1.5к инстансов, реально находятся такие нагрузки в моменте ?
Ну это примерно утилизация нашего региона
Vyacheslav
Мы раздаём регион примерно за неделю
Vyacheslav
Кейс что кто-то прийдет и развернёт кучу виртуалок - есть
Vyacheslav
