icewolf
Я и гиперв могу , дешевле будет .
можно вообще ничего не ставить, а продать им облако
icewolf
зачем ставить интернеты везде стабильные и быстрые
icewolf
просто сам кейс, два сервера, если это достаточно удаленная точка и сервер выйдет из строй(например из-за жары), ехать на объект дорогостояще. А вот если каналы связи позволяют то почему бы не отдать ресурсы в облаке?
Mr
зачем ставить интернеты везде стабильные и быстрые
А облако оно как, везде стабильное? Скажем Гознак? Или МТС ? )))))
icewolf
А облако оно как, везде стабильное? Скажем Гознак? Или МТС ? )))))
вот что сразу начинается то? У Амазона стабильное! 9999
icewolf
потом, когда ты не платишь за сервис - ты не клиент. Ты товар!(с)
Mr
вот что сразу начинается то? У Амазона стабильное! 9999
Это не мне ( и дальше начинается денег нет итд
Ravil
При чем там роль member я ваще не понял.
Роль админа могла создавать все без проблем в том числе порты, а роль мембер перестала создавать(в логах очевидных ошибок не было) По итогу проблема в версиях зависимостей нейтрона была. Обновили версию, но оставив некоторые зависимости "старые" и все стало хорошо, что самое главное) —- Всем спасибо за помощь, работаем дальше 💪
Andrey
Привет, комьюнити 👋🏻 Планируется строительство двух географически разнесённых кластеров (регионов) ≈40 хостов каждый + хосты под ceph. ip фабрики будут строится с нуля. Вопрос: насколько имеет смысл при таком объёме внедрять opensdn(tf)? Видится, что поддержка облака на opensdn требует бОльших компетенций, а следовательно будет дороже. Или плюсов настолько больше, что стоит внедрять несмотря ни на что?) Очень интересует мнения коллег на опыте) как бы вы поступили?
Илья | 😶☮️🐸
40 хостов, а сколько инстансов?
Илья | 😶☮️🐸
л2 на больших масштабах крутить то такое, а для крутого л3 кроме bgpdragent (хз какой статус у него) или opensdn альтернатив нет
Andrey
40 хостов, а сколько инстансов?
Сейчас расчёт на 2000 если не ошибаюсь
Илья | 😶☮️🐸
Сейчас расчёт на 2000 если не ошибаюсь
лайтово, л2 с овном то ок на какой-то дистанции
icewolf
ну.. мнение будет когда у вас все рухнет и вы сюда прибежите
Илья | 😶☮️🐸
Стоит понимать, что когда-то с л2 нужно будет съезжать, а уезжать с легаси с овсом больно 🙂
icewolf
а до этого как то не интересно вам подстилать соломку
Илья | 😶☮️🐸
да и камон, в опенсдн шуршат очень активно, наверное даже джунипер так не шуршали как сейчас всё вертится
Илья | 😶☮️🐸
однако, есть и негативная сторона: на 5к+ портах поиск порта или openstack port list падает в ошибку по таймауту, ребята с мирантиса (емнип) изучают этот случай
Andrey
Так, из всего сказанного похоже, что opensdn выглядит как лучший фундамент для будущего потенциального роста. И развития сервисов.
Mikhail
однако, есть и негативная сторона: на 5к+ портах поиск порта или openstack port list падает в ошибку по таймауту, ребята с мирантиса (емнип) изучают этот случай
Этой проблеме уже лет 8, причины известны, оно слишком долго собирает инфу из всех таблиц и много сериализации и де сериализации из джсон в питон объекты и обратно
icewolf
Так, из всего сказанного похоже, что opensdn выглядит как лучший фундамент для будущего потенциального роста. И развития сервисов.
да, но только Андрей страхуйте как минимум нормальным CI/CD и хотя бы подготовьте площадку, то есть для прода вам нужно: 1. Dev стенд на котором будет обматываться механизмы того или иного взаимодействия с компонентами опенстека, а так же будет собираться дебаг для дальнейшего открытия на ланчпаде или у поставщика(если это комерческий поставщик) issue. 2. QA стенд где уже и первая и вторая линия будет смотреть куда и как взаимодействовать с продуктом. 3. PreProd(Stage III) где уже точно будут закомиченая версия прода и будет не просто тестирование а создание рабочих нагрузок, возможно это будет кусок внутренней виртуализации. ну и сам прод, тут все понятно я думаю.
icewolf
1 и 2 пункт можно сделать средствами вложенной виртуализации. 3 и 4 это не значительное количество хостов, для матемитики и расчета последствий что бы планировать аварии.
Матвей Крапошин
А это насколько старая проблема? Или всплыла в последних релизах?
Коммьюнити дружелюбное и на большинство стандартных вопросов есть ответы. Кроме того, чем больше кейсов использования, тем проще эксплуатация в дальнейшем.
Илья | 😶☮️🐸
Там ещё челиксы с Азии тестили интеграцию с frr и аристой для бордера, ой имба
icewolf
вопрос со звездочкой вообще то.
ну тут без дизайна ничего не понятно
icewolf
где то лучше ovn где-то opensdn тут надо видеть дизайн чего хотят
icewolf
а так пальцем в дупу
icewolf
но тем не менее я позитивно оцениваю что есть хотя бы подход
Ilya
если делать полностью независимые в каждом цоде - то падение одного цода не влияет на другой никак. если же мы условно накрываем два региона общим кейстоном, то надо будет думать над тем, как правильно растянуть кластер бд на два региона. плюс стандартный кластер опенстека потребует л2 связность между цодами для кипаливда и випов. это так, для затравки. ну и подумать, в каждом цоде будет свой тангстен или общий на два? если общий, то кассандру надо поавильно готовить растянутую на два цода.
Илья | 😶☮️🐸
берём opensdn и раскатываем на 2 цода и соединяем интерконнектом
Ilya
берём opensdn и раскатываем на 2 цода и соединяем интерконнектом
если клиенты будут автоматом ожидать видимости внутренних сетей между цодами - нужна будет автоматизация таких настроек в тангстене при создании клиетами сетей в разных тангстенах( в разных цодах). если тангстен будет общий, там такой проблемы не будет, но будет растянутая кассандра
Artemy
Делайте в каждом дц отдельный регион, мой вам совет
Ilya
да домены отказов лучше изолировать. поэтому это самое надежное
Artemy
Тогда ваши нейтроны станут независимы и нагрузка на их апи двукратно упадет
icewolf
мульти регион это не решение это проблема
Artemy
А 40 нод для нейтрона норм
icewolf
да домены отказов лучше изолировать. поэтому это самое надежное
ну вот давайте допустим что у нас два изолированных региона. И два отдельный opensdn. В случае работы двух цодов нам надо будет организовать резервирование площадки, для начала по сети, а далее вопрос как мы будем делать DR? Это как минимум x2 ресурсов на каждой площадке а эти уже не 40 а хотя бы 60 нод, в идиале 80. И это все без холодного и горячего резерва.
icewolf
допустим мы поставим Acura DR от hystax. И у нас будет не 100% а 50% на георезерв клиентов и хорошо 60 нод на площадках. Но и сеф тоже надо на x2, а так же уже не какой то qfx и mx80 а железо по серьезнее
icewolf
по этому на словах все очень и очень размыто.
icewolf
Без профиля нагрузки, без профиля клиента.. построить вот так с нефига облако ну можно.. под пиво с раками пойдет
kn
а зачем так мучительно? разве в 2024 году нельзя сказать, что "дорогие клиенты/пользователи, никакого DR-а наша заоблачная система не обеспечивает. вот вам два региона (вообще лучше три), делайте DR итд сами на уровне своих приложений"?
kn
может быть пользователю окажется вполне нормально, что раз в 5 лет один из регионов будет падать на пару часов. и тогда не надо никакие х2 ресурсов.
icewolf
Я не просто так сказал про профиль нагрузки, про профиль клиента.. тут могут быть разные варианты когда вообще не надо строить связность
icewolf
иногда клиенты могут быть без экзотики и с cdn
Илья | 😶☮️🐸
Я тут в кубер вкатываюсь по-немногу и возникла задача в мир выставлять голой жопой сервисы. Хочу заюзать octavia. Какие подводные камни? Что по производительности?
Илья | 😶☮️🐸
Ну и, собственно, есть ли на примете уже готовые образы под амфоры? upd: собирается в пару команд (тык)
Илья | 😶☮️🐸
А я в ОпенСтэк вкатываюсь) уже год как
С 4ого раза вроде попроще, но все равно, хер его знает как обеспечить использование NodePort в случае если на нодах будут тенанты других юзеров (cozystack). Конфликт же будет по идее
akbarov
С 4ого раза вроде попроще, но все равно, хер его знает как обеспечить использование NodePort в случае если на нодах будут тенанты других юзеров (cozystack). Конфликт же будет по идее
Угу, поэтому не надо нодпорт юзать. Лучше все через LoadBancer, а вообще если у тебя ОпенСтэк, ты можешь установить CCM OpenStack - https://github.com/kubernetes/cloud-provider-openstack
icewolf
Это ок подход, что куб ходит в опенстак и просит создать балансировщик?
нормально. Ну как бы варианта 2 или оно у тебя уже стоит за LB или ты где то создаешь LB
icewolf
не ну можно конечно поднять навне.
Назарыч
добрый день коллеги, а можно значение max_instances_per_host указать для одной конкретной compute ноды?
J
добрый день коллеги, а можно значение max_instances_per_host указать для одной конкретной compute ноды?
Можешь указать для хост агрегейта. И в него запихнуть один единственный сервер.
kn
Угу, поэтому не надо нодпорт юзать. Лучше все через LoadBancer, а вообще если у тебя ОпенСтэк, ты можешь установить CCM OpenStack - https://github.com/kubernetes/cloud-provider-openstack
я бы сказал, что это прямо обязательно надо установить. там же помимо lb, ещё и csi есть к cinder, и можно оставию прям как ingress controller использовать
Илья | 😶☮️🐸
Да, AWS/DO так делают
моё почтение, поставил таску раскатать октавию как чуть посвободнее буду, будем тестить, чтобы не взорвалось
icewolf
Октавия эт конечно хорошо, но в разрезе ovn объективно хотелось бы понять как можно без амфоры жить
icewolf
прост.. есть провайдеры OVN Octavia provider driver Radware provider driver for OpenStack Octavia AmphoraV2 Хотелось бы какую то сравнительную таблицу что ли, потому что про первый провайдер чет вообще мало информации
Oleg
прост.. есть провайдеры OVN Octavia provider driver Radware provider driver for OpenStack Octavia AmphoraV2 Хотелось бы какую то сравнительную таблицу что ли, потому что про первый провайдер чет вообще мало информации
https://docs.openstack.org/ovn-octavia-provider/latest/admin/driver.html Ovn provider ток на L4 (TCP, UDP, SCTP) может балансировать, те уже можно забыть про часть фунций, которые могут клиенту быть нужны, аля терминация https. Еще healthchecks своеобразно работают https://docs.openstack.org/releasenotes/ovn-octavia-provider/2023.2.html#known-issues Те пока без амфоры никак)
icewolf
просто амфора древняя и ради только амфоры отказываться от ovn ну такое
Oleg
Так можно их вместе использовать, просто пока между ними гэп и ovn-provided lb пока не заменит полностью amphora
Oleg
Вроде как rh использует как раз балансировщики ovn-provider для балансировки kube-apiserver, но это не точно