Linda
Осталось разобраться с l2 агентом и вот уже заветный опенстек)
Linda
l3
NS 🇷🇺
ну норм
Да чет не очень ... Времени вагон убил
Linda
но намек понят)
Илья | 😶☮️🐸
ред булл, колла и что-то из the prodigy, там само получится
Linda
разверну коллу в инстансе своего опенстека ^__^
Илья | 😶☮️🐸
Один из лучших фильмов!
Linda
Илья | 😶☮️🐸
Linda
"Начало"
действительно, потрясающий
Vyacheslav
Кто-то знает где почитать про OVS? после 4Mpps получаем дропы в OVS vxlan - как это чудо тюнить?
Илья | 😶☮️🐸
может сетевухи говно в гиперах ?
Vyacheslav
dpdk есть ?
Нет, но дело в том, что дропы не на каком-то порту, а именно в br ovs
Илья | 😶☮️🐸
я бы попробовал dpdk
Илья | 😶☮️🐸
когда речь уже про mpps, то как-то хочется оптимизаций и разгрузки
Vyacheslav
когда речь уже про mpps, то как-то хочется оптимизаций и разгрузки
До 4MPPS всё стабильно, а дальше начинается SI рости слишком сильно
Vyacheslav
4mpps- где-то 4gbps, так ?
Около 20GB/s in+out
Илья | 😶☮️🐸
J
4mpps- где-то 4gbps, так ?
Сколько угодно может быть)
Илья | 😶☮️🐸
Сколько угодно может быть)
да да, от mtu зависит
Илья | 😶☮️🐸
но я беру 1500 за базу
J
да да, от mtu зависит
Не от mtu, а просто от размера пакета)
J
Но не суть.
Илья | 😶☮️🐸
Vyacheslav
Примерно такое
Илья | 😶☮️🐸
Примерно такое
так стоп, а у тебя vxlan живёт на гиперах же ?
J
Около 20GB/s in+out
Ну а чо, эт у тебя без dpdk так? Выглядит как приличный результат)
Vyacheslav
Илья | 😶☮️🐸
Дропы на нетворкноде
поставьте туда какие-нибудь mellanox и дпдк сверху
Илья | 😶☮️🐸
а очереди настроены ещё на нетворк ноде ?
Vyacheslav
Варианты переделать не интересны, т.к. Мы знаем что хотим убрать и как переделать. Надо только дожить и попробовать покрутить ручки OVS
Vyacheslav
snat?
Да, но дропы на vxlan, а не на портах net ns
J
Да, но дропы на vxlan, а не на портах net ns
Эт понятно. А разнести агенты делающие snat по нескольким серверам не получится, наверное? По части energy-performance bias процессоров всё небось уже выкручено на максимум?
Vyacheslav
Разнести - увы нет
J
Да на максимум, гипертрединг выключен
EPB=0, Performance гувернер, максимальный TDP в биосе, да? А чо по нагрузке на процессорные ядра ваще во время такого трафика?
Vyacheslav
Vyacheslav
Такое ощущение что упираемся в сам OVS, из-за большого количества SI
Vyacheslav
J
Это одного сервера или всех скопом? Зеленое с фиолетовым это что?
J
Такое ощущение что упираемся в сам OVS, из-за большого количества SI
Вероятно, но это не значит что нельзя проблему задушить потюнив процессоры вместо ovs.
Vyacheslav
J
Все процы выкручиваются в максимум из linux через scaling governer
Так там pstate драйвер же у вас, наверное? Гувернер не сможет ничего сделать толком. Он может подсказать железу, но процессор сам выбирает p state для своих ядер все равно.
J
Разные потоки
Выходит, не очень-то равномерное распределение softirq по ядрам?
Vyacheslav
Возможно это связанно с профилем обработки flow tcp
J
Увы, да
А что если отключить часть ядер чтобы позволить процессору бустить оставшиеся ядра до более высоких частот?
Vyacheslav
Vyacheslav
CPU MHz: 2100.000 CPU max MHz: 3200.0000 CPU min MHz: 800.0000
Vyacheslav
Не так что бы оно сильно плавало
Vyacheslav
Вот сумма тактов по идеи
J
Чо еще то у меня из спонтанных идей и вредных советов... Приоритет ksoftirqd поднять принудительно попробовать.
Ilya
Варианты переделать не интересны, т.к. Мы знаем что хотим убрать и как переделать. Надо только дожить и попробовать покрутить ручки OVS
Накину несколько идей из прошлого опыта: 1. Еще возможный вариант - как то руками упростить структуру свичей OVS и бриджей. Поскольку пересылка между несколькими объектами (бриджами, свичами)- это расходы CPU/Прерывания. 2. Может вкрячить еще одну нетворк ноду временно ? 3. И еще вариант - бывает хитрый траффик, который может менее эффективно обрабатываться (некорректные пакетики кто-то шлёт и подсаживает ресурсы)
Ilya
1. Разве можно убрать часть бриджей не сломав логику работы? 2. Там один vrouter и это не сменить 3. Возможно, но профиль не поменять
1. Это вопрос творческий - надо разрисовывать структуру и смотреть. Зависит от фичей, которые используются... Но риск поломать есть, конечно. 2. это проблема, согласен. балансировки не будет тогда. 3. мы банили узлы с таким трафиком с помощью iptables в ручном режиме или делали автоматизацию. народ потом фиксы к софту применял на вмках и проблема лечилась и их убирали из фильтра
Maverick
Доброго времени суток. Я новенький и вот только на пути в освоении опенстека. Можете порекомендовать курсы, или литературу, или ещё какие то источники чтобы начать. Заранее спасибо
NS 🇷🇺
Уже пора все это в закрепы
Maverick
Уже пора все это в закрепы
Это я знаю. Думал может где то есть более как сказать структурированные под обучение курсы или книги.
NS 🇷🇺
Тут любят советовать книгу Маркелова
Maverick
Спасибо большое. Посмотрю книгу. А у редхата они на англ вроде. И сейчас к сожалению теперь не доступны, из за национальности
Sergey S.
Ilya
Спасибо большое. Посмотрю книгу. А у редхата они на англ вроде. И сейчас к сожалению теперь не доступны, из за национальности
вроде инвента учит норм по редхатовским курсам опенстечным, только нет сертификации сейчас
Mikhail
Это я знаю. Думал может где то есть более как сказать структурированные под обучение курсы или книги.
Если упорно гуглить и яндексить можно найти cl110 Student Workbook. К сожалению cl210 найти не удалось:)