Vyacheslav
Если конечно не продавать клиенту каждый mb/s и заставлять его покупать расширение
Илья | 😶☮️🐸
Vyacheslav
бинго, в том числе
Да твое ведро будет померать от 1gb/s реального трафика http (не берём в 1 поток iperf)
Vyacheslav
Для прокачки 1gb/s суммарно тебе надо 8 vcpu и 5 из них будет занято склейкой твоего tcp трафика
Илья | 😶☮️🐸
Для прокачки 1gb/s суммарно тебе надо 8 vcpu и 5 из них будет занято склейкой твоего tcp трафика
с одного гипера не больше 20-30мбит по 95%, но изредка могут быть всплески когда юзеры что-то качают
Vyacheslav
Все потому что нет tcp offload и обработка трафика в Linux сделана через множественное клонирование байтов
Илья | 😶☮️🐸
тут вопрос не в "зачем", а "почему овс хуево работает и какой-то баг"
Vyacheslav
Vyacheslav
тут вопрос не в "зачем", а "почему овс хуево работает и какой-то баг"
Обычно так: сделали гавно и оно не пошло в прод, но конкурс выиграли / продукт продали
Илья | 😶☮️🐸
Обычно так: сделали гавно и оно не пошло в прод, но конкурс выиграли / продукт продали
у меня адовый долгосрок, ты же в курсе
Илья | 😶☮️🐸
если qos работает на одном регионе, то он должен тупо работать
Илья | 😶☮️🐸
но тут что-то не пошло
Vyacheslav
это полумера и потом она сыграет злую ролль
Сделай всем до 100mb/s и Брестом до 200 mb/s и это покроет любой ворклоуд в твоем случае
Vyacheslav
Ты в самой vm не выжмешь много bps из-за реализации Вирт драйвера, если у тебя нет sriov или macvtap
Илья | 😶☮️🐸
Ты в самой vm не выжмешь много bps из-за реализации Вирт драйвера, если у тебя нет sriov или macvtap
дык мне пофиг, инстансы не юзают для хайлоадов
Vyacheslav
дык мне пофиг, инстансы не юзают для хайлоадов
Тогда возьми здравый лимит, поставить в 5 раз больше и забей. Если кого-то взломают и там будет много трафика, то лимит спасёт всех остальных от такой vm
Илья | 😶☮️🐸
Тогда возьми здравый лимит, поставить в 5 раз больше и забей. Если кого-то взломают и там будет много трафика, то лимит спасёт всех остальных от такой vm
Нужны работающие qos как и на регионе, который в проде
Илья | 😶☮️🐸
я дальше буду копать
J
Я чот не пойму)
QoS работал раньше, в свежем релизе раскатанном через kolla не работает.
А самый приемлемый вариант решения это "забей на QoS, ставь лимиты в Libvirt"?
Вовка из тридевятого царства доволен)
Илья | 😶☮️🐸
J
Я имею ввиду что хорошо б разобраться)
J
Тем более, когда в таких вещах начинаешь копаться узнаешь много интересного или полезного.
J
Были б время и силы)
Илья | 😶☮️🐸
Ну у меня уже 3ий день прошёл, какая-то херь с этим qos
Илья | 😶☮️🐸
Ночью или завтра подниму ovs из реп убунты и попробую
Илья | 😶☮️🐸
поэтому хочу именно из реп запустить овс
J
да я и из wallaby пробовал развернуть- всё также
Не понял тогда)
Ты ж говоришь что на wallaby работает. Или он не через Kolla?
Илья | 😶☮️🐸
Не понял тогда)
Ты ж говоришь что на wallaby работает. Или он не через Kolla?
он был развернут вручную, когда я только погружался в стак
Илья | 😶☮️🐸
коллу я тыкаю ещё даже месяца не прошло
J
Я n думал что работало и сломали.
Vyacheslav
Они не так давно qos выкинули из neutron и сделали его модулем
Илья | 😶☮️🐸
Чтож. Развернул ovs agent + ovsdb из реп убунты- на выходе тоже самое, noqueue и никакого намёка на корректную работу tc
J
Чтож. Развернул ovs agent + ovsdb из реп убунты- на выходе тоже самое, noqueue и никакого намёка на корректную работу tc
Версии ovs сравни в работающей инсталляции и в проблемной)
Илья | 😶☮️🐸
Версии ovs сравни в работающей инсталляции и в проблемной)
там вообще встало колом по итогу
Илья | 😶☮️🐸
на мастер версии вернулся с чего начинал, для эксперимена удалил qdisc у застывших с noqueue интерфейсов и о чудо! Интерфейсы перевелись сначала на fq_codel, а затем если перезапустить овс агент- на htb
Илья | 😶☮️🐸
и ingress qos на новом регионе при этом начинают верно работать, как и должны
[ 5] 0.00-1.00 sec 14.4 MBytes 121 Mbits/sec 0 634 KBytes
[ 5] 1.00-2.00 sec 12.5 MBytes 105 Mbits/sec 0 1.20 MBytes
[ 5] 2.00-3.00 sec 11.2 MBytes 94.4 Mbits/sec 0 1.78 MBytes
[ 5] 3.00-4.00 sec 11.2 MBytes 94.4 Mbits/sec 0 2.37 MBytes
[ 5] 4.00-5.00 sec 12.5 MBytes 105 Mbits/sec 0 2.91 MBytes
[ 5] 5.00-6.00 sec 11.2 MBytes 94.4 Mbits/sec 0 3.00 MBytes
[ 5] 6.00-7.00 sec 11.2 MBytes 94.4 Mbits/sec 0 3.00 MBytes
[ 5] 7.00-8.00 sec 12.5 MBytes 105 Mbits/sec 0 3.00 MBytes
(полиси на 100мбпс)
Илья | 😶☮️🐸
осталось понять почему овс криво добавляет интерфейс, которому назначается noqueue...
Илья | 😶☮️🐸
обновил полиси на 200мбпс, всё подтянулось ок
```
Selecting best server based on ping...
Hosted by i3D.net (Rotterdam) [355.62 km]: 4.536 ms
Testing download speed................................................................................
Download: 193.00 Mbit/s
Testing upload speed......................................................................................................
Upload: 231.96 Mbit/s
```
Новые порты всё также с noqueue создаются...
Илья | 😶☮️🐸
есть у меня странное послвкусие подозрение, что это как-то связано с systemd-networkd
Oleg
Коллеги, добрый день. Поделитесь опытом. Хотим колу развернуть на 3х хостах сначала для тестов, потом в прод пустить. Как лучше сделать контроллеры поднять на виртуалках в этих же хостах, или все контейнеры для контроллеров и компьют-нод размещать вместе прям поверх ОС хоста?
Fedor
Коллеги, добрый день. Поделитесь опытом. Хотим колу развернуть на 3х хостах сначала для тестов, потом в прод пустить. Как лучше сделать контроллеры поднять на виртуалках в этих же хостах, или все контейнеры для контроллеров и компьют-нод размещать вместе прям поверх ОС хоста?
В проде совмещение контроллеров и компут на одном хосте есть ненужная боль по обслуживанию и обновлению. А на поиграться - как угодно может полететь. Если виртуалка на хосте нужна для ограничения ресурсов, вроде можно и докер настроить на то же самое.
Oleg
В проде совмещение контроллеров и компут на одном хосте есть ненужная боль по обслуживанию и обновлению. А на поиграться - как угодно может полететь. Если виртуалка на хосте нужна для ограничения ресурсов, вроде можно и докер настроить на то же самое.
Федор а можете про боль обслуживания и обновление по подробней рассказать? в чем конкретно она заключается?
Yuriy
Коллеги, добрый день. Поделитесь опытом. Хотим колу развернуть на 3х хостах сначала для тестов, потом в прод пустить. Как лучше сделать контроллеры поднять на виртуалках в этих же хостах, или все контейнеры для контроллеров и компьют-нод размещать вместе прям поверх ОС хоста?
Для частоты эксперемента в качестве контрола я использую существующую виртуализацию(VMware) для тестового стенда. На проде у меня на контролах развернута своя виртуализация и сервисы(Horizon, Neutron, Nova controller и т.д.) запущены в виде виртуалок на них (не в виде контейнеров).
Fedor
Федор а можете про боль обслуживания и обновление по подробней рассказать? в чем конкретно она заключается?
В том, что нужно совмещать в одном действии несколько разных процессов - размигрировать виртуалки, проверить всякие сетевые агенты, обновить/ребутнуть операционку, потом вернуть назад и на следующий сервер переходить.
Я кстати некорректно выразился, обновление ос/ядра конечно же. Обновлению коллы не принципиально.
Fedor
А с компутой выделенной красота - live-evacuate/migrate, сделал что хотел, едем дальше)
Yuriy
Если есть докер хосты или кубер существующий, можно для теста поднять сервисы в виде контейнеров на них.
Oleg
а вообще как думаете если взять 3 хоста на них на каждом развернуть по 1ой квмной виртуалке. И колой раскатать эти виртуалки как контроллеры а хосты как гипервизоры. Такой вариант вообще работать будет?
Oleg
я просто не знаю так вообще делают нет?
NS 🇷🇺
Только вм нафиг не надо в этом случае
Fedor
я просто не знаю так вообще делают нет?
Делают всё что угодно. Вопрос, что вы хотите этим достичь? Железо сэкономить?
NS 🇷🇺
Делают всё что угодно. Вопрос, что вы хотите этим достичь? Железо сэкономить?
чет мне подсказывает там пытаются наладить жизнь в условиях санкций и это пилот, который неожиданно станет продом
Fedor
Контроллер точно так же жрёт ресурсы, память там, процессор и диск. Гораздо проще купить отдельный сервер, чем вот это всё в одну коробку и цефом сверху заполировать. Открытых наработок по выделению ресурсов докерам контроллера я не встречал, хотя колла поддерживает, а цеф вообще говорят в такое не умеет, поэтому всё что all-in-one немного лаба и привирает, что готово к проду.
Oleg
чет мне подсказывает там пытаются наладить жизнь в условиях санкций и это пилот, который неожиданно станет продом
Вы все правильно понимаете. :) Если честно то да, кажется очень расточительно тратить три физических сервера под систему управления.
NS 🇷🇺
Вы все правильно понимаете. :) Если честно то да, кажется очень расточительно тратить три физических сервера под систему управления.
смотря на сколько будет жирное облако
NS 🇷🇺
у вас сейчас другая виртуализация есть?
Oleg
вмваре
NS 🇷🇺
и то больше толку будет
NS 🇷🇺
единственно засада будет с glance, если захотите бекенд для него в виде cinder, у которого в свою очередь сторадж по FC
Fedor
ну вот поднимите в ней 3вм под контролы, а железные сервера исключительно под компуты
Вмки с контроллерами опенстека на варе вообще продакшн реди решение на удивление))
Fedor
единственно засада будет с glance, если захотите бекенд для него в виде cinder, у которого в свою очередь сторадж по FC
Ой, ну поправим инвенторку и запустим это на компуте, тут не страшно.
Oleg
Хорошо. Коллеги, убедили. будем смотреть в сторону железных контроллеров. Там по железу сильно большие требования? допустим чтобы для старта три гипервизора обслуживать сколько ядер памяти надо? (тут сами понимаете хотелось бы тоже сэкономить.....)
Fedor
Хорошо. Коллеги, убедили. будем смотреть в сторону железных контроллеров. Там по железу сильно большие требования? допустим чтобы для старта три гипервизора обслуживать сколько ядер памяти надо? (тут сами понимаете хотелось бы тоже сэкономить.....)
А это опять же зависит от того, сколько внутри у вас будет компонент запущено. Просто вмки крутить - и 16ГБ на первое время хватит. А вот если прометей, хит, еластик, сеилометер и прочие приблуды, то 64ГБ может быть мало.
Oleg
ясно, спасибо.
NS 🇷🇺
Ой, ну поправим инвенторку и запустим это на компуте, тут не страшно.
ну мелкософт умеет NPIV, интересно у вари есть вопохожее
Fedor
Вы же явно захотите пощупать всё на тестовом стенде) так что 64+ ну или вмки на варе реально рабочий вариант. Несолидно и неудобно перед коллегами, но точно работает
NS 🇷🇺
Вы же явно захотите пощупать всё на тестовом стенде) так что 64+ ну или вмки на варе реально рабочий вариант. Несолидно и неудобно перед коллегами, но точно работает
еще как вариант взять один жирный сервер, вкатить на него Proxmox, и там нарезать 3 виртуальных контроллера. Отказоустойчивость так себе. Зато один жирный дешевле 3 и места в стойке меньше занимает
Fedor
Опять же - три контроллера для попробовать вам зачем? HA там работает с некоей долей ручного вмешательства, если надолго. Я просто обожаю каждого заказчика, который это в ПСИ закладывает, потому что так завещали
Fedor
еще как вариант взять один жирный сервер, вкатить на него Proxmox, и там нарезать 3 виртуальных контроллера. Отказоустойчивость так себе. Зато один жирный дешевле 3 и места в стойке меньше занимает
Я хотел сказать, что мы в Россиюшке и место в стойках тут не экономят, но блин оно реально заканчивается говорят в этом году
NS 🇷🇺