J
Еще бы ты деньги брал за предложение вакансий)
J
Вот и поговорил с ботом, бгг)
Илья | 😶☮️🐸
Продолжаю борьбу... внезапно, на другом гипере с той же проблемой нашёл что одно правило всё же каким-то образом создалось, ноооо этот инстанс был создан неделю назад
qdisc htb 1: dev tap0d84cd3f-20 root refcnt 2 r2q 10 default 0x1 direct_packets_stat 0 direct_qlen 1000
qdisc ingress ffff: dev tap0d84cd3f-20 parent ffff:fff1 ----------------
tc class show dev tap0d84cd3f-20
class htb 1:1 parent 1:fffe prio 0 rate 12Kbit ceil 102400Kbit burst 1563b cburst 1561b
class htb 1:fffe root rate 34359Mbit ceil 34359Mbit burst 0b cburst 0b
Илья | 😶☮️🐸
You have to inject it via libguestfs (nova.conf/inject_password) or user_data config
Илья | 😶☮️🐸
Yep
NS 🇷🇺
open web console, boot instance in single mode. Then reset password
Vladimir
коллеги, а вот вопрос подумать. не совсем про openstack но рядом
допустим есть гипервизор с одним ядром, и внутри у него живут два гостя тоже с одним ядром соответственно
запускаем внутри каждого гостя тяжёлый вычислительный процесс, число pi считаем например
что покажет мониторинг утилизации cpu внутри каждого гостя?
на гипервизоре будет 100% утилизации, по 50% на каждого гостя(cpu shares одинаковый). а внутри гостей что? 50% на каждом? 100% на каждом?
интуиция мне подсказывает что будет 100% внутри каждого гостя так как они видят только выделенные им гипервизором наносекунды, и все они заняты. но может есть другое мнение?
NS 🇷🇺
Сам гипер тоже потребляет ресурсы
Илья | 😶☮️🐸
fuck ovs
Илья | 😶☮️🐸
Да счеты актуальны в последнее время )
не, не в том смысле, эта жижа qos не создаёт как надо
Vyacheslav
Если тебе не надо иерархический QoS который у тебя поддерживается на устройстве, а надо только лимитировать скорость порта - используй libvrt опцию.
J
Если тебе не надо иерархический QoS который у тебя поддерживается на устройстве, а надо только лимитировать скорость порта - используй libvrt опцию.
Чтоб вместо шейпинга грубо обрезалось?
По мне, сомнительная затея.
Vyacheslav
Чтоб вместо шейпинга грубо обрезалось?
По мне, сомнительная затея.
Где вы там видели грубо?
Vyacheslav
Там по 3 параметра в каждую сторону - крутите их и будет нежненькое
Илья | 😶☮️🐸
netdev|DBG|failed to retrieve MTU for network device tapee8f1eb3-7b: No such device
2022-10-27T14:46:21.409Z|00157|netdev_offload_tc|INFO|added ingress qdisc to tapf3690fb2-dd
2022-10-27T14:46:21.409Z|00158|netdev_offload|INFO|tapf3690fb2-dd: Assigned flow API 'linux_tc'
2022-10-27T14:46:21.409Z|00159|bridge|INFO|bridge br-int: added interface tapf3690fb2-dd on port 9
2022-10-27T14:46:22.673Z|00161|netdev_linux|DBG|unknown qdisc "noqueue"
Логи в овсе подобного характера, есть у кого какие предположения ?
Илья | 😶☮️🐸
Ядро ОС менять пробовал
Vyacheslav
Nikolay
А интересно qos на проект навесить можно?
Nikolay
А он на снат повесится или на фипы тоже?
Nikolay
А отдельно фипы зашейпить?
Nikolay
Прям неожиданно правильно, думал будет как обычно через одно место
Илья | 😶☮️🐸
о том и речь, но овс может подложить свинью
Vyacheslav
один порт может быть на своей индивидуальной полиси
А есть пруфы что оно работает? Или всё же через одно место 🙂
Nikolay
Сам овес то причем? Там же метеринг плюс агент который овсом рулит
Илья | 😶☮️🐸
Selecting best server based on ping...
Hosted by MTS (Moscow) [1.61 km]: 1.207 ms
Testing download speed................................................................................
Download: 97.52 Mbit/s
Testing upload speed......................................................................................................
Upload: 107.44 Mbit/s
линк 10г
Nikolay
Надо какнит заняться qos, пока прикрутил чтобы было
Илья | 😶☮️🐸
А есть пруфы что оно работает? Или всё же через одно место 🙂
Илья | 😶☮️🐸
но вот то, что разворачивается из коллы- кривое косое, походу, буду пробовать запускать external овс на гипере из репы каноникала, может прокатит
Nikolay
Прикрутил enable_traditional_DHCP false, тесты проходит, но если отрыгнет то как дебажить хз
J
https://github.com/openvswitch/ovs/blob/850e639021125c3646effa0eae9e422082ade2ca/lib/netdev-linux.c#L6181
Илья | 😶☮️🐸
на нормальных гиперах везде стоит htb (но там овс из репозитория каноникала, без докеров), а вот на новых- на колле и с такими приколами
Nikolay
А преподобный редхат что говорит?
Vyacheslav
но вот то, что разворачивается из коллы- кривое косое, походу, буду пробовать запускать external овс на гипере из репы каноникала, может прокатит
Ты потому что взял master и мучаешься - попробуй stable/yoga
Nikolay
Тагнгсетен, все там будем :)
Nikolay
Жалкая пародия :)
J
на нормальных гиперах везде стоит htb (но там овс из репозитория каноникала, без докеров), а вот на новых- на колле и с такими приколами
Да причем тут htb.
По-умолчанию всем виртуальным устройствам назначается дисциплина noqueue. И её руками нельзя назначить. ovs не назначить пытается, а распарсить не может.
Nikolay
На самом деле глядя на раздутось опенстека хочется его сжечь
Nikolay
Смотрел обзор на питон 3.11, херасе чудо спустя 10 с лишним лет существования питона мы стали нормально трейсбеки подсвечивать
Василий
да не хочет в россии больше вмварь продавать NSX
Сейчас бы в 2022 что то у vmware покупать а не пользоваться этим задаром
Nikolay
Сегодня ковырялась в коде kolla-build, на предмет вырезания елки и вкрячивания опенсерча, говнокодище редкостное - и эти люди продакшен реди образа билдят
Илья | 😶☮️🐸
Сегодня ковырялась в коде kolla-build, на предмет вырезания елки и вкрячивания опенсерча, говнокодище редкостное - и эти люди продакшен реди образа билдят
то ли дело мастер версия коллы, которая образы тянет строго из quay и по строгому названию, а не как раньше (cron:master-centos-9 вместо centos-source-cron:master)
J
Alexander
Сейчас бы в 2022 что то у vmware покупать а не пользоваться этим задаром
покупать что-то у вмвари - это вам в другой чат надо
Nikolay
вкатил свежий роки линукс, в котором нет питона, и kayobe обосралась, ай ай как мне без питона жить, я же репы локальный могу конфигурить только после второго пришествия
Nikolay
это на сколько нужно быть отбитыми чтобы не завозить репы через template в первую очередь
J
на нормальных гиперах везде стоит htb (но там овс из репозитория каноникала, без докеров), а вот на новых- на колле и с такими приколами
И вот гляди.
https://github.com/openvswitch/ovs/blob/850e639021125c3646effa0eae9e422082ade2ca/lib/netdev-linux.c#L2872
Проблема вот в этой функции.
Vyacheslav
Точно в TC? Они в iptables живут же
Vyacheslav
Стоп, tc - iptables. У тебя там гибридная схема OVS + IPTABLES?
Илья | 😶☮️🐸
Стоп, tc - iptables. У тебя там гибридная схема OVS + IPTABLES?
firewall_driver = openvswitch
ещё давно менял везде, как ты и говорил
J
Стоп, tc - iptables. У тебя там гибридная схема OVS + IPTABLES?
Я же тебе уже показывал и рассказывал что в ovs Нет своего шейпера. Он использует классификатор ядра.
J
Open vSwitch uses the Linux traffic-control capability for rate-limiting. If you are not seeing the configured rate-limit have any effect, make sure that your kernel is built with “ingress qdisc” enabled, and that the user-space utilities (e.g., /sbin/tc) are installed.
https://docs.openvswitch.org/en/latest/howto/qos/#troubleshooting
Vyacheslav
Open vSwitch uses the Linux traffic-control capability for rate-limiting. If you are not seeing the configured rate-limit have any effect, make sure that your kernel is built with “ingress qdisc” enabled, and that the user-space utilities (e.g., /sbin/tc) are installed.
https://docs.openvswitch.org/en/latest/howto/qos/#troubleshooting
Внезапно, почему-то была надежда что в ovs свой шейпер есть
J
Внезапно, почему-то была надежда что в ovs свой шейпер есть
Эт сложно. Не стали заморачиваться.
Думаю, спроси ты их, скажут, тебе надо ты и делай на openflow. Там всё для этого есть.
J
Вот, кстати.
Выглядит интересно)
https://repository.tudelft.nl/islandora/object/uuid:5e3dfbfe-19a8-4ac4-b9b6-117aab0737bf/datastream/OBJ/download
J
Почитать как эт работает))
Vyacheslav
Эт сложно. Не стали заморачиваться.
Думаю, спроси ты их, скажут, тебе надо ты и делай на openflow. Там всё для этого есть.
Да ну с одной стороны логично, что qos и cos почти всегда на l3 делается, а не на l2
Vyacheslav
А гарантировать скорость канала между устройствами в транзите можно наверное только LSP в MPLS и то, если это эксклюзивный LSP под направление и клиента, а не шаренный
J
А гарантировать скорость канала между устройствами в транзите можно наверное только LSP в MPLS и то, если это эксклюзивный LSP под направление и клиента, а не шаренный
Ну эт ваще крутота.
Обычно то просто нужен шейпер который без дропов тихонечко ужмет полосу до нужного тебе уровня.
Vyacheslav
Ну эт ваще крутота.
Обычно то просто нужен шейпер который без дропов тихонечко ужмет полосу до нужного тебе уровня.
Я просто не понимаю смысл мучаться с qos в ovs, если flavor дает такой же функционал. А вот рабочей тачке через ovs qos сколько раз потребуется изменить полосу?
Илья | 😶☮️🐸
Я просто не понимаю смысл мучаться с qos в ovs, если flavor дает такой же функционал. А вот рабочей тачке через ovs qos сколько раз потребуется изменить полосу?
Простейший кейс: есть возможность расширить канал для всех инстансов. Меняешь в одном месте и всё
Илья | 😶☮️🐸
Флейвор ? Делай ресайз у N инстансов отдельно (уныыыло)