А там уж можно думать как их улучшить.
Сейчас тестирую lvm бекенд
внутри вм xfs
на hw w=23.4k IOPS
на vm w=10.2k IOPS
Использую Raid(ssd)
Libvirt
<disk type='block' device='disk'>
<driver name='qemu' type='raw' cache='none' io='native'/>
<source dev='/dev/vg_nova/d0812341-d0ff-42ef-b30f-97b094c39881_disk' index='1'/>
<backingStore/>
<target dev='sda' bus='scsi'/>
Andrey
Aleksandr
virtio-scsi поставь
Aleksandr
ты видать через полную эмуляцию LSI идешь
Aleksandr
покажи lspci -k из виртуалки
Andrey
покажи lspci -k из виртуалки
[root@lvm ~]# lspci -k
…….
00:01.1 IDE interface: Intel Corporation 82371SB PIIX3 IDE [Natoma/Triton II]
Subsystem: Red Hat, Inc. Qemu virtual machine
Kernel driver in use: ata_piix
Kernel modules: ata_piix, pata_acpi, ata_generic
……
00:04.0 SCSI storage controller: Red Hat, Inc. Virtio SCSI
Subsystem: Red Hat, Inc. Device 0008
Kernel driver in use: virtio-pci
Kernel modules: virtio_pci
J
Сейчас тестирую lvm бекенд
внутри вм xfs
на hw w=23.4k IOPS
на vm w=10.2k IOPS
Использую Raid(ssd)
Libvirt
<disk type='block' device='disk'>
<driver name='qemu' type='raw' cache='none' io='native'/>
<source dev='/dev/vg_nova/d0812341-d0ff-42ef-b30f-97b094c39881_disk' index='1'/>
<backingStore/>
<target dev='sda' bus='scsi'/>
Во-первых, lvm плохая идея потому что с ним не будет работать живая миграция, а во-вторых потому что с ним возни больше в случае чего. С файлами в фс гипервизора ты можешь легко работать - копировать, конвертировать в случае нужды. А с LVM еботня.
Во-вторых, когда хранишь в файлах для операций записи и чтения без флагов sync и direct будет работать кэш VFS хоста и еще немножко разгрузит диски.
В-третьих, включи writeback кэш на виртуальном диске, не надо его бояться.
И в-четвертых, raid на ssd у тебя какой и для чего сделан?
Pavel
отличная история как потерять данные, свежа еще память )
Aleksandr
Кстати в самой виртуалке на диск noop выставь
Andrey
Во-первых, lvm плохая идея потому что с ним не будет работать живая миграция, а во-вторых потому что с ним возни больше в случае чего. С файлами в фс гипервизора ты можешь легко работать - копировать, конвертировать в случае нужды. А с LVM еботня.
Во-вторых, когда хранишь в файлах для операций записи и чтения без флагов sync и direct будет работать кэш VFS хоста и еще немножко разгрузит диски.
В-третьих, включи writeback кэш на виртуальном диске, не надо его бояться.
И в-четвертых, raid на ssd у тебя какой и для чего сделан?
Первый пункт знаю и готов пожертвовать если lvm будет быстрее.
Aleksandr
https://serverfault.com/questions/950820/should-multiple-threads-be-spun-up-by-kvm-virtio-scsi-on-the-host-during-io-work
Aleksandr
вот это глянь
Aleksandr
шедулеры. разу в нооп
Aleksandr
ну и дальше с очередью и количеством тредов
Aleksandr
можно поиграться
Aleksandr
из самого virtio-scsi я полтора миллиона IOPS выжимал
Илья | 😶☮️🐸
И был ли кэш?
Я и твой кот
На RAM ;)
Aleksandr
а внутри тест производительности ораклячей базы данных
Aleksandr
я как раз изучал возможности бэкендов различных в qemu
Aleksandr
Тогда тоже проверь на рамбиске все бэкенды для начала
Aleksandr
я это давно делал хз че как поменялось, это еще даже до мирантиса делал, значит до 2014
Aleksandr
и оттуда дальгше плясать
Aleksandr
но мне кажеться noop в вм сильно поднимет
Aleksandr
ну и если до базы в статье выше что скидывал поправь тогда очереди и потоки
J
но мне кажеться noop в вм сильно поднимет
Мож наоборот сделать?
В хостовой системе noop, а в виртуалке пусть работает нормальный планировщик, который умеет приоритизацию операций.
Aleksandr
Мож наоборот сделать?
В хостовой системе noop, а в виртуалке пусть работает нормальный планировщик, который умеет приоритизацию операций.
у него БД, у тебя в любой интрукции для бд noop просят
Aleksandr
БД то сама оптимизирует свой профиль записи/чтения
Aleksandr
и распределение блоков
Aleksandr
Мой вариант, тоже база
а и еще промеряй через dd для начала типа dd if=/dev/sdb of=/nev/null bs=512 ioflag=direct
Aleksandr
ну и в обратную сторону
Aleksandr
на хосте и из ВМ
Aleksandr
а потом смотреть надо будет где затык
Aleksandr
а потом уже добавлять смешанные профили
Andrey
ну и дальше с очередью и количеством тредов
можно как-то iothreads запихнуть через мету или может конфигом?
Denis
А кто-нить уже танчил тему с NVMEof?
Aleksandr
ну тогда с очередями и потоками контроллера virtio-scsi еще поиграй
Andrey
ну тогда с очередями и потоками контроллера virtio-scsi еще поиграй
играю
как заталкать их НЕ руками?
Aleksandr
не проверял, возможно через метадату из новы
NS 🇷🇺
я не смог найти способа, а руками не здорова
пиши патч к нове, другого способа на текущий момент нет, ну можно в пулреквестах поискать, может есть не принятые
Andrey
Andrey
При удалении вм диски нова(lvm)
Вот такая шляпа вылезла, затирает диск уже 15 минут. Как убрать такое поведение?
/usr/bin/coreutils --coreutils-prog-shebang=shred /usr/bin/shred -n0 -z -s1073741824000 /dev/vg_nova/a14b7d51-8a6b-4891-8282-f7046ec64ed3_disk
Andrey
Artemy
Хаха, ждет тебя дивный мир открытий чудных.
Andrey
Хаха, ждет тебя дивный мир открытий чудных.
Уже не первый год и все открытия чудные.
😂
Сказочная жизнь
Александр
Добрый день!
Если мы ищем системного администратора в офис с хорошей зарплатой - можно ли здесь разместить вакансию?
Pavel
Нет вам в чатик сисадминов
Александр
Понял, спасибо
Ilya
Коллеги,
Дружеское напоминание про завтрашний эвент.
Кто еще не зарегистрировался - приходите, промо код OPENSTACK2021 действует
https://t.me/openstack_ru/64206
Pavel
Чтот я не понял, как этот саммит связан с опенсорсом.... Рассказали про крутые продукты "вы можете это взять в опенсорсе, но оно вам надо? Платите нам!"....
Реально, OpenNebula? Linbit SDS? Серьёзно?
NS 🇷🇺
Чтот я не понял, как этот саммит связан с опенсорсом.... Рассказали про крутые продукты "вы можете это взять в опенсорсе, но оно вам надо? Платите нам!"....
Реально, OpenNebula? Linbit SDS? Серьёзно?
правильно, сходи послушай рекламу кровавого тырпрайза за свои кровные 😄
Pavel
правильно, сходи послушай рекламу кровавого тырпрайза за свои кровные 😄
Ну, сильно сомневаюсь, что там был хоть кто-то за "свои кровные".
Stanley
Ну, сильно сомневаюсь, что там был хоть кто-то за "свои кровные".
А если и был, то так ему и надо. :)
Ilya
это маркетинг-магическая халява привлекла слушателей
Den
это маркетинг-магическая халява привлекла слушателей
100%, так приятно видеть после 100$, чек на 0$ 😁
Andrey
Если за услугу не берут деньги, значит товар это ты.
Vyacheslav
Если за услугу не берут деньги, значит товар это ты.
интересно что ты скажешь про институт семьи 🙂
NS 🇷🇺
интересно что ты скажешь про институт семьи 🙂
тебе сбер что ли доплачивает за колво символов в опенстек чате?
Vyacheslav
А у тебя услуга? У меня все по любви.😉
так может быть и тут все по любви к открытому по 🙂
Aleksey
Dmitry
Дык!
Pavel
Интересный опенстек тут пошёл. :)
Andrey
nova.scheduler.request_filter ….. compute_status_filter request filter added forbidden trait COMPUTE_STATUS_DISABLED
compute в сервисах включен (enabled | up)
куда копать?
Andrey
Vyacheslav
компьюты или скедулера?