Для теста выруби mitigations + C states

Вот эти слова мне не знакомы

Его паспортные статы какие?

НА том же тесте?

Итого, какие цифры тебе fio показал?

Цифры показывают что упёрся в скорость nvme

Это я примерно понимаю, меня пугает CPU

Создай из 3-х nvme mdadm raid0 и попробуй пописать на них И сравни картину

Создай из 3-х nvme mdadm raid0 и попробуй пописать на них И сравни картину

Повторюсь

Я вот тут запустил fio с теми же параметрами напрямую на соседнем NVME видно, что картина другая совсем

Вижу у вас высокий wa и sy, у меня именно в cpu нагрузка была, а не sy, тут в дисках проблема то похоже.

Меня больше интересует, насколько сильно mitigations влияют на memcopy, что CPU wait% на 30-45% на всех ядра

У меня ещё два optane по 32 gb два по 64gb, они более стабильны в смысле iops Могу на них тоже протестить, но по-моему картина была похожей.

Так, мужики, проконсультируйте, пожалуйста: Я сделал пул без thin provisioning, смигрил туда кучу волюмов ВМок Сейчас включил thin provisioning на сторадже Собс-на вопрос: можно наживую как-то трим сделать, чтобы волюмы вернули неиспользуемое место?

Только перезаписать их заново

Так, мужики, проконсультируйте, пожалуйста: Я сделал пул без thin provisioning, смигрил туда кучу волюмов ВМок Сейчас включил thin provisioning на сторадже Собс-на вопрос: можно наживую как-то трим сделать, чтобы волюмы вернули неиспользуемое место?

zfs set refreservation none имяzvol

Не зря на конфу съездил :) принесу вам интересного https://t.me/yetanotherit/46

Даже на 100Г rdma?

Не зря на конфу съездил :) принесу вам интересного https://t.me/yetanotherit/46

А можете объяснить как размер 32К связан с параметрами сети? Ну в смысле что я понимаю размер кратный MTU, а откуда цифры 32 и 128?

Имеется в виду средний размер операции логической на уровне бд, что итого за такую операцию может в среднем передаться по сети/записаться на диск Х кбайт

Такое сложновато между геораспределёнными цодами кинуть, но, как ни странно, да - 100гбит полоса это всего несколько хороших нвме на запись 12.5гбайт/сек

Это как бы нифига себе, учитывая, что их надо в массив, а даже самые лучшие диски сейчас это что-то около 4Г(?)

Я может не до конца понял. Вы пишете «размер записи надо выставлять равный среднему размеру IO по сети» Так все таки, что нужно тюнить и как? Как я понимаю, если речь о репликации между ДЦ, то в силу высокой задержки данные лучше отдавать большим пакетом, чем много маленьких, так мы экономим на латенси. Если речь идет о Postgres и передаче WAL, то вопрос а как это связано с размером записи FS? Или речь именно о папке WAL, там наверное да, лучше если размер записи будет совпадать со средним размером транзакции.

А вот тут и та самая (не)очевидность про сторадж) бд то в кластере геораспределённом, там уже есть избыточность

Избыточность избыточностью, но использовать страйп под БД идея будто "от зумеров" no offense

Избыточность избыточностью, но использовать страйп под БД идея будто "от зумеров" no offense

суть в том, что даже этот вырожденный случай со 100гбит между дальними цодами реально сделать узким местом. Обычно между геораспределёнными цодами будет меньше полосы в разрезе на один кластер БД

это ты ещё тарантуловцев не слышал :) где "синхронная запись на диск не нужна"

.....к счастью не слышал

это ты ещё тарантуловцев не слышал :) где "синхронная запись на диск не нужна"

Это как бы нифига себе, учитывая, что их надо в массив, а даже самые лучшие диски сейчас это что-то около 4Г(?)

Линейно? Больше

? Нет? D7-PS1010 - 4100 МБ/с в идеальных условиях, когда он чистый

Да вот же например https://servernews.ru/1124686

Да ищещь любой PCIe 5 диск и смотришь спеки. А 400Г хорошо, но между дц такое

? Нет? D7-PS1010 - 4100 МБ/с в идеальных условиях, когда он чистый

Да ищещь любой PCIe 5 диск и смотришь спеки. А 400Г хорошо, но между дц такое

Но вообще ситуация скорее, что сетевушки норовят упереться в х16, а диски в х4. Ну и дальше перебираем поколения PCIe

Ещё раз, все диски о которых ты говоришь - в статусе *анонсировали, ждите*

То есть пока ни одного серверного харда на PCIe 5 не сделали и обкатывают только на десктопах?

The D7-PS1030 is rated for sequential read speeds of up to 14,500 MB/s and 9,300 MB/s write; random IO reaches 2750K IOPS for read and 380K for writes.

The D7-PS1030 is rated for sequential read speeds of up to 14,500 MB/s and 9,300 MB/s write; random IO reaches 2750K IOPS for read and 380K for writes.

The D7-PS1030 is rated for sequential read speeds of up to 14,500 MB/s and 9,300 MB/s write; random IO reaches 2750K IOPS for read and 380K for writes.

Главный момент - бд вроде как не всегда страдают линейно

Спасибо за содействие, постараюсь в ближайшие дни провести тесты

Я может не понял, но при чем здесь параметры модуля ядра? или их можно как-то в динамике поправить, не перегружая систему?

Так, что по тестам?

Кстати, в 2.3 поменяли zfs_arc_max Теперь значение 0 это вся доступная память, а не 1/2 https://github.com/openzfs/zfs/issues/17052#issuecomment-2669075152

и по умолчанию так же 0 ставит, не считает сам?

Не зря на конфу съездил :) принесу вам интересного https://t.me/yetanotherit/46