Хотя, если в госте отличная от zfs фс. То будет настройками кэша диска вм рулить и настройкам. Самой вм в отдельности.

Гость будет видеть какой-то ext4, который он сам создаст нп блочном диске в потрохах которого будет отданный по сети ZFS том.

В связи с этим вопрос, как-то можно ZFS отданный как LUN по сети принудить к записи без кэширования в RAM?

Совсем без кэша практически не получится.

Планируется так сделать с ZFS 3.0 для NVMe носителей (поддержка O_DIRECT=on)

Понял, тогда как сейчас можно быть уверенным, что ZFS вообще записал все на диски?

Гость будет видеть какой-то ext4, который он сам создаст нп блочном диске в потрохах которого будет отданный по сети ZFS том.

Да, Я потом указал. Что кэш будет в настройках вм, и в самой вм в настройках фс.

Понял, тогда как сейчас можно быть уверенным, что ZFS вообще записал все на диски?

? У Вас не будет отчёта об успешной записи, пока данные не попадут на диск

sync никто не отменял

И он там в дефолтном состоянии используется

? У Вас не будет отчёта об успешной записи, пока данные не попадут на диск

Я писал выше. Сейчас наблюдаю опухание ВМ по RAM, и опухание хоста с ZFS, который раздает. И мне не понятно в связи с этим, это в RAM все осталось или уже на диске?

В этом особенности работы такой фс. Можно конечно Арк срезать, fsync. Но тогда толку от такой реализации...отключить буферацию метаданных и данных

Я писал выше. Сейчас наблюдаю опухание ВМ по RAM, и опухание хоста с ZFS, который раздает. И мне не понятно в связи с этим, это в RAM все осталось или уже на диске?

У zfs есть утилиты мониторинга. Можно понаблюдать заполнение.

Я готов работать с ZFS over iSCSI как в случае с локальным ZFS. Т.е. скорость обычная, запись гарантированная. Но сейчас я наблюдаю некий кэш, и скорость записи на ВМ оч высокая. По этому у меня ощущение, что все данные не пишутся на диски.

А кто стоит за таргетом?

Сам прокс?

Таргет хостит другой Debian сервер

Я писал выше. Сейчас наблюдаю опухание ВМ по RAM, и опухание хоста с ZFS, который раздает. И мне не понятно в связи с этим, это в RAM все осталось или уже на диске?

А что внутри ВМ?

Тоже zfs? Или что-то иное?

А что внутри ВМ?

ВМ голая Ubuntu, и просто wget качает файлов много на этот диск рандомных. Тестовый стенд

ВМ голая Ubuntu, и просто wget качает файлов много на этот диск рандомных. Тестовый стенд

Ну так гляньте что жрёт память внутри этой ВМ

Тоже zfs? Или что-то иное?

Debian, на нем ZFS пул собран и настроен iSCSI targe(lio)

Ну так гляньте что жрёт память внутри этой ВМ

Не видно, все пустые процессы. Но тотал полный. Я может не оч понимаю как правильно это сделать ещё. Смотрю обычный top

Debian, на нем ZFS пул собран и настроен iSCSI targe(lio)

стоп

Вы что-то не то сделали

Не видно, все пустые процессы. Но тотал полный. Я может не оч понимаю как правильно это сделать ещё. Смотрю обычный top

Нужно смотреть nmon

И одновременная работа с ним обеспечивается за счёт того, что каждая ВМ это отдельный zpool https://pve.proxmox.com/wiki/Storage:_ZFS_over_ISCSI

Не увидел, где про это написано. Звучит как бред, простите. Может вы zvol c zpool перепутали?

Не увидел, где про это написано. Звучит как бред, простите. Может вы zvol c zpool перепутали?

Есть Zpool

Нужно смотреть nmon

Ок, гляну им, сейчас не рядом. Спасибо

Есть Zpool

proxmox цепляется по ssh

proxmox цепляется по ssh

И создаёт zvol для ВМ

И создаёт zvol для ВМ

Который уже выдаёт как iSCSI таргет для самого себя и цепляет его как диск

Не увидел, где про это написано. Звучит как бред, простите. Может вы zvol c zpool перепутали?

Мы это уже разобрали, ошибся человек. Имело ввиду zvol

Который уже выдаёт как iSCSI таргет для самого себя и цепляет его как диск

Да, все так

Есть Zpool

Вот этот zpool лежит на голом debian

А какая фс внутри вм? Что бубен понятно, а фс ext4?

Вот этот zpool лежит на голом debian

zvol

Не вводите в заблуждение. Люди начинают нервничать

А какая фс внутри вм? Что бубен понятно, а фс ext4?

Да любая какая при установке ос выбрана будет. У меня ext4

zvol

Нет, zpool создан на сервере ZFS (debian)

Лять, дайте я схему нарисую

zvol

Почему zvol? Именно пул создан. А потом когда PVE создаёт диск у себя в сторадже, он идёт по сети и создаёт zvol для диска

Zpool=raid, zvol=disk-vm

Да, это уже разобрали

Просто иногда не понятно что у вас zpool, а что zvol

И схему уже разложили Pve + debian-iscsi(stor-zpool)

Кэш на стороне iscsi обоих и клиента и сервера. А сама вм тоже может что-то кэшировать, ее рам нужно инспектировать отдельно от этого контекста, так как она не знает как ей подан диск. Для нее это обычный диск

Вас беспокоит рам pve? Stor? Или вм?

Лять, дайте я схему нарисую

Во Freebsd есть утилиты gstat, zpool iostat. Они мониторят обращения к диску. Можно попробовать собрать стату на каждом элементе цепочки. Что-то запусти внутри вм, посмотреть. Как она пишет на диск. Параллельно посмотреть как пишет на диск stor(debian zpool). Сравнить объем записи.

Вм не знает про zvol

Вм не знает про zvol

Да

Pve отдает ей диск, сата, scsi, virtio

Про zvol знает pve и stor

В каком кэше оседает инфа Я написал, можно понаблюдать процесс записи в 2х точках.

В самой вм и в stor

Кэш команд и данных будет на стороне pve и на стороне stor. Фактическую запись в этом случае отследить сложно.

Понял, что дело темное :) Потестирую и помониторю тогда. zpool iostat ничего особо не показывает. Какая-то запись идет и все. Причем линейно, постоянно что-то пишет немного.

zpool iostat 1

С интервалом 1 сек

zpool iostat 1

Нагрузки вм на запись большом объёмом, посмотри как стор пишет.

Сейчас я вообще выключил Proxmox, все равно что-то дописывает уже без клиентов

Я правда не понял в случае с ключом 1, почему потом нули идут?

Обращения к дискам всегда будут. Службы что-то видимо туда пишут. Если в сторе кроме дисков вм ещё что-то лежит

Iops

Обращения к пулу

Обращения к дискам всегда будут. Службы что-то видимо туда пишут. Если в сторе кроме дисков вм ещё что-то лежит

ничего кроме одного прокса и одной ВМ из него к этому пулу не подключено

Понял, что дело темное :) Потестирую и помониторю тогда. zpool iostat ничего особо не показывает. Какая-то запись идет и все. Причем линейно, постоянно что-то пишет немного.

По памяти nmon + cat /proc/meminfo

В этом плане top в бсд информативнее

Там аркстат

Как в Линукс не смотрел

zfstat

Как в Линукс не смотрел

arc_summary

Что-то такое тоже должно быть, хитрэйт, кэшстат

Ну вот. Собираем информацию о заполнении кэша, хитрэйт обращений.

Вот и будет статистика где что оседает на нижнем уровне диска вм

А так, zabbix вам в руки.

Понял. Буду пытаться. Думал, что это довольно популярная штука и есть ответы готовые. Оказывается все это очень не популярно :) Буду собирать статистику всеми доступными методами :)

Вообще всё будет наглядно

Большое вам спасибо за помощь! )

Понял. Буду пытаться. Думал, что это довольно популярная штука и есть ответы готовые. Оказывается все это очень не популярно :) Буду собирать статистику всеми доступными методами :)

Zfs over iscsi имеет статус experimental, как Вы думаете? И это чатик не проксмокса

Zfs over iscsi имеет статус experimental, как Вы думаете? И это чатик не проксмокса

Да ZFS сам по себе вроде тоже не особо стабильный на линуксе. Но ничего, юзаем :)