Evgenii
Evgenii
но я как я писал выше, вы можете снимать, устанавливать и менять резевр сами
Evgenii
zfs set refreservation=none имя_тома
Second
Second
у меня получается не стоит (галочка) значит резерв будет
Evgenii
У вас весь PVE на zpool, если в пуле закончится место, оно закончится для всех датасетов, включая системные.. откуда PVE грузится и тд
Second
zfs set refreservation=none rpool/vm-111-disk-2.
Second
вот так ? я правильно понимаю что с самой вм-кой ничего не случится ?
Evgenii
установите туда резевр наперед, больше чем они сейчас занимают с запасом.. а потом можете снимать если хотите резерв с томов виртуальных машин.. хоть какая то защита будет
Evgenii
я не знаю загрузится ли вообще проксмокс, если у него останется 0 байт свободных, не проверял)
Evgenii
для rpool/ROOT и его наследников нужно зарезервировать место
Second
таааак.... пажжиии емана.
у меня есть две вм-ки. с установленным резервом.
1 - nginx c занятым местом в 15 гигов (там два диска на 32 и на 100, но мы считам что работаем только с диском на 100)
2 - база со свободным в 14.
я делаю следющие действия - устанавливаю резерв для первой машины (для диска на 100 гигов) в размере 25 гигабайт
----
профита - освободилось 75 гигов, которые я могу потратить на увеличение места для вм с базой
правильно я понял ?
Second
окай. а там перезапускать или еще чего надо будет ?
Evgenii
таааак.... пажжиии емана.
у меня есть две вм-ки. с установленным резервом.
1 - nginx c занятым местом в 15 гигов (там два диска на 32 и на 100, но мы считам что работаем только с диском на 100)
2 - база со свободным в 14.
я делаю следющие действия - устанавливаю резерв для первой машины (для диска на 100 гигов) в размере 25 гигабайт
----
профита - освободилось 75 гигов, которые я могу потратить на увеличение места для вм с базой
правильно я понял ?
типа того, только еще раз - считай общий размер дисков, которые ты создаешь, сейчас у тебя размер дисков практически равен всему твоему месту.
Ты видимо хочешь увеличить размер одного из дисков. Итоговый размер всех дисков выйдет больше, чем может вместить твой пул.. велика вероятность, что это выйдет боком в один прекрасный момент
Evgenii
размеры виртуальных дисков не уменьшить, виртуалки будут думать, что у них ЕСТЬ то место, что указано)
Evgenii
а вообще если у тебя там не винда, переходи на контейнеры, и забудешь об этой проблеме раз и на всегда
Second
типа того, только еще раз - считай общий размер дисков, которые ты создаешь, сейчас у тебя размер дисков практически равен всему твоему месту.
Ты видимо хочешь увеличить размер одного из дисков. Итоговый размер всех дисков выйдет больше, чем может вместить твой пул.. велика вероятность, что это выйдет боком в один прекрасный момент
ну тут вы правы. поэтому сделаем как вы посоветовали - разнесем рут и виртуалки на разные диски (естествено выведя этот прокс из кластера и потом засунув его обратно)
Evgenii
Overprovisioning - когда диски тонкие и их размер больше, чем тот, что у тебя есть
контейнеры работают поверх существующей файловой системы, им не нужны виртуальные диски. Красота короче..
Выходит сильная экономия места по сравнению с VM
потому, что если не использовать overprovisioning для дисков VM (т.к. это чревато боком), то каждой VM нужно отдавать куча места под диск (с запасом), и сразу это место резервировать (создал диск 200 гб - минус 200 гб из пула)
Second
вот смотрите. у меня есть другой прокс (тоже в этом кластере) там две машины, обе на таком же zfs. я хочу удалить одну чтобы увеличить место для второй (zfs заполнен на 99,29%) . я правильно понимаю что я просто удаляю машины в самом проксомксе (через more-remove) и место от второй освободится ?
Evgenii
вот смотрите. у меня есть другой прокс (тоже в этом кластере) там две машины, обе на таком же zfs. я хочу удалить одну чтобы увеличить место для второй (zfs заполнен на 99,29%) . я правильно понимаю что я просто удаляю машины в самом проксомксе (через more-remove) и место от второй освободится ?
при удалении VM или контейнера - прокс удалит в ZFS все тома\датасеты и связанные с ними снимки
место, которое они занимали, почти сразу освободится
Evgenii
Попробуйте контейнеры, вместо VM, если у вас не винда. Куча плюсов в плане расходования места..
Можно даже ZFS снимками нормально пользоваться (у меня снимки и реплики на удаленную ZFS каждый час - с дисками это нереально.. надо иметь кучу места)
Evgenii
да и плюс уровень доступного датасету места меняется одной командой (квота), к вот диск как создали определенного размера, так он и будет этого размера (можно только увеличить)
Ivan
https://hardforum.com/threads/zfs-on-linux-now-supports-trim.1979755/
разве это не поможет оставить только реально зантое виртуалками место, а свободное отдать ?
Ivan
с lvm-thin и qcow2 это замечательно работает
Evgenii
да и плюс уровень доступного датасету места меняется одной командой (квота), к вот диск как создали определенного размера, так он и будет этого размера (можно только увеличить)
Если квота не указана - контейнеры будут, то все контейнеры будут видеть все доступное место, будут видить в реальном времени как оно уменьшается)
Ivan
т.е. каждый раз когда в госте делается трим, всё незанятое место уезжает в хост.
Evgenii
с lvm-thin и qcow2 это замечательно работает
Не проверял.. допустим ZFS поддерживает команду, но внутри VM нужно будет постоянно ее вызывать получается?
Ivan
раз в час/день/неделю/месяц - как угодно.
или монтировать фс с опцией discard
Evgenii
раз в час/день/неделю/месяц - как угодно.
или монтировать фс с опцией discard
надо провирть, но все равно это во многих местах дико неудобно
Evgenii
стоит чихнуть - тонкие тома тут же преращаются в толстые - перенос, бэкап и тд..
Evgenii
из бэкапа то он толстып разворачиваться будет скорее всего, и на место уже может не стать (не вместится)
Evgenii
да и нет возможности уменьштить логический размер тома... это образ жесткого диска, вокруг которого тут и там постелены костыли (тримы всякие), намучался в свое время.. понял что либо полное резервирование, либо в баню их.. с тех пор все что можно запускать в LXC, там и запускаю
Ivan
да и нет возможности уменьштить логический размер тома... это образ жесткого диска, вокруг которого тут и там постелены костыли (тримы всякие), намучался в свое время.. понял что либо полное резервирование, либо в баню их.. с тех пор все что можно запускать в LXC, там и запускаю
есть, но с молитвою ковырять руками.
Evgenii
https://forum.proxmox.com/threads/lvm-thin-gets-fat-after-moving-cloning-disks.31665/
Ivan
для клона есть костыль - опция trim after clone, кажись
Ivan
но да, минусы подхода имеются 😃
Evgenii
Evgenii
то есть, если ты создавал диск размером со слона, и твои диски все thinprovisioning, то обратно из бэкапа он скорее всего уже не влезет на сервер
Ivan
Ivan
то есть, если ты создавал диск размером со слона, и твои диски все thinprovisioning, то обратно из бэкапа он скорее всего уже не влезет на сервер
вообще имея большие диски проксом лучше не бэкапить. уж очень он медленно разворачивает.
Fedor
С анмапом больших объемов
Ivan
интересно
Fedor
Падал демон, который экспортировал зволы в айскази. При большом потоке анмапов он просто валился.
Fedor
Кстати, у меня вопрос по зфс - пока не смог найти объяснения. У меня зил, в который предварительно пишутся транзакции, которые раскидываются впоследствии в датасет.
Нормально ли, что при большом потоке транзакций даже при снятии нагрузки ещё некоторое, довольно длительное время зфс продолжает писать?
Fedor
Падал демон, который экспортировал зволы в айскази. При большом потоке анмапов он просто валился.
Реализация демона - Комстар
Сергей
Кстати, у меня вопрос по зфс - пока не смог найти объяснения. У меня зил, в который предварительно пишутся транзакции, которые раскидываются впоследствии в датасет.
Нормально ли, что при большом потоке транзакций даже при снятии нагрузки ещё некоторое, довольно длительное время зфс продолжает писать?
довольно длительное это сколько? у вас точнее SLOG для ZIL выделен, так?
Fedor
а сколько.. с десяток минут.
Fedor
может, он там что-то перекомпоновывает?
Fedor
у меня таких нету в системе
Fedor
дериватив опенсоляриса
DaySandBox
Message from Сергей Голод deleted. Reason: new user and external link (?)
Fedor
это вопрос скорее не к зфс, а к реализации
Сергей
www.esos-project.com
Fedor
можно в личку - я размещу
Сергей
я для экспорта по iscsi и другим протоколам присматриваюсь к этому проекту.
Сергей
внутри ZFS, отдаёт как хочешь. поддерживает кучу карт ввода-вывода, основан на linux
Fedor
Не будете против, проведу опрос?
Сергей
может, он там что-то перекомпоновывает?
я когда иногда смотрю статистику по использованию дисков через zpool iostat -qv 3
то время от времени вижу что на slog идёт какая-то запись с небольшим запазданием. Мониторить пробовали? Может у вас очередь большая и не успевает всё записаться?
Fedor
я когда иногда смотрю статистику по использованию дисков через zpool iostat -qv 3
то время от времени вижу что на slog идёт какая-то запись с небольшим запазданием. Мониторить пробовали? Может у вас очередь большая и не успевает всё записаться?
да не, размеры не более сотен мегабайт. редко до паты тройки гб
Fedor
Fedor
Недавно ссд трим появился
Fedor
Но в омниос не пошёл
Evgenii
диск должен быть virtio-scsi чтоб unmap работал.
Evgenii
Konstantin
Konstantin
я же правильно понял, что discard освобождает место на ссд после получения команды трим от гостевой системы
Konstantin
и что будет, если на thin zfs discard не будет включен при триме из гостевой
Konstantin
кстати как часто выполняется трим на windows 10?
Сергей
я же правильно понял, что discard освобождает место на ссд после получения команды трим от гостевой системы
Да. Либо включать в самой зфс автотрим (>0.8), или ночью делать zpool trim
Но если винда не пометит блок как дискард, то он неосвободится.
Konstantin
автотрим как часто выполняется?