$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

емнип сжатие

$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

потому что это разные датасеты с разным занятым местом?

потому что это разные датасеты с разным занятым местом?

про size спрашивают

https://wiki.freebsd.org/DevSummit/202106 завтра в 19.00 мск будет доклад raid-z expansion от Matt Ahrens

про size спрашивают

ааа

потому что это разные датасеты с разным занятым местом?

ну занятое место там и так разное. а вот предполагаю, что avail — общее для пула а не для датасета, а size тупо как сумма того и того

store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft

как не складывал 185 и 7.3 не получается 7.5

а сколько реально?

как не складывал 185 и 7.3 не получается 7.5

а если округлить?

$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

- файлы удалены, но ещё в пуле или зарезервированное место под CoW - может там снапшоты висят? - сжатие

1. удалённых файлов минимум или нет вообще 2. снапшотов нет вообще 3. сжатие есть

у меня четко совпадает

снапшотов, кстати много

как не складывал 185 и 7.3 не получается 7.5

7.3 + ceil(0.185) жеж

7.3 + ceil(0.185) жеж

а, ну в общем, да, туплю.

только тогда где тут

store_pool/store_set/Games 7,3T 113M 7,3T

/store/Soft$ du -hd0 . 185G . /store/Soft$ du --apparent-size -hd0 . 187G .

так что сжатие если и есть, не оч. помогает и меняет

странно тут вообще сжатие не должно влиять.

ну вощем чо -- жить будет или ахтунг срочно спасать данные? :)

чексумы рушатся?

:)

store_pool/store_set/Games 7,3T 113M 7,3T

тут M а не G

чексуммы хрен бы с ними, там raid6 а вот если структура попортилась, может наступить ОН. выше о случаях писали

чексуммы хрен бы с ними, там raid6 а вот если структура попортилась, может наступить ОН. выше о случаях писали

за 10 лет с зфс, с таким не сталкивался

но опять же. солярис

я какбэ не спорю, но всё же... с одной стороны сильные стороны (для меня) -- нормальный raid 5/6 и шифрация, с другой -- по сути же бета (2.0.4)

$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

А квоты/резервы есть?

/var/tmp имеет reservation

А квоты/резервы есть?

никаких специально сделанных нет. мож чо дефолтное, не обращал внимания

upd: нигде нет ни квот ни reservations

$ df -h Filesystem Size Used Avail Use% Mounted on ... store_pool/store_set 7,3T 640K 7,3T 1% /store store_pool/store_set/Data 7,3T 79G 7,3T 2% /store/Data store_pool/store_set/Emu 7,3T 51G 7,3T 1% /store/Emu store_pool/store_set/Games 7,3T 113M 7,3T 1% /store/Games store_pool/store_set/Music 7,3T 35G 7,3T 1% /store/Music store_pool/store_set/Photos 7,4T 113G 7,3T 2% /store/Photos store_pool/store_set/Video 7,3T 27G 7,3T 1% /store/Video store_pool/store_set/backup 7,6T 336G 7,3T 5% /store/backup store_pool/store_set/Soft 7,5T 185G 7,3T 3% /store/Soft почему во 2ой колонке разные значения?

а что говорит zpool list и zfs list? может это баг в df?

Просто есть мысль что df не совсем точно понимает особенности zfs, поэтому может отображать информацию не корректно. Я стараюсь смотреть данные по zfs средствами самой zfs, а df это так, побырому глянуть что там с заполнением.

а что говорит zpool list и zfs list? может это баг в df?

$ zpool list NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT store_pool 17.1T 1.67T 15.4T - - 0% 9% 1.00x ONLINE - $ zfs list NAME USED AVAIL REFER MOUNTPOINT store_pool 827G 7.22T 140K none store_pool/store_set 827G 7.22T 593K /store store_pool/store_set/Data 78.8G 7.22T 78.8G /store/Data store_pool/store_set/Emu 50.8G 7.22T 50.8G /store/Emu store_pool/store_set/Games 113M 7.22T 113M /store/Games store_pool/store_set/Music 34.4G 7.22T 34.4G /store/Music store_pool/store_set/Photos 113G 7.22T 113G /store/Photos store_pool/store_set/Private 3.88G 7.22T 3.88G /store/Private store_pool/store_set/Soft 184G 7.22T 184G /store/Soft store_pool/store_set/Video 26.4G 7.22T 26.4G /store/Video store_pool/store_set/backup 335G 7.22T 335G /store/backup

zfs list тактично не показывает общий объём )

zfs get all <pool>

zfs list -o name,used,refer,avail,quota,reserv,refquota,refreserv - всё показывает

zfs list тактично не показывает общий объём )

Ну там дело не совсем в тактичности, у них в мануале описано, что реальный объем пула очень сильно зависит от вагона и маленькой тележки параметров, поэтому в разных утилитах вывод размераможет вводит в заблуждение и не показывать реальных данных, отсюда я так понял разрабы считают что гораздо "полезнее" видеть доступное для записи данных пространство, чем общий объем. Вот и не выводят его, а основным параметром считают столбец AVAIL. Но это не точно =)

zfs list -o name,used,refer,avail,quota,reserv,refquota,refreserv - всё показывает

$ zfs list -o name,used,refer,avail,quota,reserv,refquota,refreserv NAME USED REFER AVAIL QUOTA RESERV REFQUOTA REFRESERV store_pool 827G 140K 7.22T none none none none store_pool/store_set 827G 593K 7.22T none none none none store_pool/store_set/Data 78.8G 78.8G 7.22T none none none none store_pool/store_set/Emu 50.8G 50.8G 7.22T none none none none store_pool/store_set/Games 113M 113M 7.22T none none none none store_pool/store_set/Music 34.4G 34.4G 7.22T none none none none store_pool/store_set/Photos 113G 113G 7.22T none none none none store_pool/store_set/Private 3.88G 3.88G 7.22T none none none none store_pool/store_set/Soft 184G 184G 7.22T none none none none store_pool/store_set/Video 26.4G 26.4G 7.22T none none none none store_pool/store_set/backup 335G 335G 7.22T none none none none что всё?

$ zfs list -o name,used,refer,avail,quota,reserv,refquota,refreserv NAME USED REFER AVAIL QUOTA RESERV REFQUOTA REFRESERV store_pool 827G 140K 7.22T none none none none store_pool/store_set 827G 593K 7.22T none none none none store_pool/store_set/Data 78.8G 78.8G 7.22T none none none none store_pool/store_set/Emu 50.8G 50.8G 7.22T none none none none store_pool/store_set/Games 113M 113M 7.22T none none none none store_pool/store_set/Music 34.4G 34.4G 7.22T none none none none store_pool/store_set/Photos 113G 113G 7.22T none none none none store_pool/store_set/Private 3.88G 3.88G 7.22T none none none none store_pool/store_set/Soft 184G 184G 7.22T none none none none store_pool/store_set/Video 26.4G 26.4G 7.22T none none none none store_pool/store_set/backup 335G 335G 7.22T none none none none что всё?

Он не покажет SIZE, размер для датасетов не указывается, потому что они "разделяют" размер пула, ну и по причине выше, ориентировка идет на USED + AVAIL. Вот в мане: The space usage properties report actual physical space available to the storage pool. The physical space can be different from the total amount of space that any contained datasets can actually use. The amount of space used in a raidz configuration depends on the characteristics of the data being written. In addition, ZFS reserves some space for internal accounting that the zfs(8) command takes into account, but the zpool command does not. For non-full pools of a reasonable size, these effects should be invisible. For small pools, or pools that are close to being completely full, these discrepancies may become more noticeable.

Т.е. все что касается пространства пулов указывается относительно реального физического пространства доступного для пула. Но вот размер доступного пространства (я так понимаю как раз о нужном нам SIZE тут и идет речь), сильно зависит не только от данных, но и от работы zfs, которая под себя что-то резервирует, при этом это что-то как я понял сильно зависит еще и от текущего состояния пула и типа данных на нем.

Доброго всем денька. Подскажите, если я грузанулся с rescue в котором изначально не было ZFS, я могу подгрузить модуль и без перезагрузки поработать с ZFS пулом?

Доброго всем денька. Подскажите, если я грузанулся с rescue в котором изначально не было ZFS, я могу подгрузить модуль и без перезагрузки поработать с ZFS пулом?

да

modprobe zfs и вперёд

modprobe zfs и вперёд

# zpool import rpool cannot import 'rpool': pool was previously in use from another system. Last accessed by (none) (hostid=9e1ef255) at Sat Jun 12 11:28:35 2021 The pool can be imported, use 'zpool import -f' to import the pool. Я понимаю что там написано, и меня терзает вопрос, а если я импортну тут, после рестарта оно само нормально импортнётся или нужно будет ручное вмешательство?

у меня просто нет доступа к IPMI и IP-KVM

# zpool import rpool cannot import 'rpool': pool was previously in use from another system. Last accessed by (none) (hostid=9e1ef255) at Sat Jun 12 11:28:35 2021 The pool can be imported, use 'zpool import -f' to import the pool. Я понимаю что там написано, и меня терзает вопрос, а если я импортну тут, после рестарта оно само нормально импортнётся или нужно будет ручное вмешательство?

Как закончите export просто сделайте, главное пул не апгрейдить

Побанили за положительные слова о ZFS, это нормально вообще?

твоя zfs не соответствует принципу K.I.S.S. в 98% случаях использования сервера

Чел втирает какую-то дичь, что его rsynс бэкапы надежнее ZFS реплик. А потом еще и отправляет меня в PO. Впечатление, что пообщался с каким-то троглодитом из каменного века.

Ну что-ж. Пусть так думает.

Может быть, он пока не встречал нормальных кейсов по блочной репликации с требованиями по влиянию на нагрузку системы

Да и рсинк, если мтайм статичен, тоже либо будет сканить всё, либо не будет работать нормально (хотя может айноды он тоже проверяет - но это процесс небыстрый)

Может, это был rsync_chat )

твоя zfs не соответствует принципу K.I.S.S. в 98% случаях использования сервера

Он systemd тоже не использует?

Он systemd тоже не использует?

А причем тут systemD, и потом я иногда использую systemD в виртуалках.

Systemd не очень-то вписывается в kiss

Кстати, кисс применим к тулзам:)

А не к фс

Иначе бы например в ехт надо было журнал отдавать отдельному модулю например 😁

Да и рсинк, если мтайм статичен, тоже либо будет сканить всё, либо не будет работать нормально (хотя может айноды он тоже проверяет - но это процесс небыстрый)

Так это только полбеды, а самое главное, что если его ext4 прокосячит чексуммы, то никто об этом не узнает ни на источнике, ни на приемнике.

Systemd не очень-то вписывается в kiss

ZFS по крайне мере не лезет в каждую дырку системы, не пытается управлять видеокартой или принтером, занимается только стораджем.

Так это только полбеды, а самое главное, что если его ext4 прокосячит чексуммы, то никто об этом не узнает ни на источнике, ни на приемнике.

В том числе, да. Очень многие об этом забывают, хотя это, по сути, одна из киллерфич

ZFS по крайне мере не лезет в каждую дырку системы, не пытается управлять видеокартой или принтером, занимается только стораджем.

Ну там ещё и экспорты есть, конечно. Но с системд не сравнится 😁

В том числе, да. Очень многие об этом забывают, хотя это, по сути, одна из киллерфич

Особенно те наивные буратины, кто никогда не испытвал на своих системах РЭБ атак неизвестных вредителей. ZFS их видит мгновенно и исправляет по мере возможности либо метит файлы плохими. А другие файловые системы мгновенно проебывают данные, только и всего.

Значит, неверно построена защита, раз рэб пробивает 😁

Или там прям космическими лучами фигачат?)

Значит, неверно построена защита, раз рэб пробивает 😁

От РЭБ по сети электропитания, как выяснилось, можно защититься добавлением нескольких разделительных трансформаторов, и укорачиванием SATA кабелей до 20-10см.

Или там прям космическими лучами фигачат?)

Х.з. однозначно идет помеха по 220В, и возможно еще по инженерным конструкциям и полевая, потому что приходится укорачивать SATA кабели. Причем впечатление, что помеха таргетированная с точностью до протокола SATA, потому что начинают сыпаться данные, но сами диски не видят этого, CRC не растет в SMART, ошибки видит только ZFS. До защиты при попытке обсуждать это на форумах диски клацали головами, комп подвисал, интерфейсы Ethernet теряли сетку, PCI карты просаживались по скорости обмена, USB падал до v1, сетка до 10мбит и т.п. В некоторых спецслужбах похоже работают самые настоящие преступники, совершающие компьютерные преступления против граждан. Неисключено, что в местном ФСБ К. Хотя нельзя исключать, что РЭБ модули могут быть даже интегрированны в какую-то бытовую технику соседей еще на заводе (возможно об этом даже никто не знал кроме производителей и спецслужб) и могут рулиться откуда угодно, даже из других городов и стран. Почти всегда атаки происходили во время попыток пожаловаться по той или иной ситуации, открыть кейс на АлиЭкспресс, написать заявление в суд РФ, просто отправить письмо с жалобой или даже напечатать его на принтере. Упоминания на форумах обычно вызывают реакцию местной агентуры ганстолкеров в виде обратитесь к психиатору, вам все это кажется. Причем даже на иностранных форумах, это походу происходит на всей планете во всех странах. Несколько раз разрушенные пулы, кажется, ога. Причем ZFS пул умирает не сразу, иногда еще живет до недели, CRC ошибки восновном в метаданных, и не уменьшаются после скраба, а наоборот нарастают. Сейчас после защиты на том же самом оборудовании ничего не рушится и не кажется. По их легенде вероятно ZFS-у ошибки тоже кажутся, а после включения защиты казаться перестало, массовый гипноз, хули. Но все же в связи с тем, что со мной предварительно контактировали в чатиках и личке мутные личности ессно анонимы, вплоть до того, что интересовались, не хочу ли я работать в ФСБ, интересовались про мое отношение к евреям (ZOG), подозрение падает в первую очередь на них. Еще пугали меня бунтами и расправами навальнистов, их дикими детишками и т.п.

Только ZFS и репликация и спасли мои данные, если бы не ZFS, то все, полный каюк.

И еще вся эта дичь сопровождалась весьма странным поведением входного стабилизатора на автотрансформаторе, за несколько дней-недель они находили порог срабатывания и каким-то образом устраивали качели около этого значения входного напряжения, что релюхи начинали щелкать чуть ли не ежесекундно, что конечно вынуждало подстраивать стабилизатор на другие пороги срабатывания и в конечном итоге и вовсе его отключить. Т.е. он им либо мешал своей индуктивностью либо они просто хотели пощелкать им, чтобы попытаться выхлестнуть какие-нибудь нагрузки из-за частых переключений. Но я потом добавил несколько ЛАТРов с разной точкой включения "земли", так что индуктивностей теперь до ус***ки :) пусть наслаждаются тем, что теперь их атаки по сети 220В ни**я не работают, и о них теперь знают многие чатики и форумы, спалились паразиты, и спалили способы защиты от их вредительства.

После всех фильтров на подходе к компам фазы у меня нет вообще от слова совсем. Впрочем и нуля вероятно тоже нет, если мерять относительно подъездного нуля. Если мерять наводку вольтметром мультиметра, то он показывает одинаковое значение на обоих проводниках :) Чего конечно не скажешь про значения напряжений на входе всей это длинной цепи из трансформаторов, латров, фильтров и т.п.

Да еще на компах после оконечного ЛАТРа всего 110В на всякий, а БП Gold рассчитаны почти до 300В, ну и несколько отсечек по напряжению конечно.

А как бы не подойдёт ли обычная схема без нуля с нормальными развязками?

А как бы не подойдёт ли обычная схема без нуля с нормальными развязками?

Может быть, и подошла бы, можно ссылку на нее?

Трехфазная обычная - там и утечек по нулю не будет, и в целом можно стабилизировать все хорошо