@ru_zfs - страница 274 - Telegram web archive

Сергей

да, мы это уже поняли. И ваш диск - совсем не тот который желателен для сервера. Также вы используете этот диск не только для кэша, но и для SLOG. А ещё у вас на этом диске видимо установлена сама ОС. Поэтому загрузка вашего диска может быть вызвана множеством факторов и грешить) на кэш я бы стал в последнюю очередь

Ivan

Вроде у него..

неть )

nikolay

неть )

Сори )

Ivan

Пардон, слишком много Иванов в чате)

извинити

nikolay

А вообще это тема для размышления.. с одной стороны zfs пока не оптимизирован для работы с nvme, с другой скорость работы с zil и l2arc не должна падать при использовании nvme, а совсем даже наоборот..

nAHKPATOB

Как именно он повредился, и что выдаёт обычный send?

nAHKPATOB

Как вариант пофайлово скопировать

central

так а что еще кроме rsync или его аналогов которые работают с файлами то остается, копировать ФС толку ноль если она уже подвреждена UPD: у меня был случай когда zfs Отображало файл поврежденным, но при этом торрент пересчитывал хешь и выдавал что файл не поврежден, кому верить хз

Fedor

так а что еще кроме rsync или его аналогов которые работают с файлами то остается, копировать ФС толку ноль если она уже подвреждена UPD: у меня был случай когда zfs Отображало файл поврежденным, но при этом торрент пересчитывал хешь и выдавал что файл не поврежден, кому верить хз

Может память не ецц, что вызвало фолс позитив

Egor

всем привет! такой вопрос: в статье о ZFS на википедии в разделе "Ограничения" написано: Некоторые неизлечимые повреждения пула в системных данных не приводят ни к порче пользовательских данных, ни к блокировке изменения пула. При этих повреждениях пул внешне продолжает долгое время нормально функционировать и не предупреждает о необходимости его исправления. Но без исправления он, в конце концов, потеряет пользовательские данные и придёт в неисправимое или даже в нечитаемое состояние. Возможность обнаружения таких проблем и своевременного автоматического (по возможности) исправления не встроена в ZFS и требует отдельной настройки.

Egor

я так понимаю речь об отсутствии скраба ФС по расписанию?

Combot

Марина Карасёва has been banned! Reason: CAS ban.

nAHKPATOB

я так понимаю речь об отсутствии скраба ФС по расписанию?

С этим то проблем нет, это можно сделать, только толку ноль.

Egor

С этим то проблем нет, это можно сделать, только толку ноль.

Почему?

George

всем привет! такой вопрос: в статье о ZFS на википедии в разделе "Ограничения" написано: Некоторые неизлечимые повреждения пула в системных данных не приводят ни к порче пользовательских данных, ни к блокировке изменения пула. При этих повреждениях пул внешне продолжает долгое время нормально функционировать и не предупреждает о необходимости его исправления. Но без исправления он, в конце концов, потеряет пользовательские данные и придёт в неисправимое или даже в нечитаемое состояние. Возможность обнаружения таких проблем и своевременного автоматического (по возможности) исправления не встроена в ZFS и требует отдельной настройки.

я, честно говоря, не понял о чём тут речь :) без изменения блоков zfs с ними никогда на фоне ничего не сделает (ибо и не умеет сейчас такое). Т.е. что повреждено, таким и останется, что цело - тоже таким останется

George

если TXG успешно записана, то с неё можно будет импортнуть пул

nikolay

я, честно говоря, не понял о чём тут речь :) без изменения блоков zfs с ними никогда на фоне ничего не сделает (ибо и не умеет сейчас такое). Т.е. что повреждено, таким и останется, что цело - тоже таким останется

Zfs scrub какую функцию выполняет?

nAHKPATOB

Почему?

Скраб по расписанию можно в планировщик загнать. Толку от этого мало, потому что во первых он очень долгий, а во вторых мне ниразу не помог. У меня есть проблема с потерей места в 300гигов(из 500), почему-то зфс создала файл на 10Тб потом поставила его на удаление в очередь, которая теперь висит, а файла то и нет, он только в zdb виден, и то без родителей и как это лечить штатно никто не знает, как вариант пофайлово скинуть на другой датасет, а тот убить. Но мне хочется найти причину, поэтому пока так и живём!

nAHKPATOB

Zfs scrub какую функцию выполняет?

Это проверка целостности данных на пуле и их исправление.

nikolay

Это проверка целостности данных на пуле и их исправление.

В фоне, верно?

central

Скраб по расписанию можно в планировщик загнать. Толку от этого мало, потому что во первых он очень долгий, а во вторых мне ниразу не помог. У меня есть проблема с потерей места в 300гигов(из 500), почему-то зфс создала файл на 10Тб потом поставила его на удаление в очередь, которая теперь висит, а файла то и нет, он только в zdb виден, и то без родителей и как это лечить штатно никто не знает, как вариант пофайлово скинуть на другой датасет, а тот убить. Но мне хочется найти причину, поэтому пока так и живём!

До сих пор не снёс ФС и не создал по новой?

nikolay

Скраб по расписанию можно в планировщик загнать. Толку от этого мало, потому что во первых он очень долгий, а во вторых мне ниразу не помог. У меня есть проблема с потерей места в 300гигов(из 500), почему-то зфс создала файл на 10Тб потом поставила его на удаление в очередь, которая теперь висит, а файла то и нет, он только в zdb виден, и то без родителей и как это лечить штатно никто не знает, как вариант пофайлово скинуть на другой датасет, а тот убить. Но мне хочется найти причину, поэтому пока так и живём!

Мне помогал scrub + resilver

nikolay

В вашем случае надо баг открывать

Melonges

Этот чат не о zsh?

Владимир

Этот чат не о zsh?

ага, ты догадался)))

Владимир

созвучно, но не одно и тоже))

George

Zfs scrub какую функцию выполняет?

так вы что сказать то хотели? В контексте того, о чём я писал - скраб может блоки только с наличием другой целой копии восстановить методом "перезаписать как есть на основе данных целой копии", но он ничего в метаданных не поменяет

nikolay

так вы что сказать то хотели? В контексте того, о чём я писал - скраб может блоки только с наличием другой целой копии восстановить методом "перезаписать как есть на основе данных целой копии", но он ничего в метаданных не поменяет

Я хотел сказать что механизм проверки и восстановления покоррапченных данных в zfs есть . Меняются ли при этом метаданные не готов спорить, но в вашем посте упоминания про них не было

nikolay

И работает он как раз в фоне, запускать его по расписанию на больших объемах вообще как бы бэст практис

George

Я хотел сказать что механизм проверки и восстановления покоррапченных данных в zfs есть . Меняются ли при этом метаданные не готов спорить, но в вашем посте упоминания про них не было

Да, про redundancy я не упомянул и это хорошее дополнение👍

Egor

так вы что сказать то хотели? В контексте того, о чём я писал - скраб может блоки только с наличием другой целой копии восстановить методом "перезаписать как есть на основе данных целой копии", но он ничего в метаданных не поменяет

Там же в статье сказано что по умолчанию хранится 3 копии каждого блока метаданных (в случае mirror 6 копий соответственно)

nikolay

Там же в статье сказано что по умолчанию хранится 3 копии каждого блока метаданных (в случае mirror 6 копий соответственно)

А можете кинуть ссылку на статью?

nikolay

Какая то странная формулировка если честно

Egor

https://ru.m.wikipedia.org/wiki/ZFS

nikolay

Гм.. так это русскоязычная Википедия , вы уверены что там правильный перевод?

George

Там же в статье сказано что по умолчанию хранится 3 копии каждого блока метаданных (в случае mirror 6 копий соответственно)

у меты по умолчанию 2 копии https://github.com/openzfs/zfs/blob/60ffc1c460e4cdf3c3ca12c8840fd0675a98ed0d/module/zfs/dmu.c#L1991

nikolay

у меты по умолчанию 2 копии https://github.com/openzfs/zfs/blob/60ffc1c460e4cdf3c3ca12c8840fd0675a98ed0d/module/zfs/dmu.c#L1991

Мне кажется что в конкретной статье на Вики приведён перевод относительно старой версии zfs, времён opensolaris

Andrey

man zfs redundant_metadata=all|most Controls what types of metadata are stored redundantly. ZFS stores an extra copy of metadata, so that if a single block is corrupted, the amount of user data lost is limited. This extra copy is in addition to any redundancy provided at the pool level (e.g. by mirroring or RAID-Z), and is in addition to an extra copy specified by the copies property (up to a total of 3 copies). For example if the pool is mirrored, copies=2, and redundant_metadata=most, then ZFS stores 6 copies of most metadata, and 4 copies of data and some metadata.

nikolay

Pool is mirrored- это как понимать?

central

raid 1, ЕМНИП

nikolay

А raid10 уже не мирроред?) что такое mirrored я понимаю, я не понимаю какое отношение mirrored имеет к pool

nikolay

Про redundancy = most тоже странная формулировка

nikolay

А если vdev в пуле в страйпе ака raid0? Метаданные не резервируются?

nikolay

Например если у меня в пуле три vdev в raidz2 и special vdev как mirror, то какой у меня pool level?)

Alexander

Например если у меня в пуле три vdev в raidz2 и special vdev как mirror, то какой у меня pool level?)

Емнип, будет считаться как raidz2

nikolay

Я к тому что свежие релизы zol сильно ушли вперёд в сравнении с например illumos, сам в этом убедился недавно

nikolay

Поэтому я теперь маны стараюсь читать для конкретных версий zfs, которые использую

nikolay

Дока для zol кстати тоже динамично меняется и дополняется

Andrey

man zfs copies=1|2|3 Controls the number of copies of data stored for this dataset. These copies are in addition to any redundancy provided by the pool, for example, mirroring or RAID-Z. The copies are stored on different disks, if possible. The space used by multiple copies is charged to the associated file and dataset, changing the used property and counting against quotas and reservations. Changing this property only affects newly-written data. Therefore, set this property at file system creation time by using the -o copies=N option. Remember that ZFS will not import a pool with a missing top-level vdev. Do NOT create, for example a two-disk striped pool and set copies=2 on some datasets thinking you have setup redundancy for them. When a disk fails you will not be able to import the pool and will have lost all of your data. Encrypted datasets may not have copies=3 since the implementation stores some encryption metadata where the third copy would normally be.

Andrey

если в raid-0 вылетит диск - то смысла во второй копии метаданных никакого нет - нет файлов, к которым применить можно

nikolay

если в raid-0 вылетит диск - то смысла во второй копии метаданных никакого нет - нет файлов, к которым применить можно

Варианты что мета покорраптится, но диски живые не рассматриваются получается?

Andrey

Ну raid-0 это не про сохранность данных

nikolay

Диски живые, данные не должны теряться либо искажаться

Δαρθ

подскажите, если проц с sha-ni, то zfs будет использовать те команды для расчёта sha256 чексумм? linux, 2.0.4

Николай

Ребят всем привет. Подскажите есть пул в мироре на нем есть критически важные данные , есть ли встроенный механизм сканирования пула на ошибки и их устранение?

Ivan

Ребят всем привет. Подскажите есть пул в мироре на нем есть критически важные данные , есть ли встроенный механизм сканирования пула на ошибки и их устранение?

scrub

Николай

scrub

Можно в личку напишу

Alexander

Ребят всем привет. Подскажите есть пул в мироре на нем есть критически важные данные , есть ли встроенный механизм сканирования пула на ошибки и их устранение?

А что с пулом случилось?

Николай

А что с пулом случилось?

Я просто переживаю , что ночью например умрет диск с данными