Какая разница, на ней могла лежать кучка терабайт, для cow быстрое удаление больших обьемов может приводить к печальным последствиям

ну там больше 1тб данных

синкоидом реплицирую данные в другой дц, и в других местах норм, а в одном вместо того чтобы создавать закладки, создаёт снапшоты, которые в итоге забивают место

Синкоид это скрипт для синка с помощью zfs send|recieve?

Синкоид это скрипт для синка с помощью zfs send|recieve?

+

У меня только один вариант - там где создаются снапы более старая версия zfs

добавляется потихоньку

Это абсолютно нормально. ZFS никогда не освобождает место моментально, видимо раньше не замечали. Скорее всего уничтожение файловой системы не отличается от уничтожения списка снимков. Надо "снять метку" снимка с каждого используемого блока.

Как-то я отправил трим в пол терабайт на медленных дисках, это было долго и спровоцировало нехилую такую нагрузку

На зволе

Это абсолютно нормально. ZFS никогда не освобождает место моментально, видимо раньше не замечали. Скорее всего уничтожение файловой системы не отличается от уничтожения списка снимков. Надо "снять метку" снимка с каждого используемого блока.

ммм

Всем привет, А существует формула для расчёта надёжности массива на zfs? Например есть 2 пула по 10 дисков с raid-z3 со "стандартными" Sata дисками по 14тб , какие шансы потерять данные в течении 5и летней эксплуатации ?

Для стандартных raid -5 и 6 метод есть mttdl : https://wintelguy.com/raidmttdl.pl например

Я слыхал о таком методе: берёте mtbf дисков и делите это число на их количество, получаете срок в течение которого может отказать 1 диск

Но в вашем случае потеря данных = отказу 4 дисков в пуле

одновременный отказ, т.е чтобы не успеть сделать замену/сделать ресилвер на новый носитель

подскажите плз, что сказать в zfs allow, чтоб непривелиг. юзер смог вгонять снапшоты через zfs receive. или это невозможно, в доке чтото про mount пишут который только рут умеет

подскажите плз, что сказать в zfs allow, чтоб непривелиг. юзер смог вгонять снапшоты через zfs receive. или это невозможно, в доке чтото про mount пишут который только рут умеет

Из man: receive subcommand Must also have the 'mount' and 'create' ability поэтому zfs allow username create,mount,receive tank/users

Из man: receive subcommand Must also have the 'mount' and 'create' ability поэтому zfs allow username create,mount,receive tank/users

там же: Delegations are supported under Linux with the exception of mount, unmount, mountpoint, canmount, rename, and share. These permissions cannot be delegated because the Linux mount(8) command restricts modifications of the global namespace to the root user.

visudo - добавить пользователю прав на mount/umount username ALL =(ALL) NOPASSWD: /bin/mount, /bin/umount, /sbin/zfs, /sbin/zpool, /bin/su

visudo - добавить пользователю прав на mount/umount username ALL =(ALL) NOPASSWD: /bin/mount, /bin/umount, /sbin/zfs, /sbin/zpool, /bin/su

что, zfs само вызывает утилиту mount?

А как по другому встроить точку монтирования пула в дерево ФС? Вызывает. Не утилиту,а делает системный вызов для монтирования

А как по другому встроить точку монтирования пула в дерево ФС? Вызывает. Не утилиту,а делает системный вызов для монтирования

вот и я тоже думаю, каким боком системный вызов к sudo относится, которое по сути позволяет юзеру чото запускать рутом

а обычный пользователь может монтировать диски? Соответственно процесс от имени пользователя тоже не может, а команда zfs(если не установлен sticky bit) тоже не сможет выполнить необходимое монтирование снапшота В Solaris это видимо прозрачно при предоставлении полномочий в zfs, а в линуксе нет - они про это в манах и пишут. Чтобы работало - нужно добавить полномочий обычному пользователю

а обычный пользователь может монтировать диски? Соответственно процесс от имени пользователя тоже не может, а команда zfs(если не установлен sticky bit) тоже не сможет выполнить необходимое монтирование снапшота В Solaris это видимо прозрачно при предоставлении полномочий в zfs, а в линуксе нет - они про это в манах и пишут. Чтобы работало - нужно добавить полномочий обычному пользователю

1. вообще может. если в фстабе указано что user,uid=,gid= 2. хрен бы с ним с монтированием. пусть бы вливалось так.

а обычный пользователь может монтировать диски? Соответственно процесс от имени пользователя тоже не может, а команда zfs(если не установлен sticky bit) тоже не сможет выполнить необходимое монтирование снапшота В Solaris это видимо прозрачно при предоставлении полномочий в zfs, а в линуксе нет - они про это в манах и пишут. Чтобы работало - нужно добавить полномочий обычному пользователю

и да, sudoers добавляет полномочий утилите sudo, а не дает возможность звать привилегированные сисколлы

sudo zfs recv ...

sudo zfs recv ...

вот так и пришлось :(

Видимо, пока не попадет zfs в ядро, так и будет

Господа товарищи, кажется. я поймал https://gitanswer.com/freebsd13-reliably-crashes-on-zfs-destroy-activity-panic-verify-avl-find-tree-new-node-where-null-failed-993928072 - после zfs destroy система рухнула. Причем как-то совсем, известные мне меры ничего не дают. Есть у кого идеи, что делать, если zdb показывает только vdev?

Господа товарищи, кажется. я поймал https://gitanswer.com/freebsd13-reliably-crashes-on-zfs-destroy-activity-panic-verify-avl-find-tree-new-node-where-null-failed-993928072 - после zfs destroy система рухнула. Причем как-то совсем, известные мне меры ничего не дают. Есть у кого идеи, что делать, если zdb показывает только vdev?

так fixed in 2.0.6 d вроде же https://github.com/openzfs/zfs/issues/12559

вот первоисточник

Так, то есть, очень рекомендуется срочно накатить везде более свежий патч, прекрасно; а разваливается пул безповоротно?

Вот я посмотрел freebsd-update fetch, и там нового zfs.ko что-то не увидел

Так, то есть, очень рекомендуется срочно накатить везде более свежий патч, прекрасно; а разваливается пул безповоротно?

в тикете речь только про панику, но я руками не трогал

Понятно. Ладно, будем думать

вообще очень странно, сам гитхаб не подсвечивает его в релизе https://github.com/openzfs/zfs/commit/86b5f4c121885001a472b2c5acf9cb25c81685c9

да, он только в мастере пока

https://github.com/openzfs/zfs/issues/12559 - похоже, я сегодня налетел на это всей мордой. У кого данные на zfs и компрессия zstd - прочтите внимательно. У меня разнесло два пула, и я не уверен, что вытащу хоть что-то хоть из одного.

https://github.com/openzfs/zfs/issues/12559 - похоже, я сегодня налетел на это всей мордой. У кого данные на zfs и компрессия zstd - прочтите внимательно. У меня разнесло два пула, и я не уверен, что вытащу хоть что-то хоть из одного.

баян, выше первоисточник)

ну и надо патч пробовать из мастера просто

пролюбили его бекпорт в стабильную ветку, конечно

по какой причине датасет уежает от последнего снапшота, ЕСЛИ никаких записей в него не было? zfs diff последний_снапшот датасет ничего не пишет

максимум что было — mount/unmount и ls, еще на некоторых load-key

что уежает — делаю вывод из появления USED!=0 у последнего снапшота в zfs list -t all

что уежает — делаю вывод из появления USED!=0 у последнего снапшота в zfs list -t all

на сколько, кардинально? atime включен?

на сколько, кардинально? atime включен?

store_pool/store_set/Soft 185G 7.01T 185G /store/Soft store_pool/store_set/Soft@initial_2021.12.27 11.6K - 185G - примерно вот на столько. atime везде off

на другой машине где вот поигрался load-key unload-key mount unmount — стало ~50Мб, но там я смело сделал rollback т.к. это были бекапы

всем привет, столкнулся с проблемой в работе hba lsi9305, результатом стало вот такое состояние пула

NAME STATE READ WRITE CKSUM 3_1 UNAVAIL 0 0 0 insufficient replicas raidz2-0 UNAVAIL 0 0 0 insufficient replicas ata-ST8000NM0055-1RM112_ZA1DVFG9 FAULTED 30 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVGBY FAULTED 27 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVLBY FAULTED 24 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVQ12 FAULTED 21 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVQ3R ONLINE 0 0 0 ata-ST8000NM0055-1RM112_ZA1DVQVR FAULTED 15 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQWX8 FAULTED 12 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVRPY FAULTED 9 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVSGW FAULTED 6 0 0 too many errors raidz2-1 UNAVAIL 0 0 0 insufficient replicas ata-ST8000NM0055-1RM112_ZA1DVSKX FAULTED 30 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVT3Y FAULTED 27 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVVNY FAULTED 24 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVWQ2 FAULTED 21 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DVXBH ONLINE 0 0 0 ata-ST8000NM0055-1RM112_ZA1DVZ6D FAULTED 15 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1DW0DE FAULTED 12 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1EPP7C FAULTED 9 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1EQ12S FAULTED 6 0 0 too many errors raidz2-2 UNAVAIL 0 0 0 insufficient replicas ata-ST8000NM0055-1RM112_ZA1EQ49G FAULTED 33 0 0 too many errors spare-1 DEGRADED 0 0 0 ata-ST8000NM0055-1RM112_ZA1EQ72W ONLINE 0 0 0 ata-ST8000NM0055-1RM112_ZA1FR0KJ FAULTED 27 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1EQVKR FAULTED 24 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1F2PWV FAULTED 21 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1F3MTB FAULTED 18 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1F3SJ9 FAULTED 15 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FP3S7 FAULTED 12 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FP47D FAULTED 9 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FP48J FAULTED 6 0 0 too many errors raidz2-3 UNAVAIL 0 0 0 insufficient replicas ata-ST8000NM0055-1RM112_ZA1FP4EJ FAULTED 33 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FP4JE FAULTED 30 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQ1KG FAULTED 27 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQFPQ FAULTED 24 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQH6D FAULTED 21 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQJ52 FAULTED 18 0 0 too many errors spare-6 DEGRADED 0 0 0 ata-ST8000NM0055-1RM112_ZA1FQL3Q ONLINE 0 0 0 ata-ST8000NM0055-1RM112_ZA1FR2J8 FAULTED 12 0 0 too many errors ata-ST8000NM0055-1RM112_ZA1FQL7B FAULTED 9 0 0 too many errors

ata-ST8000NM0055-1RM112_ZA1FQLM7 FAULTED 6 0 0 too many errors logs ata-INTEL_SSDSC2KB240G8_BTYF91540G5Q240AGN ONLINE 0 0 0 cache ata-INTEL_SSDSC2KB240G8_BTYF91540JKQ240AGN ONLINE 0 0 0 spares ata-ST8000NM0055-1RM112_ZA1FR0KJ INUSE currently in use ata-ST8000NM0055-1RM112_ZA1FR2J8 INUSE currently in use

zpool clear не помогает, есть смысл пробовать через экспорт/импорт вернуть пул к жизни?

zpool clear не помогает, есть смысл пробовать через экспорт/импорт вернуть пул к жизни?

Разрешить передачу битых данных через zfs send и реплицировать на живой пул.

Ребут помог вернуть пул в нормальный статус, дальше решаем вопрос с hba

Кто-нибудь использует zfs с zimbra, есть рекомендации?

Кто-нибудь использует zfs с zimbra, есть рекомендации?

А какие проблемы?

Почтовому серверу какая разница что за ФС?

Я устанавливаю zimbra в рейд 10 на четыре 600gb 15rpm sas диска.

Вам не хватило обычной скорости zfs?

И я хотел узнать, что лучше всего подходит для работы с большими файлами / почтовыми ящиками.

Вам не хватило обычной скорости zfs?

Вот что я хочу сделать, чтобы извлечь из этого максимум пользы.

Recordsize 128k подходит для работы с большими файлами?

Ни у кого нет zimbra под zfs, кто может дать мне совет/предложение?

И я хотел узнать, что лучше всего подходит для работы с большими файлами / почтовыми ящиками.

вот отличный вариант https://www.nix.ru/autocatalog/ssd_samsung/SSD-192-Tb-SAS-12Gb-s-Samsung-PM1643-MZILT1T9HAJQ-25-OEM-V-NAND-TLC_424658.html

Recordsize 128k подходит для работы с большими файлами?

насколько большими ?

вот отличный вариант https://www.nix.ru/autocatalog/ssd_samsung/SSD-192-Tb-SAS-12Gb-s-Samsung-PM1643-MZILT1T9HAJQ-25-OEM-V-NAND-TLC_424658.html

да, очень хорошо, но у нас уже есть сервер и у меня больше нет бюджета на оборудование, сервер имеет 64gb ram, 12 core xeon и 15rpm sas диски.

насколько большими ?

Почтовые ящики 7гб максимум 12гб

И около 300 счетов

Почтовые ящики 7гб максимум 12гб

прям одним файлом 7Гб ?

Вот что я хочу сделать, чтобы извлечь из этого максимум пользы.

т.е. задачи рабочей нет, вы просто придумали себе занятие? от скуки?

т.е. задачи рабочей нет, вы просто придумали себе занятие? от скуки?

В прошлом я использовал zfs с mariadb, но теперь с zimbra и zfs это то, что я делаю и тестирую, пока что я отключил сжатие, размер записей и другие параметры.

прям одним файлом 7Гб ?

Zimbra сохраняет почтовые ящики в каталоге данных и разделяет их на файлы разного размера.

Почтовые ящики 7гб максимум 12гб

Я б вообще на такую нагрузку не заморачивался с доп настойками. Лупи все по дефолту будет все равно норм.

https://askubuntu.com/questions/1369574/strange-file-issues-on-ubuntu-21-10-with-zfs никто случаем не шарит, вот это вот в текущей 21.10 уже исправлено?

Я б вообще на такую нагрузку не заморачивался с доп настойками. Лупи все по дефолту будет все равно норм.

Я попробую варианты по умолчанию

С новым годом!

С новым!

https://askubuntu.com/questions/1369574/strange-file-issues-on-ubuntu-21-10-with-zfs никто случаем не шарит, вот это вот в текущей 21.10 уже исправлено?

если у вас по сути не так чтобы стабильная убунта, есть ли причины не использовать zfs из ppa jonathonf?

если у вас по сути не так чтобы стабильная убунта, есть ли причины не использовать zfs из ppa jonathonf?

такто если что я и сам из сорцов могу компильнуть, тем более что результат сразу гoтовые .deb

ну это уж слишком радикально нестабильно (

ну это уж слишком радикально нестабильно (

ну почему, можно же любой бранч компилять, не обязательно мастер