Верю, но на всякий случай проверить

TL;DR: cannot import [pool]: one or more devices is currently unavailable при этом устройство доступно и ошибок i/o не видно === История: Пару недель назад на сервере с несколькими десятками пулов на одиночных дисках некоторые пулы стали уходить в SUSPENDED из-за i/o ошибок (видны были в dmesg). Причина до конца не изучена, но через несколько дней это безобразие прекратилось. В SMART ни на одном из дисков ничего не появилось, все чистые. Лечил тривиальным zpool clear. Как правило, мгновенно очищалось и диск становился ONLINE, но несколько раз команда зависала, и любая другая команда zpool или zfs тоже - приходилось принудительно перегружать сервер. После одного из ребутов зарузка зависала - оказалось, из-за зависающего импорта одного из пулов. После отключения этого пула и успешной перезагрузки без него начались работы по восстановлению пула. 1. Просто импорт пула - приводит к зависанию zpool import и далее всех последующих команд zpool/zfs Сопровождается это паникой zfs в dmesg вида Thu May 1 01:38:14 2025] VERIFY0(dmu_buf_hold_array(os, object, offset, size, FALSE, FTAG, &numbufs, &dbp)) failed (0 == 5) [Thu May 1 01:38:14 2025] PANIC at dmu.c:1176:dmu_write() ... 2. Помог zpool import -fFX -o readonly=on Однако при этом в одном из датасетов пропала одна из директорий с основным объемом данных. zfs list показывал размер несколько TB, а du этого раздела - несколько МБ. Несколько других датасетов выжили, их данные спас и решил воскресить пропавшие. 3. По запросу могу рассказать, что из нагугленного оказалось бесполезно 😉, - остановился на возможности восстановиться до одной из TXG, полученной из zdb -u. 4. И вот сейчас - такое состояние: root@LiveDebian:~/ > zpool import -fFX -o readonly=on -T 6439777 -d /dev/disk/by-id s15 cannot import 's15': one or more devices is currently unavailable Причем до появления сообщений команда выполняется несколько десятков минут. Диск при этом на самом деле доступен (lsblk показывает, zdb на нем выполняется). Сообщений об ошибках в dmesg не появляется, никаких событий zpool также не обнаруживает: root@LiveDebian:~/ > zpool events s15 TIME CLASS 5. Есть нюанс: чтобы избежать частых ребутов основного сервера - лечение провожу через ноутбук, подключив к нему диск через USB (не вынимая диск из основного сервера, так как это довольно сложно). Попробую возобновить на основном сервере, благо в последних попытках зависания с паникой и вынужденным ребутом вроде бы прекратились - но, может, у кого-то есть мысли по возможным причинам unavailable, не связанным с USB? ❓ Приложение. Исходный сервер: Hewlett-Packard HP Z420 Workstation/1589 Debian 12 6.12.9+bpo-amd64 zfs-2.2.7-1~bpo12+1 zfs-kmod-2.2.7-1~bpo12+1 Ноутбук: zfs-2.3.1-1~bpo12+1 zfs-kmod-2.3.1-1~bpo12+1

А условный fio read на нём корректно работает? hexdump -C /dev/sdX | less заголовки показывает?

Всё показывает. Более того: Ведь zpool import -fFX -o readonly=on -d /dev/disk/by-id s15 отрабатывает без ошибок и несколько датасетов при этом в отличном состоянии. Только в одной директории одного датасета invalid exchange

Тогда я бы глянул через UFS Explorer Быстрее будет чем ручками пытаться найти что не так

А если сканировать - то тупо посекторно начинает по диску идти. Очевидно, при этом никакие метаданные восстановить не сможет, поскольку даже не пытается информацию о них прочитать

А если сканировать - то тупо посекторно начинает по диску идти. Очевидно, при этом никакие метаданные восстановить не сможет, поскольку даже не пытается информацию о них прочитать

usb переходник не подрезает геометрию диска ?

usb переходник не подрезает геометрию диска ?

А если сканировать - то тупо посекторно начинает по диску идти. Очевидно, при этом никакие метаданные восстановить не сможет, поскольку даже не пытается информацию о них прочитать

А есть опыт работы с ней с ZFS? Что-то он в Properties показывает её как No valid/supported file system/ Даже когда я больной пул в readonly импортировал.

Так-то он видит там ZFS

Отмонтируй пул

Кстати сделай expand details

По ней открыает страницу сайта (без VPN непонятно какую - но, наверное, справку какую-то)

И почему не рекомендуется ставить zfs на lvm том? Допустим, если использовать lvm просто для создания разделов и не пользоваться снапшотами и другими фишками lvm

Зачем?)

В lvm можно добавить диски разного размера и в любой момент выделять тома произвольного размера и по желанию часть из них пихнуть в raid0, raid1 Можно ли так же в zfs? Объединить два диска в zpool и уже затем одну файловую систему создать с зеркалированием, а другую без?

Вы как себе это представляете? Смысл рейда в защите от сбоя физического диска. А вы пытаетесь таким подходом от этого избавиться, т.е. подставить самого себя

На диске a выделить вольюм через lvm и на диске b выделить второй вольюм. Затем добавить их в zfs pool в режиме mirror

Вы как себе это представляете? Смысл рейда в защите от сбоя физического диска. А вы пытаетесь таким подходом от этого избавиться, т.е. подставить самого себя

Ещё раз хорошо подумайте. Если один физический диск у вас крашится то, что происходит с данными?

И почему не рекомендуется ставить zfs на lvm том? Допустим, если использовать lvm просто для создания разделов и не пользоваться снапшотами и другими фишками lvm

На диске a выделить вольюм через lvm и на диске b выделить второй вольюм. Затем добавить их в zfs pool в режиме mirror

аналогичное можно получить просто добавляя в пулы новые партиции когда поняли надобность. Но схема в принципе не идеальная, даже с lvm, там под капотом будет похожая нарезка по кускам и сбор в одну партицию. не рекомендуют смешивать zfs с lvm банально по причине дублирования функционала, плюс лишний слой скажется на производительности и надёжности.

аналогичное можно получить просто добавляя в пулы новые партиции когда поняли надобность. Но схема в принципе не идеальная, даже с lvm, там под капотом будет похожая нарезка по кускам и сбор в одну партицию. не рекомендуют смешивать zfs с lvm банально по причине дублирования функционала, плюс лишний слой скажется на производительности и надёжности.

Допустим, использую только zfs У меня sda1 и sdb1 в raid1 Далее создал sda2 и sdb2 и объединил их без зеркалирования Затем оказалось, что мне мало места в sda1+sdb1. Я создал sda3 и sdb3. Как мне теперь присоединить их к первым партициям? В lvm я могу просто увеличить размер логического вольюма. Можно ли аналогичное сделать в zfs?

Мыслите пулами zfs, почитайте что такое zvol. В один пул может входить много zvols что примерно равно партиции

Я когда-то так делал, когда в домашнем сервачке мирроры со страйпами совмещал. Потом понял нужные объёмы под миррор и переналил пулы с нормальными партициями. Из минусов - для zfs партиции на одном диске - это разные vdevы

Допустим, использую только zfs У меня sda1 и sdb1 в raid1 Далее создал sda2 и sdb2 и объединил их без зеркалирования Затем оказалось, что мне мало места в sda1+sdb1. Я создал sda3 и sdb3. Как мне теперь присоединить их к первым партициям? В lvm я могу просто увеличить размер логического вольюма. Можно ли аналогичное сделать в zfs?

Можно всё силами ZFS, нет необходимости что-то мудрить с lvm

Допустим, использую только zfs У меня sda1 и sdb1 в raid1 Далее создал sda2 и sdb2 и объединил их без зеркалирования Затем оказалось, что мне мало места в sda1+sdb1. Я создал sda3 и sdb3. Как мне теперь присоединить их к первым партициям? В lvm я могу просто увеличить размер логического вольюма. Можно ли аналогичное сделать в zfs?

или наоборот - все силами lvm 😁

Только тут мысль не понял

Выделил на обоих дисках небольшой раздел, добавил их в zpool в mirrored Далее выделил на этих же двух дисках по разделу на файлопомойку и объединил их в zpool в страйп Потом мне оказалось, что первых mirrored разделов мне мало. Создал третий раздел на двух дисках. Как их теперь подключить к первому mirrored пулу?

Выделил на обоих дисках небольшой раздел, добавил их в zpool в mirrored Далее выделил на этих же двух дисках по разделу на файлопомойку и объединил их в zpool в страйп Потом мне оказалось, что первых mirrored разделов мне мало. Создал третий раздел на двух дисках. Как их теперь подключить к первому mirrored пулу?

В инете элементарно находится, прямо на официальном ресурсе openzfs. zpool add testpool -o ashift=12 mirror /tmp/sda3.img /tmp/sdb3.img Это я на файликах тренеруюсь, так можно с zfs. Создайте несколько файлов и проверяйте. Если всё ок, повторяете на реальном пуле

Ещё можете включить у пула autoexpand и увеличить разделы при помощи parted (если есть свободное пространство сразу после раздела). ZFS сам увидит, что места прибавилось, а autoexpand разрешит это место автоматом занять.

Чатгпт ответил, что в таком случае zfs просто скопирует существующую инфу на добавленные устройства, а не расширит пространство

В инете элементарно находится, прямо на официальном ресурсе openzfs. zpool add testpool -o ashift=12 mirror /tmp/sda3.img /tmp/sdb3.img Это я на файликах тренеруюсь, так можно с zfs. Создайте несколько файлов и проверяйте. Если всё ок, повторяете на реальном пуле

впринципе видится как единое пространство

Только sdd не имеет зеркального диска. Можете присоединить к нему: zpool attach testpool sdd sdX - "X" замените на свой диск/раздел/файл.

пробовал два диска присоединять выдавало

В lvm можно добавить диски разного размера и в любой момент выделять тома произвольного размера и по желанию часть из них пихнуть в raid0, raid1 Можно ли так же в zfs? Объединить два диска в zpool и уже затем одну файловую систему создать с зеркалированием, а другую без?

А зачем спрашивать тут в чате и прислушиваться к Искусственному Идиоту?)

В инете элементарно находится, прямо на официальном ресурсе openzfs. zpool add testpool -o ashift=12 mirror /tmp/sda3.img /tmp/sdb3.img Это я на файликах тренеруюсь, так можно с zfs. Создайте несколько файлов и проверяйте. Если всё ок, повторяете на реальном пуле

TL;DR: cannot import [pool]: one or more devices is currently unavailable при этом устройство доступно и ошибок i/o не видно === История: Пару недель назад на сервере с несколькими десятками пулов на одиночных дисках некоторые пулы стали уходить в SUSPENDED из-за i/o ошибок (видны были в dmesg). Причина до конца не изучена, но через несколько дней это безобразие прекратилось. В SMART ни на одном из дисков ничего не появилось, все чистые. Лечил тривиальным zpool clear. Как правило, мгновенно очищалось и диск становился ONLINE, но несколько раз команда зависала, и любая другая команда zpool или zfs тоже - приходилось принудительно перегружать сервер. После одного из ребутов зарузка зависала - оказалось, из-за зависающего импорта одного из пулов. После отключения этого пула и успешной перезагрузки без него начались работы по восстановлению пула. 1. Просто импорт пула - приводит к зависанию zpool import и далее всех последующих команд zpool/zfs Сопровождается это паникой zfs в dmesg вида Thu May 1 01:38:14 2025] VERIFY0(dmu_buf_hold_array(os, object, offset, size, FALSE, FTAG, &numbufs, &dbp)) failed (0 == 5) [Thu May 1 01:38:14 2025] PANIC at dmu.c:1176:dmu_write() ... 2. Помог zpool import -fFX -o readonly=on Однако при этом в одном из датасетов пропала одна из директорий с основным объемом данных. zfs list показывал размер несколько TB, а du этого раздела - несколько МБ. Несколько других датасетов выжили, их данные спас и решил воскресить пропавшие. 3. По запросу могу рассказать, что из нагугленного оказалось бесполезно 😉, - остановился на возможности восстановиться до одной из TXG, полученной из zdb -u. 4. И вот сейчас - такое состояние: root@LiveDebian:~/ > zpool import -fFX -o readonly=on -T 6439777 -d /dev/disk/by-id s15 cannot import 's15': one or more devices is currently unavailable Причем до появления сообщений команда выполняется несколько десятков минут. Диск при этом на самом деле доступен (lsblk показывает, zdb на нем выполняется). Сообщений об ошибках в dmesg не появляется, никаких событий zpool также не обнаруживает: root@LiveDebian:~/ > zpool events s15 TIME CLASS 5. Есть нюанс: чтобы избежать частых ребутов основного сервера - лечение провожу через ноутбук, подключив к нему диск через USB (не вынимая диск из основного сервера, так как это довольно сложно). Попробую возобновить на основном сервере, благо в последних попытках зависания с паникой и вынужденным ребутом вроде бы прекратились - но, может, у кого-то есть мысли по возможным причинам unavailable, не связанным с USB? ❓ Приложение. Исходный сервер: Hewlett-Packard HP Z420 Workstation/1589 Debian 12 6.12.9+bpo-amd64 zfs-2.2.7-1~bpo12+1 zfs-kmod-2.2.7-1~bpo12+1 Ноутбук: zfs-2.3.1-1~bpo12+1 zfs-kmod-2.3.1-1~bpo12+1

Разобрался с ошибкой импорта по старым TXG 💪. Сообщение у них не верное. Дело не в недоступности дейвайса, а в ошибках проверки данных/метаданных при импорте. Когда отключил /sys/module/zfs/parameters/spa_load_verify_data /sys/module/zfs/parameters/spa_load_verify_metadata - то импорт стал происходить мгновенно (ранее для разных TXG занимал от 50 минут до 2+ часов, прежде чем ошибку unavailable выдавал). Только это параметры НЕ динамические, нужно их в /etc/modprobe.d/zfs.conf прописывать и перегружаться. PS Однако основная проблема не решилась: со старыми TXG импортируется также, как с дефолтным и выдает на основную папку с данными ☠️ reading directory '/s15/289/storage/storage': Invalid exchange PPS Что интересно - та же самая команда БЕЗ опции -T не проверяет данные/метаданные, импортирует сразу (с дефолтным TXG)

А, в таком случае стоило добавить -n

Разобрался с ошибкой импорта по старым TXG 💪. Сообщение у них не верное. Дело не в недоступности дейвайса, а в ошибках проверки данных/метаданных при импорте. Когда отключил /sys/module/zfs/parameters/spa_load_verify_data /sys/module/zfs/parameters/spa_load_verify_metadata - то импорт стал происходить мгновенно (ранее для разных TXG занимал от 50 минут до 2+ часов, прежде чем ошибку unavailable выдавал). Только это параметры НЕ динамические, нужно их в /etc/modprobe.d/zfs.conf прописывать и перегружаться. PS Однако основная проблема не решилась: со старыми TXG импортируется также, как с дефолтным и выдает на основную папку с данными ☠️ reading directory '/s15/289/storage/storage': Invalid exchange PPS Что интересно - та же самая команда БЕЗ опции -T не проверяет данные/метаданные, импортирует сразу (с дефолтным TXG)

Пробовал. Без -T - показывал, что может импортировать, и действительно импортировал. C -T - тоже говорил про unavailable. Invalid exchange он в любом случае не разпознает, что с -n что без него

Всё показывает. Более того: Ведь zpool import -fFX -o readonly=on -d /dev/disk/by-id s15 отрабатывает без ошибок и несколько датасетов при этом в отличном состоянии. Только в одной директории одного датасета invalid exchange

👆.

Разве? Мне казалось, что это иммитация импорта БЕЗ реального импорта