zpool import -F <имя_пула>

Режим восстановления для неимпортируемого пула. Попытайтесь вернуть пул в импортируемое состояние, отменив несколько последних транзакций. Не все поврежденные пулы можно восстановить с помощью этой опции. В случае успеха данные отброшенных транзакций безвозвратно теряются. Этот параметр игнорируется, если пул является импортируемым или уже импортирован. -F

Режим восстановления для неимпортируемого пула. Попытайтесь вернуть пул в импортируемое состояние, отменив несколько последних транзакций. Не все поврежденные пулы можно восстановить с помощью этой опции. В случае успеха данные отброшенных транзакций безвозвратно теряются. Этот параметр игнорируется, если пул является импортируемым или уже импортирован. -F

Описание точно верное? Вроде всегда это было просто же игнорирование того что у пула в метаданных указано что он был импортирован в другой хост

https://docs.oracle.com/cd/E88353_01/html/E72487/zpool-8.html

но верить никому нельзя

даже себе

Восстанавливать из бекапа

Ночь добрая) Вроде вы были в числе разработков ZFS. Есть желание расшить массив из 16 дисков 4шт Raid-z 10TB диски. Суть в том, что это последние лунки и хотелось бы их 18TB добить. Не будет ли падение производительности из-за неравных дисков? Или какие доводы этого не делать?)

Ночь добрая) Вроде вы были в числе разработков ZFS. Есть желание расшить массив из 16 дисков 4шт Raid-z 10TB диски. Суть в том, что это последние лунки и хотелось бы их 18TB добить. Не будет ли падение производительности из-за неравных дисков? Или какие доводы этого не делать?)

Я только live cd делаю, файловую систему не разрабатываю, даже в исходники не смотрел.

Ну это лучше чем ничего, или кого тут посоветуете кто лучше знает ответ на данный вопрос?

Ну это лучше чем ничего, или кого тут посоветуете кто лучше знает ответ на данный вопрос?

Не знаю, кто может подсказать, я с такими пулами дело не имел.

Всем привет! в домашнем сервере proxmox, начали сыпаться диски и пропал пул, в котором они были. zpool import пул не видит. В веб-интерфейсе они значатся, как zfs диски... Как быть?

А что, посыпались сразу все диски? И они были не в зеркале?

может мониторинга смарта не было. надо б на домашнем тоже проверить))

Тоже может. Просто у меня сложилось впечатление (возможно, ложное?), Что если у тебя все грамотно собрано и настроено, ситуации, когда сразу весь пул пропал - не будет (за исключением ЧП). Как минимум заранее начнет сыпать ошибками smart (ну и не одновременно же сразу по всем дискам пула!), только потом мы потеряем один диск, и пул все ещё будет работать на одном (если mirror)... Понятное дело, менять надо своевременно, как только smart посыпал. Но чтобы сразу весь пул пропал...

Тоже может. Просто у меня сложилось впечатление (возможно, ложное?), Что если у тебя все грамотно собрано и настроено, ситуации, когда сразу весь пул пропал - не будет (за исключением ЧП). Как минимум заранее начнет сыпать ошибками smart (ну и не одновременно же сразу по всем дискам пула!), только потом мы потеряем один диск, и пул все ещё будет работать на одном (если mirror)... Понятное дело, менять надо своевременно, как только smart посыпал. Но чтобы сразу весь пул пропал...

не обязательно смарт. не плохо бы еще в заббикс добавить zpool status | grep state у меня бывало вылетали диски без ошибок смарта. зфс просто не мог их прочитать\записать и валил ошибками. при этом смарт чистый

не обязательно смарт. не плохо бы еще в заббикс добавить zpool status | grep state у меня бывало вылетали диски без ошибок смарта. зфс просто не мог их прочитать\записать и валил ошибками. при этом смарт чистый

А почему так происходит?

А почему так происходит?

потому что) если серьезно, смарт не всесилен, особенно в SSD он вообще ничего не значит

Хороши ответ)

потому что) если серьезно, смарт не всесилен, особенно в SSD он вообще ничего не значит

Может в hdd?

А почему так происходит?

шлейф, например, кривой. питание может быть

Тоже может. Просто у меня сложилось впечатление (возможно, ложное?), Что если у тебя все грамотно собрано и настроено, ситуации, когда сразу весь пул пропал - не будет (за исключением ЧП). Как минимум заранее начнет сыпать ошибками smart (ну и не одновременно же сразу по всем дискам пула!), только потом мы потеряем один диск, и пул все ещё будет работать на одном (если mirror)... Понятное дело, менять надо своевременно, как только smart посыпал. Но чтобы сразу весь пул пропал...

Контролер может и за пару часов умереть и далеко не факт что это не будет в один и тот же момент у всех дисков были прецеденты

Всем привет! в домашнем сервере proxmox, начали сыпаться диски и пропал пул, в котором они были. zpool import пул не видит. В веб-интерфейсе они значатся, как zfs диски... Как быть?

А как вы определили, что "посыпались диски"? звук, смарт, сообщения, логи?

А как вы определили, что "посыпались диски"? звук, смарт, сообщения, логи?

по запаху )

по запаху )

всем бы такое обоняние )

А как вы определили, что "посыпались диски"? звук, смарт, сообщения, логи?

До этого были сообщения об ошибках, а при очередном включении пул пропал.

До этого были сообщения об ошибках, а при очередном включении пул пропал.

И Вас не смутило наличие ошибок?

До этого были сообщения об ошибках, а при очередном включении пул пропал.

А что именно за ошибки были? Погадав на кофейной гуще, могу еще предположить проблемы с ОЗУ и запись поврежденных данных на диски

Ещё мог быть взлом и последующая подчистка данных

А что именно за ошибки были? Погадав на кофейной гуще, могу еще предположить проблемы с ОЗУ и запись поврежденных данных на диски

Smart плохой.

Smart плохой.

А у скольки дисков смарт поплохел? И какой был пул (raid-z, mirror, ..)? В целом, при нормальной эксплуатации, крайне редко случаются проблемы более чем у 2х дисков в одно время. Массовое вымирание тоже возможно, но обычно есть особая причина: перебои питания, скачки напряжения, уронили (в смысле физически - на пол), через стенку ремонт с перфоратором затеяли...

А сервак был подключен через ИБП или напрямую? Если через ИБП, какая модель?

А у скольки дисков смарт поплохел? И какой был пул (raid-z, mirror, ..)? В целом, при нормальной эксплуатации, крайне редко случаются проблемы более чем у 2х дисков в одно время. Массовое вымирание тоже возможно, но обычно есть особая причина: перебои питания, скачки напряжения, уронили (в смысле физически - на пол), через стенку ремонт с перфоратором затеяли...

2 диска в пуле, похоже поплохело обоим. Домашний сервер, б/у диски. .. Не сказать, что важная инфа, но образы ВМ там были, может удастся их оттуда вытащить.

А у скольки дисков смарт поплохел? И какой был пул (raid-z, mirror, ..)? В целом, при нормальной эксплуатации, крайне редко случаются проблемы более чем у 2х дисков в одно время. Массовое вымирание тоже возможно, но обычно есть особая причина: перебои питания, скачки напряжения, уронили (в смысле физически - на пол), через стенку ремонт с перфоратором затеяли...

Raidz, 2 диска из 2ух.

Тоже может. Просто у меня сложилось впечатление (возможно, ложное?), Что если у тебя все грамотно собрано и настроено, ситуации, когда сразу весь пул пропал - не будет (за исключением ЧП). Как минимум заранее начнет сыпать ошибками smart (ну и не одновременно же сразу по всем дискам пула!), только потом мы потеряем один диск, и пул все ещё будет работать на одном (если mirror)... Понятное дело, менять надо своевременно, как только smart посыпал. Но чтобы сразу весь пул пропал...

Скачек напряжения или перегрев может вывести из строя оба диска. Однажды у меня так в hetzner случилось. Хорошо что был настроен инкрементальный бекап на zfs. А было вот что: в течении часа вышли из строя 4 nvme диска они были объеденены в зеркала. Да zfs работала до последнего. Но когда реплик не осталось, заморозила операции ввода-вывода. ТП поменяла диски и, что интересно, блок питания (может он там дымился или вообще огнём горел)

доброго вечера, вопрос возник. есть slog в виде партиции на диске. есть желание зазеркалировать его. я верно понимаю что сделать mirror "на лету" не получится и надо удалить текущий slog, затем добавить новый в виде зеркала?

доброго вечера, вопрос возник. есть slog в виде партиции на диске. есть желание зазеркалировать его. я верно понимаю что сделать mirror "на лету" не получится и надо удалить текущий slog, затем добавить новый в виде зеркала?

попробуй https://openzfs.github.io/openzfs-docs/man/8/zpool-attach.8.html

попробуй https://openzfs.github.io/openzfs-docs/man/8/zpool-attach.8.html

Attaches new_device to the existing device. The existing device cannot be part of a raidz configuration. If device is not currently part of a mirrored configuration, device automatically transforms into a two-way mirror of device and new_device. If device is part of a two-way mirror, attaching new_device creates a three-way mirror, and so on. In either case, new_device begins to resilver immediately and any running scrub is cancelled.

выглядит как то что нужно, биг сенкс)

главное не zpool add)

главное не zpool add)

а то что?)

будет страйп из 2 vdevs)

но в виде одного slog vdev? два slog не поддерживается же?

но в виде одного slog vdev? два slog не поддерживается же?

емнип поддерживаются 2 slogs

на файликах можно поиграться)

на файликах можно поиграться)

можно, но зачем если есть attache)

емнип поддерживаются 2 slogs

разве механизм zil умеет параллелить запись в разные устройства?

разве механизм zil умеет параллелить запись в разные устройства?

Не помню)

Если у меня стоит Prox на zfs on root из mirror 2шт ssd, образ ВМ также на этом пуле, могу ли я вырубить серв, изъять один ssd и импортировать пул на другой машине, открыв этот же образ ВМ?

не подскажете, на Samsung SSD 980 NVMe какой ashift ставить, 12 или 13?

по производительности сильно ударит, если поставлю 12 вместо 13? лучше поставить 13?

Если у меня стоит Prox на zfs on root из mirror 2шт ssd, образ ВМ также на этом пуле, могу ли я вырубить серв, изъять один ssd и импортировать пул на другой машине, открыв этот же образ ВМ?

да, есть ещё https://openzfs.github.io/openzfs-docs/man/8/zpool-split.8.html

по производительности сильно ударит, если поставлю 12 вместо 13? лучше поставить 13?

проще всего бенч сделать

проще всего бенч сделать

скорость чтения/записи с помощью dd измерить?

или чем посоветуете делать бенчмарки?

скорость чтения/записи с помощью dd измерить?

fio лучше всего

fio лучше всего

а если у меня на ноуте ashift 13, а на NAS - 12, и я кидаю туда-сюда снэпшоты - проблем не будет?

а если у меня на ноуте ashift 13, а на NAS - 12, и я кидаю туда-сюда снэпшоты - проблем не будет?

не будет, кроме разницы в эффективности для файлов меньше размера сектора

спасибо!

попробуй https://openzfs.github.io/openzfs-docs/man/8/zpool-attach.8.html

либо я что-то не понимаю, либо не поддерживается добавление еще одного диска к SLOG zpool attach swift logs scsi-2102352XPK10M80000060000 cannot attach scsi-2102352XPK10M80000060000 to logs: no such device in pool

аналогично когда пытаюсь сделать attach к special vdev..

либо я что-то не понимаю, либо не поддерживается добавление еще одного диска к SLOG zpool attach swift logs scsi-2102352XPK10M80000060000 cannot attach scsi-2102352XPK10M80000060000 to logs: no such device in pool

скорее диск не видит к которому пытаетесь подключить по этому имени

скорее диск не видит к которому пытаетесь подключить по этому имени

не совсем понял, я подключил новый ssd диск, у него scsi id тот, который я указываю в качестве последнего аргумента

не совсем понял, я подключил новый ssd диск, у него scsi id тот, который я указываю в качестве последнего аргумента

truncate -s 100M pool_main.img zpool create testpool /tmp/pool_main.img truncate -s 100M pool_slog1.img truncate -s 100M pool_slog2.img zpool add testpool log /tmp/pool_slog1.img zpool attach testpool /tmp/pool_slog1.img /tmp/pool_slog2.img zpool status testpool pool: testpool state: ONLINE scan: resilvered 0B in 00:00:00 with 0 errors on Fri Nov 18 01:24:23 2022 config: NAME STATE READ WRITE CKSUM testpool ONLINE 0 0 0 /tmp/pool_main.img ONLINE 0 0 0 logs mirror-1 ONLINE 0 0 0 /tmp/pool_slog1.img ONLINE 0 0 0 /tmp/pool_slog2.img ONLINE 0 0 0 errors: No known data errors

проверяется за минуту

zpool attach [-fsw] [-o property=value] pool device new_device

что я должен указать в качестве device?

не совсем понял, я подключил новый ssd диск, у него scsi id тот, который я указываю в качестве последнего аргумента

посмотрите имя диска из zpool status

ага, имя диска, который уже в slog, верно?

ну и команда не правильная, кстати

у вас была

мой пример и доку гляньте, в аттаче указывается к какому диску новый коннектить

не вдеву, а диску

ну и команда не правильная, кстати

возможно, поэтому и написал что что-то делаю не так..

не вдеву, а диску

вот как это понять?)) zpool-attach — attach new device to existing ZFS vdev

VDEV))

zpool attach [-fsw] [-o property=value] pool device new_device

тут device, не vdev

но да, по факту в vdev идёт добавление

тут device, не vdev

тут понятно, но выше указан vdev..

просто vdev мог быть из одного диска

если например у меня уже было бы зеркало из двух дисков, я должен был что указать в качестве device?

если например у меня уже было бы зеркало из двух дисков, я должен был что указать в качестве device?

один из дисков