Второй диск жив. И, еще раз, я наблюдаю в конфиге - "хранить 24 месячных снапшота", и все 24 месячных снапшота есть. За весь 2018-2019 год

Т.е. это выглядит примерно как "два года назад зеркало расцепилось и один из дисков не обновлялся"

сейчас надеюсь найти тот диск, который сняли при замене

Т.е. это выглядит примерно как "два года назад зеркало расцепилось и один из дисков не обновлялся"

Да, и грузились всё это время с того дохлого

Но при этом zpool status показывал, что оба диска на месте!

Такое вообще кто-нибудь отмечал уже?

Но при этом zpool status показывал, что оба диска на месте!

это была правда

может там вечный ресильвер шёл?

это была правда

И при этом исправный диск ВООБЩЕ не обновлялся?

Такое технически возможно?

Такое технически возможно?

если диск медленный и идут сбои связи то долгий ресильвер я видел

дня три

Такое вообще кто-нибудь отмечал уже?

не видел репортов о таком, а замену производили на пустой диск?

Нет. Это не "долгий ресильвер". Ресильвер пробежал моментально

не видел репортов о таком, а замену производили на пустой диск?

Да, собственноручно разбивал на разделы

замену видимо через экспорт или ребут делали также? т.к. прямо "на лету" такой "откат" всё бы разнёс моментально

Выкл - сняли диск - поставили диск - вкл - разбили диск на разделы - zpool replace битого диска на новый

Выкл - сняли диск - поставили диск - вкл - разбили диск на разделы - zpool replace битого диска на новый

ну в магию не верится, в голову приходит только вариант про существующий пул с таким же именем, который в 19м отделили от оригинального или похожее

мб после ребута его и импортнули просто

ну в магию не верится, в голову приходит только вариант про существующий пул с таким же именем, который в 19м отделили от оригинального или похожее

Вот ... как-то немыслимо странно. Пытаюсь найти тот диск, который сняли

Но, блин, у меня не сохранилось скриншотов - но там было два пула.

system и data

Но, блин, у меня не сохранилось скриншотов - но там было два пула.

проще всего по guid пула конечно понять тот или не тот, но наверняка не сохранился

Не сохранился. Ждем ответа от хетцнера

Не сохранился. Ждем ответа от хетцнера

оуууу

Ну, то есть, если они не успели выкинуть побившийся диск, то можно попробовать его реанимировать

ну пока выглядит всё именно так, что после ребута импортнулся пул старинный откудато, откуда он взялся и тд конечно интересно. Вероятность что под якобы живым миррором zfs ничего не менял и там оказались данные от 19го года полностью живые - блин, сложно предположить даже)

предполагаю, что может влиять человеческий фактор со стороны хетзнера, в 19м году замена дисков не производилась ли?

Не сохранился. Ждем ответа от хетцнера

у них нередко бывает что вынимают не тот диск серийник которого ты указал

просто первый попавшийся дергают

у них нередко бывает что вынимают не тот диск серийник которого ты указал

Тогда бы остался сбойный диск с той же ФС

https://pve.proxmox.com/wiki/ZFS_on_Linux

Продолжаем приключения Старый диск нашли - поставили на место - zpool import его не видит. Возможно, проблема в дублирующейся gpt-метке

Как-то потерял данные из-за контроллера - он у себя все хранил но на диски не флюшил, и датасет был небольшой. Вот на такой случай прямой доступ к дискам и надо давать.

Это было не зфс, а уфс - но симптомы те же

Как-то потерял данные из-за контроллера - он у себя все хранил но на диски не флюшил, и датасет был небольшой. Вот на такой случай прямой доступ к дискам и надо давать.

и так полтора года?

Короче, это. Пока у меня голова не лопнула. Кто подскажет, как сравнить с помощью zdb метаданные разных устройств на пуле?

и так полтора года?

Не полтора - где-то пол года

О как...

Контроллер сбойнул

У меня там контроллер тупой, как валенок. Банальный SATA

https://pve.proxmox.com/wiki/ZFS_on_Linux

С козырей зашёл

Так. Ну подтянул я старый диск, и там, разумеется, [root@rescue ~]# zpool import pool: data id: 1403214855 state: FAULTED status: The pool was last accessed by another system. action: The pool cannot be imported due to damaged devices or data. The pool may be active on another system, but can be imported using the '-f' flag. see: http://illumos.org/msg/ZFS-8000-EY config: data FAULTED corrupted data mirror-0 DEGRADED 166656631 UNAVAIL corrupted data 6418263000783036330 OFFLINE

Попытка сделать dd не удалась - Jan 10 19:48:26 rescue kernel: (ada3:ahcich3:0:0:0): READ_FPDMA_QUEUED. ACB: 60 c8 0a b9 0a 40 02 00 00 00 00 00 Jan 10 19:48:26 rescue kernel: (ada3:ahcich3:0:0:0): CAM status: ATA Status Error Jan 10 19:48:26 rescue kernel: (ada3:ahcich3:0:0:0): ATA status: 41 (DRDY ERR), error: 40 (UNC ) Jan 10 19:48:26 rescue kernel: (ada3:ahcich3:0:0:0): RES: 41 40 5f b9 0a 40 02 00 00 00 00 Jan 10 19:48:26 rescue kernel: (ada3:ahcich3:0:0:0): Retrying command, 0 more tries remain Jan 10 19:48:29 rescue kernel: (ada3:ahcich3:0:0:0): READ_FPDMA_QUEUED. ACB: 60 c8 0a b9 0a 40 02 00 00 00 00 00 Jan 10 19:48:29 rescue kernel: (ada3:ahcich3:0:0:0): CAM status: ATA Status Error Jan 10 19:48:29 rescue kernel: (ada3:ahcich3:0:0:0): ATA status: 41 (DRDY ERR), error: 40 (UNC ) Jan 10 19:48:29 rescue kernel: (ada3:ahcich3:0:0:0): RES: 41 40 5f b9 0a 40 02 00 00 00 00 Jan 10 19:48:29 rescue kernel: (ada3:ahcich3:0:0:0): Error 5, Retries exhausted Везти диск из Германии и восстанавливать тут дает нам примерно 50 тысяч рублей и овердохрена времени

Так. Ну подтянул я старый диск, и там, разумеется, [root@rescue ~]# zpool import pool: data id: 1403214855 state: FAULTED status: The pool was last accessed by another system. action: The pool cannot be imported due to damaged devices or data. The pool may be active on another system, but can be imported using the '-f' flag. see: http://illumos.org/msg/ZFS-8000-EY config: data FAULTED corrupted data mirror-0 DEGRADED 166656631 UNAVAIL corrupted data 6418263000783036330 OFFLINE

сравни id пулов, хотя бы вопрос магии про тот же пул отпадёт

Тот же.

Тот же.

мб zpool history что кстати интересного про 19го года пул скажет

Тот пул я уже грохнул - пытаюсь реанимировать данные со сбойного диска. Насколько я понимаю, никакой history ничего не вынул бы с того, что пересобрался, он слишком жестко в прошлом

И разница в номере последней транзакции соответствующая

Для сервера с не более чем 6 дисками аппаратный контроллер, на мой взгляд, какого-либо смысла не имеет

особенно, когда выясняется, что в ЗИП контроллер имеет старую древнюю прошивку

это решается сохранением скриншотов в журнале первоначальной настройки

ну-ка, ну-ка, как сохранить конфиг ZFS пула и не забыть про положение и размеры разделов блочных устройств ?

ну-ка, ну-ка, как сохранить конфиг ZFS пула и не забыть про положение и размеры разделов блочных устройств ?

ну проблема размеров и положения разделов очень редко стреляет. Могу поделиться своим опытом - мне винда снесла таблицу разделов, я по уберблокам нашёл расположение начала и конца раздела в итоге

благо дело для zfs нужно только указать блочное устройство а пул из набора он уже сам соберёт

ну проблема размеров и положения разделов очень редко стреляет. Могу поделиться своим опытом - мне винда снесла таблицу разделов, я по уберблокам нашёл расположение начала и конца раздела в итоге

Два случая: 1) старый zpool был разбит блоками по 512 байт. При замене вылетевшего диска, оказалось, что новый HDD имеет блоксайз 4k и не удается правильно сдвинуть границы разделов. 2) HDD 3-4TB имеют разный размер в байтах и приходится не забывать, в конце диска пару МБ оставлять под такие случаи

ну и отсуствует сама программа, которая бы по существующему пулу делали текстовый конфиг, чтоб по нему сконфигурировать идентично пул на другой машине

ну и отсуствует сама программа, которая бы по существующему пулу делали текстовый конфиг, чтоб по нему сконфигурировать идентично пул на другой машине

ну так а что значит "пул сконфигурировать"? от блочного устройства zfs'у нужно только само блочное устройство, т.е. конфигурация отличается только размером блочника. Если отдать весь диск, то он сам (зависит от конкретной имплементации) нарежет разделы. Ну а по вдевам тот же zdb расскажет без проблем.

ну так а что значит "пул сконфигурировать"? от блочного устройства zfs'у нужно только само блочное устройство, т.е. конфигурация отличается только размером блочника. Если отдать весь диск, то он сам (зависит от конкретной имплементации) нарежет разделы. Ну а по вдевам тот же zdb расскажет без проблем.

1) Для разных ОС нужно делать разные манипуляции с блоками 2) вывод zdb еще надо интерпретировать и потом ручками повторить

1) Для разных ОС нужно делать разные манипуляции с блоками 2) вывод zdb еще надо интерпретировать и потом ручками повторить

ага, всё так

Вот по поводу 2го случая мне это больше всего в зфс не нравится, нельзя задать сколько зарезервировать, на несколько тб и гига не жалко, зато проблем не будет, выход тут разве что делать на разделах

Поэтому я и повторил вопрос годичной давности о существовании такого скрипта-утилитки.

Вот по поводу 2го случая мне это больше всего в зфс не нравится, нельзя задать сколько зарезервировать, на несколько тб и гига не жалко, зато проблем не будет, выход тут разве что делать на разделах

на линуксе из коробки если ему диск отдать он делает сейчас емнип 8Мб резервный раздел на этот случай

Поэтому я и повторил вопрос годичной давности о существовании такого скрипта-утилитки.

вы в итоге не созрели?)

на линуксе из коробки если ему диск отдать он делает сейчас емнип 8Мб резервный раздел на этот случай

Да, есть такое, но 8мб имхо мало

на линуксе из коробки если ему диск отдать он делает сейчас емнип 8Мб резервный раздел на этот случай

Инсталлятор конкретного дистрибутива линукса?

Инсталлятор конкретного дистрибутива линукса?

zfs

Инсталлятор конкретного дистрибутива линукса?

Не, сам zpool create

вы в итоге не созрели?)

мало устройств, на которых можно тестить, и с новомодными SSD вопросов прибавилось

Не, сам zpool create

ну, нокажите lsblk -a или gpart show

Не, сам zpool create

root@ubuntu-basic-1-1-10gb:/home/ubuntu# fdisk -l /dev/vdc Disk /dev/vdc: 2 GiB, 2147483648 bytes, 4194304 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes root@ubuntu-basic-1-1-10gb:/home/ubuntu# zpool create tpool /dev/vdc root@ubuntu-basic-1-1-10gb:/home/ubuntu# fdisk -l /dev/vdc Disk /dev/vdc: 2 GiB, 2147483648 bytes, 4194304 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disklabel type: gpt Disk identifier: 4B6FA533-40BE-0740-9168-FA14C3F41417 Device Start End Sectors Size Type /dev/vdc1 2048 4175871 4173824 2G Solaris /usr & Apple ZFS /dev/vdc9 4175872 4192255 16384 8M Solaris reserved 1

/dev/vdc9 4175872 4192255 16384 8M Solaris reserved 1

whereis zpool

Number Start End Size File system Name Flags 1 1049kB 1920GB 1920GB zfs-9bac96ea688302c8 9 1920GB 1920GB 8389kB

whereis zpool

не понял зачем, zpool -V zfs-2.0.0-rc1_254_g83b698dc4 zfs-kmod-2.0.0-rc1_254_g83b698dc4

как пример

в новой версии zfs добавили новую фичу? похвально

в новой версии zfs добавили новую фичу? похвально

это еще в 0.7 было

в новой версии zfs добавили новую фичу? похвально

даже не помню с какой версии, это ещё в zol 0.6 точно было, и по идее ногами из солярки растёт ещё

неа