У меня почему-то всегда совпадает

zfs-2.1.5-1ubuntu6~22.04.2 zfs-kmod-2.1.9-2ubuntu1.1

/report

Разочаровала меня ZFS. И подвела. На новеньком Exos X18 с нулевым SMART, прошедшем тест без ошибок, 10 дней назад создан пул. Перенесены 2 датасета, запущены работающие с ними программы, переносится третий датасет. Промежуточные zpool status показывают ONLINE без известных ошибок. Неожиданно данные первых двух датасетов становятся недоступны, третий send останавливается (скорость 0). Попытка посмотреть статус zpool зависает. Команда zfs также зависает. Остальные диски при этом работают нормально. Перегружаю компьютер без проблем (на соседнем сервере в таком случае бывали при выключении зависания, выше описывал). После перезагрузки пул не виден. По рекомендациям описанных в интернетах аналогичных сбоев и примеру соседнего сервера решил импортировать пул в режиме readonly. Там это помогло по крайней мере данные перекачать в файловом режиме. Но не этот раз: выдает ошибку sudo zpool import -o readonly=on s22 internal error: cannot import 's22': Invalid exchange Aborted Нашел рекомендацию для аналогичного случая (с оговоркой, что есть риск потери части данных, но все-таки пробую): импортировать с ключом -F. Результат root@sk-UbuntuGame:~# zpool import -o readonly=on -F s22 cannot import 's22': one or more devices is currently unavailable root@sk-UbuntuGame:~# zpool import -o readonly=on -F s22 cannot import 's22': no such pool available Диск при этом lsblk показывает. Вынул диск, сделал Scan в Виктории - ошибок чтения нет, СМАРТ в норме. Память компьютера memtester прогнал, 4 итерации без ошибок. Вот ведь сволочь 😡

Попробуйте полный тест смарт прогнать

Я полный Scan Read в Виктории прогнал Полный смарт - это как?

smartctl --test=long /dev/sda

Разочаровала меня ZFS. И подвела. На новеньком Exos X18 с нулевым SMART, прошедшем тест без ошибок, 10 дней назад создан пул. Перенесены 2 датасета, запущены работающие с ними программы, переносится третий датасет. Промежуточные zpool status показывают ONLINE без известных ошибок. Неожиданно данные первых двух датасетов становятся недоступны, третий send останавливается (скорость 0). Попытка посмотреть статус zpool зависает. Команда zfs также зависает. Остальные диски при этом работают нормально. Перегружаю компьютер без проблем (на соседнем сервере в таком случае бывали при выключении зависания, выше описывал). После перезагрузки пул не виден. По рекомендациям описанных в интернетах аналогичных сбоев и примеру соседнего сервера решил импортировать пул в режиме readonly. Там это помогло по крайней мере данные перекачать в файловом режиме. Но не этот раз: выдает ошибку sudo zpool import -o readonly=on s22 internal error: cannot import 's22': Invalid exchange Aborted Нашел рекомендацию для аналогичного случая (с оговоркой, что есть риск потери части данных, но все-таки пробую): импортировать с ключом -F. Результат root@sk-UbuntuGame:~# zpool import -o readonly=on -F s22 cannot import 's22': one or more devices is currently unavailable root@sk-UbuntuGame:~# zpool import -o readonly=on -F s22 cannot import 's22': no such pool available Диск при этом lsblk показывает. Вынул диск, сделал Scan в Виктории - ошибок чтения нет, СМАРТ в норме. Память компьютера memtester прогнал, 4 итерации без ошибок. Вот ведь сволочь 😡

А какой контроллер дисков?

Он не сделает сильно лучше victoria hdd

Лучше не сделает, но может хоть ошибки покажет

Хм, а пул после сбоя пересоздавался?

А в ошибке он говорит, что один или более дисков не видит. Что это за диски?

В каком виде диски отдаются зфс?

SATA, встроенная в материнку MSI H110M PRO-D. Несколько лет и с NTFS, и с ext4 без проблем

Это диск, или лун в рейде?

рама не ecc ?

Пул на отдельном диске

Что-то между диском и зфс потеряло данные по пути

рама не ecc ?

Я уже спрашивал, т.к. проблема кроется в ней, скорее всего. Просто ошибка возникла в процессе, вот и всё

Прогнал 4 цикла memtester, ни одного сбоя

Я также как-то 300Гиг на NTFS копировал. Скопировало без ошибок, данные на изначальном диске потер, потом вернул обратно. Когда отдал владельцу архива фоток, оказалось, что они почти все пустые.... А так-то эти плашки до сих пор норм работают, единственный случай с потерей данных.

Ну пусть потеряло. Но то, что дошло - zfs должно было записать корректно. Данные не такие важные, часть данных вполне можно потерять. Но то, что угробятся ВСЕ данные - я от zfs не ожидал.

Нк ладно бы потерялись какие-то данные. А тут вся файловая система.

Так а толку от того, что ФС цела, если данных не осталось из 300Гб?

И далее, отсутствующее устройство просто так отсутствующим не становится - оно либо потеряло данные, либо данные не были на него записаны чем-то, что лежит между системой и этим устройством

Толк в том, что те данные, которые в момент операции и сбоя не перезаписывались - остаются целыми.

Я бы предложил все таки посмотреть на оборудование и корректность его настройки

Т.е. у вас никогда не было случаев, когда тот же NTFS, упомянутый мной, не ломался?

Оборудование в it mode?

Десктопная консюмерская материнка?

В некоторых материнках бывает псевдорейд, он отключён?

Специально не смотрел, но всю жизнь в этом десктопе стояло 4 одиночных HDD, в соседнем (на котором тоже два датасета поломались недавно) - 6 HDD. Куда смотреть, как он может называться в настройках?

Т.е. у вас никогда не было случаев, когда тот же NTFS, упомянутый мной, не ломался?

sata -> achi должно быть

Чтоб точно порядок записи не нарушать

скорость не уронит ?

Надёжность важнее

Ntfs так чтобы я не мог восстановить данные? Нет Вот если без шуток

У меня не только личный опыт использования. Просто специфика работы была, когда клиенты обращались с тем, что диск просит форматирования или "всё стало иероглифами". Вот второй случай как раз о том, когда побилась ФС так, что даже монтируется, но ничего не прочитать. Любая директория может показывать террабайты (иногда сотни) данных на диске 300Гб. Тут только спец софт помогал, но иногда возиться приходилось долго. В данном случае, с ZFS, никто не говорил, что пробовали софтом восстановить. Только примонтировать не получается полноценно

Читал тут что народ контроллеры в hba переключают для zfs. Я у себя на серваке через perc710 диски как jbod прокинул в ось, это норма или переделывать?

правильно - hba в it режиме. все остальное не дает прямого доступа.

А jbod получается «почти прямой» доступ дает?

А jbod получается «почти прямой» доступ дает?

Он скорее всего про это https://fohdeesha.com/docs/perc.html ведь так, @neowheezy?

Контроллер такой, да. Не ковырял его просто особо. Раньше raid6 на нем делал и не парился. А тут вон тонкостей сколько оказывается

JBOD режим != IT mode Но не всегда