лог уже давно полностью развалился

а вот хз понял ли зфс что в него не надо ничего писать

понял, он его вырубил

но во время выключения питание же упало

Правда, это про логи пишет. А вещь еще кэш был, который он даже и не показывает...

Рекомендую зарепродюсить ситуацию на тестовом пуле с файлами

Рекомендую зарепродюсить ситуацию на тестовом пуле с файлами

Рекомендую зарепродюсить ситуацию на тестовом пуле с файлами

Поназаписывать чего-то. Привести в то же состояние и попробовать восстановить

Забыли упомянуть что доступ к фс пропал (точки монтирования были пусты) во время зависшего процесса удаления логов.

А я не знаю - пропадал ли...

Не выйдет так как там еще и нагрузка была и пул типа отвалился

The devices below are missing or corrupted, use '-m' to import the pool anyway: mirror-1 [log] ata-Q3DT-128GMCY_2022061700361 ata-Q3DT-128GMCY_2022061700455

Запустил. Зашуршала. Что-то пытается делать. Долго обычно импорт происходит ?

Данные появились. Кэш исчез. Логи остались. Как их удалить-то правильно? Попробовать еще раз zpool remove my mirror-1 С включенным UPS 😉?

На этот раз (может, потому что без нагрузки) за секунды отработало. Даже UPS не понадобился. Но в результате вот такой пул - кэш так и не появился. Но для Сторджа, говорят, он и не нужен, так что успокаиваюсь. На этом сервере. PS Тем временем обнаружил, что второй сервер, с дисковой полкой на еще больший объем, отключение питания не пережил. Хотя он и за UPS стоял (не очень мощным - на все время отключения не хватило, но данные из кэша должны были бы записаться). Но это уже с zfs вряд ли связано: он даже не прогружается, хотя первоначальный тест BIOS проходит и уходит на загрузку.

На этот раз (может, потому что без нагрузки) за секунды отработало. Даже UPS не понадобился. Но в результате вот такой пул - кэш так и не появился. Но для Сторджа, говорят, он и не нужен, так что успокаиваюсь. На этом сервере. PS Тем временем обнаружил, что второй сервер, с дисковой полкой на еще больший объем, отключение питания не пережил. Хотя он и за UPS стоял (не очень мощным - на все время отключения не хватило, но данные из кэша должны были бы записаться). Но это уже с zfs вряд ли связано: он даже не прогружается, хотя первоначальный тест BIOS проходит и уходит на загрузку.

Данные появились. Кэш исчез. Логи остались. Как их удалить-то правильно? Попробовать еще раз zpool remove my mirror-1 С включенным UPS 😉?

❓ Но, может, кто имеющий дело с полками подскажет (этот сервер вместе с полкой также куплен с рук, и никаких инструкций к полке нет): На полке все диски светятся зеленым, а одна сигнальная лампочка красная. Вот что бы это означало: 1) Что-то с полкой, и она не дает загрузиться ОС? или 2) ОС не загрузилась, к полке никто не подклюился и она об этом светит?

На этот раз (может, потому что без нагрузки) за секунды отработало. Даже UPS не понадобился. Но в результате вот такой пул - кэш так и не появился. Но для Сторджа, говорят, он и не нужен, так что успокаиваюсь. На этом сервере. PS Тем временем обнаружил, что второй сервер, с дисковой полкой на еще больший объем, отключение питания не пережил. Хотя он и за UPS стоял (не очень мощным - на все время отключения не хватило, но данные из кэша должны были бы записаться). Но это уже с zfs вряд ли связано: он даже не прогружается, хотя первоначальный тест BIOS проходит и уходит на загрузку.

Если кому интересно или полезно для будущих проблем, чтобы в поиске осталось: Сделал дополнительно export-import - после этого вдруг появился кэш. Без имен устройств, только их индексы: NAME STATE READ WRITE CKSUM my ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 ata-WUH721816ALE6L4_2BG23XME ONLINE 0 0 0 ata-WUH721816ALE6L4_2BGTN6DR ONLINE 0 0 0 ata-WUH721816ALE6L4_2BGTZ02R ONLINE 0 0 0 ata-WUH721816ALE6L4_2BH43TRD ONLINE 0 0 0 ata-WUH721816ALE6L4_2BHT1W1N ONLINE 0 0 0 ata-WUH721816ALE6L4_2CG6Y0XN ONLINE 0 0 0 ata-WUH721816ALE6L4_2CG71H5N ONLINE 0 0 0 ata-WUH721816ALE6L4_2CGDDE4P ONLINE 0 0 0 ata-WUH721816ALE6L4_2CH7XYYN ONLINE 0 0 0 ata-WUH721816ALE6L4_2CHE5N8N ONLINE 0 0 0 ata-WUH721816ALE6L4_2CJ39NRJ ONLINE 0 0 0 ata-WUH721816ALE6L4_2CJ9REHJ ONLINE 0 0 0 ata-WUH721816ALE6L4_2CJE6N5J ONLINE 0 0 0 ata-WUH721816ALE6L4_3WGXB0NL ONLINE 0 0 0 ata-WUH721816ALE6L4_3WGXPW8J ONLINE 0 0 0 ata-WUH721816ALE6L4_3WHPKZGP ONLINE 0 0 0 ata-WUH721816ALE6L4_3WJZRWMJ ONLINE 0 0 0 cache sdr ONLINE 0 0 0 sdu ONLINE 0 0 0 Удалил их по одному, снова export-import, reboot - все нормально загруажется, пул только из данных, без логов и кэша теперь. НО: Показывает по-прежнему наличие ошибок (аж 4268 штук) в каких-то странных "файлах" вида my/81:<0x0>. zpool status -v перечисляет их: это те же, что и были при испорченном логе: errors: Permanent errors have been detected in the following files: my/81:<0x0> my/13:<0x0> my/27:<0x0> my/42:<0x0> my/48:<0x0> my/87:<0x0> ...

Причем именно эти 0x0 выскакивали на системный монитор, когда SSD сбоили: Что это за "файлы"? PS zpool clear ошибки не убирает 😞

Это файлы у которых либо не бьется чек сумма либо они безвозвратно повреждены

Какое-то нестандартное название файла: my/81:<0x0> Что это за синтаксис с двоеточием?

Какое-то нестандартное название файла: my/81:<0x0> Что это за синтаксис с двоеточием?

после скраба появятся нормальные названия (не факт, но должны), но судя по тому что я читал пару раз в сети то это не лечится, надо сливать то что еще читается и пересоздавать пул с нуля

Мигрировать 100ТБ нод Сторджа - это тот еще квест 🤯. Там сотни миллионов (скорее всего и миллиард наберется) мелких файлов, rsync один ТБ не менее суток копирует.

Селяви такова.

Самое время скопировать данные и сделать систему бекапов, если будет принято решение продолжить пользоваться этим пулом

Пул в ридонли и сливать

А вот такой вариант возможен? Там данных на самом деле немного меньше 100ТБ, и есть еще более 100ТБ свободного пространства. Может, можно сделать на этом свободном новый пул, туда скопировать данные (вроде zfs может делать это быстрее, чем просто zksync), после чего старый грохнуть?

Я бы не стал - честное пионерское. Но это я ретрогад :) у меня до сих пор 250тб в ленты уходят каждый месяц. Но это специфика конторы где данные представляют особую ценность

3592 или LTO? мне так, для статистики....

Не помню где было но это тот случай когда если даталосс - тебя кладут в багажник и увозят в лес 😆😆😆

Я поэтому и написал от бизнеса зависит

Самое время скопировать данные и сделать систему бекапов, если будет принято решение продолжить пользоваться этим пулом

В Сторджах еще такая вот специфика: Данные постоянно новые прилетают, и их сохранность проверяют аудитом. Поэтому если восстановиться из бекапа недельной данности - то за отсутствие новых могут дисквалифицировать. Так что если рассматривать вариант бекапа - то скорее зеркалирование

Главное, чтобы не дезинтегрировали))

В Сторджах еще такая вот специфика: Данные постоянно новые прилетают, и их сохранность проверяют аудитом. Поэтому если восстановиться из бекапа недельной данности - то за отсутствие новых могут дисквалифицировать. Так что если рассматривать вариант бекапа - то скорее зеркалирование

Это нерационально в этом проекте. Почти как бэкапить чай

какой чай?

че за сторжи?

Chia

это же крипта которая кучу людей бортанула, ее еще кто-то генерирует?

Сторж генерирует баксы. То есть твой заработок не зависит от курса токена. Насыпают токенов столько сколько заработал долларей

причем тут сторж, я про чиа прочитал, ща мы и со стржом разберемся, откуда там 100 терр набегает

Сторж генерирует баксы. То есть твой заработок не зависит от курса токена. Насыпают токенов столько сколько заработал долларей

это ты сторж из хетцнера тащил чтоли в своем блоге?