Alexandr
Alexandr
Так висит уже 12 часов. И при подключении консоли команда zpool виснет. Ни статус посмотреть, ничего...
Ivan
Уважаемые гуру от zfs. Подскажите начинающему:
Имеется домашний сервер с убунту-cli. Файлопомойка организована как raidz2. 5 дисков по 6Тб.
Позавчера начали подтормаживать фильмы. Перезагрузил. отвалился раид.
Сделал импорт с -f. Сервер Написал что 3 диска resilvering. И процент 0.12. через час все те же 0.12 и судя по активности сервер ничего не делал. Подождал еще несколько часов, а воз и ныне там. Перезагрузил - сервер начал виснуть на загрузке кэша.
Проверил порты, смарты hdd. Все в порядке. Перенес кэш в другое место и сервер загрузился. Но при импорте теперь:
Добрый день. Прочтите пожалуйста правила, дайте больше информации.
Alexandr
Система:
Ubuntu 22.04.4 LTS
zfs-2.1.5-1ubuntu-22.04.2
Железо:
Материнка MSI MPG X570S CARBON MAX
Процессор AMD Ryzen 5 5600X
Память ADATA XPG SPECTRIX D45G RGB 64GB
SSD Samsung PM9A1 1Tb
Винчестеры WD ULTRASTAR DC HC310
Плата расширения TISHRIC pci-e 3.0 10 sata
Вопрос в следующем: какие действия можно предпринять для подъема раид массива.
Vladislav
Vladislav
Для начала подключить диски к матери или полноценному HBA
Vladislav
Alexandr
zfs-2.1.5-1ubuntu6 'тильда' 22.04.2
zfs-kmod-2.1.5-1ubuntu 'тильда' 22.04.2
Alexandr
@AlexandrVentskus всё ведь так? Нигде не наврал?
Наврал. Помимо 5 дисков раид к китайской плате подключено еще 5 винчестеров.
Диски раид к материнке я подключал (все остальные винчестеры были отключены физически). Поведение такое же. После команды импорт, zpool status виснет.
Vladislav
Alexandr
Блок питания Deepcool DQ750ST
Был куплен 2 года назад.
При запуске HDD по 12в потребляет до 2.5А. 10 дисков - 25А. Блок питания должен давать 62А по 12В.
В запасе на 1кВт, к сожалению, нет.
К тому же я пробовал запускать сервер с подключенными 5 дисками раид в материнскую плату (плату расширения я удалял из слота, и другие диски физически отключал от питания), эффекта нет.
Vladislav
Блок питания Deepcool DQ750ST
Был куплен 2 года назад.
При запуске HDD по 12в потребляет до 2.5А. 10 дисков - 25А. Блок питания должен давать 62А по 12В.
В запасе на 1кВт, к сожалению, нет.
К тому же я пробовал запускать сервер с подключенными 5 дисками раид в материнскую плату (плату расширения я удалял из слота, и другие диски физически отключал от питания), эффекта нет.
Можно из потока создания оформить это в структурированный текст?
Vladislav
Наврал. Помимо 5 дисков раид к китайской плате подключено еще 5 винчестеров.
Диски раид к материнке я подключал (все остальные винчестеры были отключены физически). Поведение такое же. После команды импорт, zpool status виснет.
Итак
Вы подключили через pcie x2 10 дисков, при этом 5 из них работали через SATA expander. Начало уже хорошее.
Сейчас Вы подключили 5 дисков из рейд группы напрямую в материнку и ситуацию не поменялась, всё так?
при это 5 дисков подключённых до этого Вы отключили и никаких нехарактерных потрескиваний на текущий активных дисках нет?
И я всё ещё не вижу dmesg и SMART с дисков в соответствии с правилами
Alexandr
Никаких посторонних звуков не слышал.
Смарт:
https://pastebin.com/r56tPk8y
Alexandr
dmesg:
https://pastebin.com/xzMgfmmT
Alexandr
Видеться как аппаратная проблема
Не исключаю. Но в настоящий момент разметка на дисках видна, а значит диски доступны.
Alexandr
Сами диски в смарте говорят, что текущий режим 6.0Gb/s
Vladislav
dmesg:
https://pastebin.com/xzMgfmmT
WARNING: Pool 'pool_raidz2' has encountered an uncorrectable I/O failure and has been suspended.
Олег
День добрый, возможно ли построить Raidz с одним отсуствующим диском, как в mdadm ? Нужно построить RAIDZ из 4х дисков и содержимое одного влить в массив. Вариант с копированием 18TB по сети не сильно устраивает. Риски понимаю, данные не важные, в случае чего просто недели 2 копирования между офисами.
Vladislav
День добрый, возможно ли построить Raidz с одним отсуствующим диском, как в mdadm ? Нужно построить RAIDZ из 4х дисков и содержимое одного влить в массив. Вариант с копированием 18TB по сети не сильно устраивает. Риски понимаю, данные не важные, в случае чего просто недели 2 копирования между офисами.
Да, можно,
https://www.reddit.com/r/zfs/comments/8enkt8/can_i_create_a_new_raidz_in_degraded_mode/
Олег
Да, можно,
https://www.reddit.com/r/zfs/comments/8enkt8/can_i_create_a_new_raidz_in_degraded_mode/
Спасибо огромное! попробую
Олег
Еще вопрос есть по LSI контроллеру HBA mode
После того как помечаю диск
/opt/MegaRAID/storcli/storcli64 /c0/e27/s10 start locate
И вытаскиваю
как отключить индикацию?
/opt/MegaRAID/storcli/storcli64 /c0/e27/s10 stop locate
выдает ошибку уже
Есть какой-то механизм сброса индикаций, ну кроме перезагрузки?
Ситуация редкая, но в полке с 36 дисками при 2 годичной бесперебойной работе возникают ситуации такие
Ivan
Еще вопрос есть по LSI контроллеру HBA mode
После того как помечаю диск
/opt/MegaRAID/storcli/storcli64 /c0/e27/s10 start locate
И вытаскиваю
как отключить индикацию?
/opt/MegaRAID/storcli/storcli64 /c0/e27/s10 stop locate
выдает ошибку уже
Есть какой-то механизм сброса индикаций, ну кроме перезагрузки?
Ситуация редкая, но в полке с 36 дисками при 2 годичной бесперебойной работе возникают ситуации такие
хм. если индикация работает, значит контроллер не в it mode прошит.
Ivan
ledctl мб сможет потушить
Олег
хм. если индикация работает, значит контроллер не в it mode прошит.
Product Name = HBA 9400-8i
Board Name = HBA 9400-8i
других упоминаний не нашел в storcli. шил именно в HBA, но засомневаться дали повод)
Ivan
Product Name = HBA 9400-8i
Board Name = HBA 9400-8i
других упоминаний не нашел в storcli. шил именно в HBA, но засомневаться дали повод)
для контроллеров есть ir и it прошивки
Δαρθ
Vladislav
Сейчас HBA режим дэ-юре является passthrought
Δαρθ
правильно так:
Δαρθ
создать sparse файл (обязательно sparse!!!!) тогол же размера что и диск
Δαρθ
собарть RAID*** на дисках и этом файле
Δαρθ
убрать файл -- получится degraded
Vladislav
Vladislav
Ты не читал
Vladislav
Ты вообще не читал
Δαρθ
какой нахрне dd, truncate ж
Vladislav
Там если что оба варианта написаны
Vladislav
Достаточно просто почитать
Δαρθ
Вот именно что truncate более интуитивна
Vladislav
Но нет, увидел dev/zero
Δαρθ
и ещё как-то лихо seek=8T
Vladislav
И дальше не читал
Δαρθ
я бы делал размер ТОЧНО как размер диска
Vladislav
Крутоооооо
Vladislav
Конечно, зачем читать больше 8 символов :)
Δαρθ
Да, а зачем ещё нажимать 'read more comments'
Vladislav
Да, а зачем ещё нажимать 'read more comments'
ага, ведь count=0 находится в read more comments :)
Δαρθ
но что делать sparse файлы при помощи dd -- НЕинтуитивно, это 100%
Vladislav
но что делать sparse файлы при помощи dd -- НЕинтуитивно, это 100%
Но и вместо влетать *РЯЯЯЯ, НЕПРАВИЛЬНО*, можно ведь почитать команду целиком?
Δαρθ
Ну и да, размер надо точно ставить, а не size=8T
Δαρθ
Пушо хз что там в ЗФС, которая не умеет уменьшаться и переежать на другие диски
Vladislav
Это ПРИМЕР команды, плюс не забывайте, что ZFS откусывает последние 15МБ диска как раз, чтобы не было проблем с +-10000 секторов
Δαρθ
Это ещё одна причина по которой я стараюсь делать ЗФС на разделах а не на целиковых дисках. Когда я имею полный контроль над размером
Δαρθ
А заначку размером ну например 32 гига можно под своп пустить )
Δαρθ
И главное, её в отличие от зфс можно изменить размером без проблем
Δαρθ
Это ПРИМЕР команды, плюс не забывайте, что ZFS откусывает последние 15МБ диска как раз, чтобы не было проблем с +-10000 секторов
Ну так кто-то прочтёт, сделает 8T и потом поимеет проблемы
Vladislav
Ну так кто-то прочтёт, сделает 8T и потом поимеет проблемы
Ну и ZFS просто скажет диски не совпадают
Vladislav
и без флага -f не соберётся
Станислав
Ну так кто-то прочтёт, сделает 8T и потом поимеет проблемы
Специально создал все диски одинакового размера:
root@pc:/tmp/RAMDISK# zpool list -v testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 5.50G 457M 5.05G - - 0% 32% 1.00x ONLINE -
raidz1-0 5.50G 457M 5.05G - - 0% 32.6% - ONLINE
/tmp/RAMDISK/test1.img 1G - - - - - - - ONLINE
/tmp/RAMDISK/test2.img 2G - - - - - - - ONLINE
/tmp/RAMDISK/test3.img 3G - - - - - - - ONLINE
/tmp/RAMDISK/test4.img 4G - - - - - - - ONLINE
/tmp/RAMDISK/test5.img 5G - - - - - - - ONLINE
/tmp/RAMDISK/fake.img 6G - - - - - - - ONLINE
Потом отключил самый большой на 6Гб:
root@pc:/tmp/RAMDISK# zpool offline testpool /tmp/RAMDISK/fake.img
root@pc:/tmp/RAMDISK# zpool list -v testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 5.50G 1.79G 3.71G - - 0% 32% 1.00x DEGRADED -
raidz1-0 5.50G 1.79G 3.71G - - 0% 32.6% - DEGRADED
/tmp/RAMDISK/test1.img 1G - - - - - - - ONLINE
/tmp/RAMDISK/test2.img 2G - - - - - - - ONLINE
/tmp/RAMDISK/test3.img 3G - - - - - - - ONLINE
/tmp/RAMDISK/test4.img 4G - - - - - - - ONLINE
/tmp/RAMDISK/test5.img 5G - - - - - - - ONLINE
/tmp/RAMDISK/fake.img 6G - - - - - - - OFFLINE
Заменил на диск меньшего размера:
root@pc:/tmp/RAMDISK# zpool replace testpool /tmp/RAMDISK/fake.img /tmp/RAMDISK/fake1G.img
Вуаля:
root@pc:/tmp/RAMDISK# zpool list -v testpool
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
testpool 5.50G 1.79G 3.71G - - 0% 32% 1.00x ONLINE -
raidz1-0 5.50G 1.79G 3.71G - - 0% 32.6% - ONLINE
/tmp/RAMDISK/test1.img 1G - - - - - - - ONLINE
/tmp/RAMDISK/test2.img 2G - - - - - - - ONLINE
/tmp/RAMDISK/test3.img 3G - - - - - - - ONLINE
/tmp/RAMDISK/test4.img 4G - - - - - - - ONLINE
/tmp/RAMDISK/test5.img 5G - - - - - - - ONLINE
/tmp/RAMDISK/fake1G.img 1G - - - - - - - ONLINE
Станислав
Так что не нужно на человека наговаривать, что он не правильный размер файла указал. Он просто понимает, как работает рейд
Δαρθ
Создаст так чувак фейковый диск размером 8Т как в статье, к рейду из дисков по 10Т, и останется с недоиспользованными 8Т на каждом потом
Δαρθ
я потому и говорю -- размер фейкового диска из спарсе файла должен быть ТОЧНО ТАКОЙ же как и обычных
Станислав
Олег
Кстати уменьшение размера реально?)