Если спасать данные - пробуйте livecd или ждите минут 30

Если спасать данные - пробуйте livecd или ждите минут 30

Экспорт жду уже полтора часа. Прерывать опасаюсь

Какой объем?

Вам бы данные слить куда-то

60 ТБ Я однажды делал на этом пуле экспорт-импорт (на тот же сервер). Занимало минут 10.

Каким образом? Даже ls зависает.

Каким образом? Даже ls зависает.

Zpool send recv

Запланировал. В данный момент дисков нет. Ко вторнику наберу на пул. Может, что-то подготовительное пока сделать...

Если информация важна, лучше диски не трогать лишний раз.

Отдельные кусочки информации особо не важны Там всё из файлов размером в 1-2 МБ, потеря какой-то части не страшна. Но весь пул как целое достаточно ценен

Отдельные кусочки информации особо не важны Там всё из файлов размером в 1-2 МБ, потеря какой-то части не страшна. Но весь пул как целое достаточно ценен

А инфы то 60ТБ?

Какова избыточность?

raidz2

root@docker09:~# zfs list NAME USED AVAIL REFER MOUNTPOINT my 59.1T 3.13T 402K /my Ну образы же всех 30 дисков нужно сделать?

А что роказывает zpol status -v ?

errors: No known data errors Полным выводом неприлично, наверное, чат захламлять?

errors: No known data errors Полным выводом неприлично, наверное, чат захламлять?

Вы делаете образ и с ним уже эксперименты проводите, как я понял идею

Для экспериментов много больше 90 ТБ нужно: диски будут по 20ТБ, т.е. на каждом 6 образов только, итого 5*20 = 100. И потом ведь куда-то нужно будет результаты эксперимента отправить...

Вообще, zpool status -s я бы глянул

Ну т.е. по 0 там? Хм... Интересно. SMR диски не используются? HBA контроллер не перегревается, не глючит? Чтобы убедится что с дисками все впорядке, при таких вводных, я бы снял всю нагрузку с пула и сделал zpool scrub, и посмотрел бы на счетчики ошибок по его окончании. 30 дисков в одном vdev? Или что то тира 3 по 10?

Вообще, zpool status -s я бы глянул

Пардон за простыню. Удалил

Типо come on, 3 секунды на отклик диска на 1(!) IO

Ну т.е. по 0 там? Хм... Интересно. SMR диски не используются? HBA контроллер не перегревается, не глючит? Чтобы убедится что с дисками все впорядке, при таких вводных, я бы снял всю нагрузку с пула и сделал zpool scrub, и посмотрел бы на счетчики ошибок по его окончании. 30 дисков в одном vdev? Или что то тира 3 по 10?

Replace не думая?

Это нормальное поведение Надо посмотреть таймер скраба, плюс ошибка zpool выводится только в 3 сценариях 1) read - IO тайм-аут на чтение 2) write - IO тайм-аут на запись 3) checksum - Checksum errors represent events where a disk returned data that was expected to be correct, but was not - это значит, что диск уже полетел или просто поврежден

Сейчас ничего не трогайте, ждите resilver, я не могу предсказать поведение системы, если Вы сейчас уберёте один из дисков

Replace не думая?

Но опять же slow появится только при обращении к массиву, к примеру устроить du .* -sh ему

Пардон за простыню. Удалил

systemctl status zfs-scrub-weekly

Unit zfs-scrub-weekly.service could not be found

Pastebin

Да не успеваю зарегаться, отвечаю здесь непрерывно 😉

Replace не думая?

Да не успеваю зарегаться, отвечаю здесь непрерывно 😉

Если будете менять диски, то replace делается не отключая сбойный диск до конца процедуры! Т.е. не вынул, заменил, а добавил, replace, улалил старый.

Если будете менять диски, то replace делается не отключая сбойный диск до конца процедуры! Т.е. не вынул, заменил, а добавил, replace, улалил старый.

zpool history

Да, я прошлый раз так делал на этом пуле. Тогда можно не дожидаясь ресилвенга заменить?

У Вас кажись scrub ни разу не запускался))))

@FreeKopcap можно ещё zpool history | grep scrub

Сделайте всё же

Запустил, долго отрабатывает. Но глянул по сохраненной истории (записывал недавно себе) - и в августе, и в октрябре был

Мммм, это довольно редко, он по хорошему минимум раз в неделю, лучше 2, если нет мониторинга смарта

Непонятно технологически, как лучше это делать. Сейчас пул - это 30 дисков по 3ТБ. Свободных SATA только парочка. Отсоединить все, кроме одного, сохранить его образ, переходить к следующему? И потом из образов как-то можно будет пул собрать? И потом еще в новый пул отправить? То есть для этого минимум 2*90 ТБ объем нужно подготовить?

Он меньше недели не работает 😊 - нагрузка на пул довольно серьезная, в фоне помнится обещал чуть не за месяц закончить

Можно же арендовать сервер чтобы не покупать так много

Ээээээммм Это не уверен, что должно ТАК работать Но ладно, мониторинг смарта ваше всё

Ну вот на соседнем сервере идет с такой скоростью: scan: scrub in progress since Sun Nov 12 00:24:04 2023 85.1T scanned at 12.1M/s, 84.8T issued at 10.9M/s, 211T total 0B repaired, 40.11% done, 140 days 10:48:28 to go Он, правда, побольше, но и диски там новые, ошибок сосвсем не замечено (3*тьфу)