@ru_zfs - страница 427 - Telegram web archive

Ivan

мне нужно общее хранилище для proxmox с более-менее работоспособностью и без потери данных на всем кластере

ceph же

Vladislav

ceph же

слишком много случаев развала с этим серфом.

Ярослав

Ceph из коробки, зачем в proxmox люстру пихать

Ivan

слишком много случаев развала с этим серфом.

если руки-крюки

Vladislav

тем не менее

Ярослав

А вообще можно сетевой схд нормальный

Vladislav

пока что клиенты хотят без полок кластеры

LordMerlin

Это вам в чат SDS )))

LordMerlin

А можно вообще воскурить Nutanix CE

LordMerlin

Там и виртуалки сразу))

max

народ, хелп как удалить pool без его импорта ? суть пробелмы : zpool import -f pool: Raid1 id: 9215054098601767770 state: UNAVAIL status: One or more devices are missing from the system. action: The pool cannot be imported. Attach the missing devices and try again. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-3C config: Raid1 UNAVAIL insufficient replicas da0 UNAVAIL cannot open

George

народ, хелп как удалить pool без его импорта ? суть пробелмы : zpool import -f pool: Raid1 id: 9215054098601767770 state: UNAVAIL status: One or more devices are missing from the system. action: The pool cannot be imported. Attach the missing devices and try again. see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-3C config: Raid1 UNAVAIL insufficient replicas da0 UNAVAIL cannot open

затереть его поверх к примеру, либо создав новый пул либо wipefs

George

zpool destroy технически только помечает пул удалённым а не уничтожает его

ArcticFox

Всем салабим, тут по капче веселуха: Если не бот нажми А, а если бот АВС.

Nikita

Добрый день. Господа, подскажите пожалуйста, как возможна вообще такая картина? Пул из пачки зеркал, в одном из зеркал на одном из дисков CKSUM не равна нулю стала - и оп, перманент эррорс, следующие данные сдохли. Почему зеркало в таком случае не отработало как положено? Если "нишмагла" - то почему вдев не помечен как дегрэйдед или что-то в этом роде? openzfs 2.0.5, proxmox

Vladislav

все возможно. особенно, если у вас RAID контроллер с кешированием

Nikita

Нет рэйд контроллеров, hba

Vladislav

как нет?а HBA к чему подключен? :)

Nikita

Эм К pci-шинам процессора

Vladislav

нит

Ivan

Добрый день. Господа, подскажите пожалуйста, как возможна вообще такая картина? Пул из пачки зеркал, в одном из зеркал на одном из дисков CKSUM не равна нулю стала - и оп, перманент эррорс, следующие данные сдохли. Почему зеркало в таком случае не отработало как положено? Если "нишмагла" - то почему вдев не помечен как дегрэйдед или что-то в этом роде? openzfs 2.0.5, proxmox

slog хорошо бы дублировать

Nikita

slog хорошо бы дублировать

Бесспорно, но в данной инсталляции нет такой возможности к сожалению.

Ярослав

Добрый день. Господа, подскажите пожалуйста, как возможна вообще такая картина? Пул из пачки зеркал, в одном из зеркал на одном из дисков CKSUM не равна нулю стала - и оп, перманент эррорс, следующие данные сдохли. Почему зеркало в таком случае не отработало как положено? Если "нишмагла" - то почему вдев не помечен как дегрэйдед или что-то в этом роде? openzfs 2.0.5, proxmox

Зеркало тут ни при чем. Проблема в конкретных зволах под виртуалки. Вот какая, надо разбираться

Nikita

Зеркало тут ни при чем. Проблема в конкретных зволах под виртуалки. Вот какая, надо разбираться

Т.е. ненулевой CKSUM на одном из дисков не имеет отношения к ошибкам zvol-а?

Ярослав

Не увидел

Ivan

Т.е. ненулевой CKSUM на одном из дисков не имеет отношения к ошибкам zvol-а?

если на момент возникновения ошибки не было избыточности, то да

Ivan

или если память не ecc, то тоже вполне возможны проблемы

Art

Добрый день. Господа, подскажите пожалуйста, как возможна вообще такая картина? Пул из пачки зеркал, в одном из зеркал на одном из дисков CKSUM не равна нулю стала - и оп, перманент эррорс, следующие данные сдохли. Почему зеркало в таком случае не отработало как положено? Если "нишмагла" - то почему вдев не помечен как дегрэйдед или что-то в этом роде? openzfs 2.0.5, proxmox

Тоже про ecc подумал, какая память у сервера?

Nikita

если на момент возникновения ошибки не было избыточности, то да

Избыточность была По поводу ecc - это разве так бы проявилось? В виде чексуммы на одном из дисков пула? Память не ECC.

Ярослав

zpool status -x mirror-2

Ярослав

Samrt-ы обеих дисков в зеркале проверьте

Ярослав

Могут быть проблемы и там и там

Ярослав

Довольно часто хостинги ставят старые диски в серверы. Желательно всегда их проверять перед началом настройки всей системы

Vladislav

Довольно часто хостинги ставят старые диски в серверы. Желательно всегда их проверять перед началом настройки всей системы

если есть время. кстати, в линуксе есть какой-то аналог mhdd или victoria ?

Ivan

если есть время. кстати, в линуксе есть какой-то аналог mhdd или victoria ?

отдаленный аналог mhdd - whdd

Vladislav

а то заходишь в rescue Linux и нечем проверять поверхность дисков

Ярослав

Есть команда badblocks

Ярослав

Но как правило смарта достаточно, чтобы понять что с диском серьезная проблема на подходе

Nikita

Довольно часто хостинги ставят старые диски в серверы. Желательно всегда их проверять перед началом настройки всей системы

Со смартами всё ок, это было проверено первым делом.

Vladislav

смарт в ручном режиме читаю. хочется большей автоматизации, хоть и в ущерб времени

Ярослав

В любом случае, если такая ошибка, значит данные были повреждены на двух дисках в массиве, возможно одновременно

Ярослав

Почему так случилось, та причин может быть тысяча, надо изучать все логи, смотреть что не так с дисками и тд, тут никто ответ прямой не даст

Ivan

возможно имеет смысл вручную выполнить scrub

Ярослав

Это не спасет от существующей проблемы

Ivan

а то мб кто-то сделал очистку ошибок вот и не видно реальной информации

Ярослав

Я бы удалил все проблемные виртуалки и поднял из бэкапа

Ярослав

А далее уже разбираться с дисками, а лучше заменить их

Ярослав

а то мб кто-то сделал очистку ошибок вот и не видно реальной информации

Вполне может быть

Ivan

Добрый день. Господа, подскажите пожалуйста, как возможна вообще такая картина? Пул из пачки зеркал, в одном из зеркал на одном из дисков CKSUM не равна нулю стала - и оп, перманент эррорс, следующие данные сдохли. Почему зеркало в таком случае не отработало как положено? Если "нишмагла" - то почему вдев не помечен как дегрэйдед или что-то в этом роде? openzfs 2.0.5, proxmox

в общем попробуй zpool scrub rpool

Ivan

если нарисует ошибки на других дисках, то всё станет очевидно

Nikita

Уже запустил, ровно с такой целью. Но там 13 часов на всё потребуется. Кто-либо посторонний очистить ошибки на дисках не мог, доступ имеется только у меня. По поводу бэкапа - это конечно всё правильно, но подобное хранилище строилось на замену майкрософтовскому storage spaces с ReFS, который втихую так же убил почти все данные. Об этом было замечено лишь спустя немалый срок, когда участились проблемы ошибок чтения файлов большого размера. Хотя пул был healthy, смарт дисков в порядке и т.п.. Словив такую проблему - приобрели новое железо и развернули на сей раз ZFS-хранилище. И ловим в итоге те же яйца, только в профиль. Странно это немного.

Evgеnу

Новое железо - это новый сервер или новые диски?

Nikita

Всё, кроме дисков. Диски были проверены викторией и растасованы в других комбинациях по нодам.

Ilia

так а че таки по бэкапам в итоге?

Nikita

Вопрос мне адресован?

Василий

Версию того что сбойнул HBA или кабель отбрасываете по какой причине? Это как раз дало бы сбой на всех дисках одновременно. И никаких следов в смарте.

Nikita

Версию того что сбойнул HBA или кабель отбрасываете по какой причине? Это как раз дало бы сбой на всех дисках одновременно. И никаких следов в смарте.

Версию про кабель я не отбрасываю. Меня смущает именно комбинация ситуации с ненулевой чексуммой на только одном диске в зеркале и результат этого - битые файлы на этом пуле. При том ,что все vdev, составляющие данный пул в статусе онлайн.