щас в виртуалке прогоню сценарий
Если страйп из нескольких mirror, то сначала надо удалить диск из зеркала через detach, только после можно удалить оставшийся диск через remove
Evgenii
Nick
Здравствуйте, умер диск в пуле, заменил физическое устройство, теперь пытаюсь заменить его, но пул недоступен и виден только через zpool import. Выдает следующее:
pool: share
id: 1235907330876553946
state: DEGRADED
status: One or more devices contains corrupted data.
action: The pool can be imported despite missing or damaged devices. The
fault tolerance of the pool may be compromised if imported.
see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-4J
config:
share DEGRADED
mirror-0 ONLINE
sda ONLINE
ata-HGST_HUS724040ALA640_PN2331PAK21JYT ONLINE
mirror-1 DEGRADED
ata-HGST_HUS724040ALA640_PN2331PAK21JMT ONLINE
sdd UNAVAIL
Пробовал заменить диск через zpool replace -f share 1129802317396637084 /dev/disk/by-id/ata-ST4000VX007-2DT166_ZDHB0LRV
получаю (такой же вывод при zpool status)
cannot open 'share': no such pool
Команды zpool mport/import -f заканчиваются выводом
cannot import 'share': one or more devices is currently unavailable
Подскажите, пожалуйста, как можно заставить пул откликаться на zfs replace и прочие команды? Или нужно заново пул создавать?
Nick
Я понимаю, но он импортироваться отказывается из-за недоступного диска, который заменить не получается пока не импортирован пул, замкнутый круг какой-то
Art
Я понимаю, но он импортироваться отказывается из-за недоступного диска, который заменить не получается пока не импортирован пул, замкнутый круг какой-то
а нет ли такого варианта:
выключить сервер
вставить неисправный диск
оставить новый диск
включить сервер
импортнуть пул
сделать реплейс
и потом уже после успешного ресилвера нового диска убрать из сервера старый неисправный диск
?
Nick
Попробую, благодарю Вас
Nick
Но старый диск конкретно сдох, даже в биос его не видит
Art
Но старый диск конкретно сдох, даже в биос его не видит
а если попробовать старый диск сначала оффнуть?
zpool offline share diskname
и потом импортнуть пул
Nick
Уже пробовал
cannot open 'share': no such pool
Nick
import -f мне дает
cannot import 'share': one or more devices is currently unavailable
Nick
Какая версия зфс?
riv
так пул грохнется) Скорее всего даже не даст удалить, ругаться будет. Устойчивость пула может ведь быть только на уровне вдевов.
Но я попробую
Не даст разумеется. Этоя напутал про не дает добавить. На самом деле не дает удаалять. А из mirror дает, если достаточно свободного места для перераспределения данных с удаляемого vdev. Я говорил об этом. Не понятно, почему этот процесс зависит от структуры vdev.
ArtAnt
Кто-нибудь сталкивался с ситуацией, когда диск добавляется в пул по disk/by-id, а после перезагрузки в пуле он виден как sda?
Proxmox 7.4-3 с последними обновлениями.
Владимир
Кто-нибудь сталкивался с ситуацией, когда диск добавляется в пул по disk/by-id, а после перезагрузки в пуле он виден как sda?
Proxmox 7.4-3 с последними обновлениями.
вроде как пофигу как имя пишется в пуле и как диск добавляется, по факту он всегда по ID начиная с какой-то версии ZFS. Сори не готов дать ссылку на оф подтверждение чего сказал, но думаю если погуглишь наверное сам найдёшь. Если вдруг не прав тегните, поправьте.
ArtAnt
Поищу завтра тогда.
Станислав
Как жаль, что Каролина не смогла попасть к нам в чат
Alexandr
всем привет
Alexandr
Alexandr
в итоге перевелд контроллер на JBOD импортировал пулы
Nikita
в итоге перевелд контроллер на JBOD импортировал пулы
вот. так оно и должно было выглядеть) теперь replace и всё.
Alexandr
Alexandr
жду ребилда ?
Ivan
Что показывает монитор перед зависанием?
В общем попробовал посмотреть вообще что физически происходит и проблема такая. Как только я начинаю заливать поток данных большой, т.к. даю нагрузку на все харды, буквально через 3-5 секунд система падает. Даже не падает, а как будто электричество всем хардам обрубается. Прям видно в этот момент все лампочки на них гаснут, вентиляторы тоже как будто заново начинают раскручиваться. И дальше как будто заново начинает инициализация дисков, но изображения на экране уже нет и есдинственное, что можно сделать, это выдернуть провода и вставить заново. Тогда машина загрузится. Я подумал, что наверно блок питания не тянет. Но там стоит 1000ник с резервированием.
Ivan
Я даже для чистоты эксперимента взял аналогичные БП из такого же корпуса и поменял. Все тоже самое.
Ivan
24 диска, Жесткий диск SAS 16TB 7200RPM 12GB/S 256MB ST16000NM004J SEAGATE
central
если уменьшить количество дисков это что то меняет?
Nick
В общем попробовал посмотреть вообще что физически происходит и проблема такая. Как только я начинаю заливать поток данных большой, т.к. даю нагрузку на все харды, буквально через 3-5 секунд система падает. Даже не падает, а как будто электричество всем хардам обрубается. Прям видно в этот момент все лампочки на них гаснут, вентиляторы тоже как будто заново начинают раскручиваться. И дальше как будто заново начинает инициализация дисков, но изображения на экране уже нет и есдинственное, что можно сделать, это выдернуть провода и вставить заново. Тогда машина загрузится. Я подумал, что наверно блок питания не тянет. Но там стоит 1000ник с резервированием.
а включить в биосе spin up rotational disks?
на старте аналогичные сата потребляют примерно по 30 ватт минимум, а тут сас
Vladislav
24 диска, Жесткий диск SAS 16TB 7200RPM 12GB/S 256MB ST16000NM004J SEAGATE
bruh. Я надеюсь они разведены по размным линиям 12в?
Ivan
Они подключены в бэкплейт все. Рискну предположить, что да разведены
Ivan
Вряд ли производитель корпусов все на одну линию повесил бы. Там уже все подключено, только диски вставляй.
Ivan
Nick
Где то в настройках контроллера. Если порты с материнки будет легко, есть другой контроллер - может и не быть, надо читать мануал
Ivan
Они подключены к бэкплейту а тот в свою очередь на к SmartHBA
Ivan
К Adaptec SmartHBA 2100-24i
Ivan
если быть точным
Vladislav
Они подключены в бэкплейт все. Рискну предположить, что да разведены
Бэкплейн как подключён к БП?
Ivan
Бэкплейн как подключён к БП?
Ну от БП к бэкплейну, точнее скорее экспандеру через кучу молексов
Ivan
Вот такой корпус AIC 4U RSC-4EG2-90R-SA1S-0
Ivan
Я думаю проблема именно с тем что подскакивает напряжение когда начинается запись большого объема. Но что с этим делать я не понимаю пока что. Вероятно Spin Up может помочь, но где это настроить не могу найти. В биосе вроде ничего подобного не нашел.
Vladislav
И молексы идут разные или все одной линией?
Vladislav
Так-то ST16000NM004J выжирает 7вт по 5в линии
Vladislav
То бишь 168вт чисто на 5в
Ivan
Завтра проверю, но точно не одной. 2 точно, может больше. Но я проверю
Vladislav
Vladislav
Ivan
Ну по идее там все подключено нормально, как на заводе подключали. Но я проверю конечно
Vladislav
800вт 12в
175вт 5в
25вт 3.3в
это тоже БП на 1000вт
Ivan
Хорошо, а сколько дисков мне к одной линии максимум можно подрубить? Чтобы я понимал верно подключены или нет
Vladislav
riv
К Adaptec SmartHBA 2100-24i
У меня вылечелось заменой контроллера. Тоже адаптек был. Я думаю, что он перегревался или чип отвалился и от нагрева глючил. Причем без экспандеров тоже адаптековских работало устойчивей но тоже глючило
riv
Ну по идее там все подключено нормально, как на заводе подключали. Но я проверю конечно
Поставьте меня в ответ, если не сложно.
Ivan
У меня вылечелось заменой контроллера. Тоже адаптек был. Я думаю, что он перегревался или чип отвалился и от нагрева глючил. Причем без экспандеров тоже адаптековских работало устойчивей но тоже глючило
А у вас прям такая же проблема была?
Не думаю что он перегревается, я на него дополнительно охлаждение поставил, доп вентилятор приколхозил.
Ivan
Не может по идее железка за 70т серверного уровня так легко перегреваться. Я удивлен, что мне вообще пришлось приколхозить вентилятор к ней (просто по совету товарищей), мне кажется это мог сам производитель сделать.
Vladislav
Не может по идее железка за 70т серверного уровня так легко перегреваться. Я удивлен, что мне вообще пришлось приколхозить вентилятор к ней (просто по совету товарищей), мне кажется это мог сам производитель сделать.
Диск? Элементарно
У них требований по эксплуатации дохера
Ivan
Проблему с температурой решил. Поставил два более мощных вентилятора. Щас в простое температура дисков 24-25 градусов
Vladislav
Практически любой компонент в сервере имеет очень много требований по тому где он должен располагаться и в каких условиях
Это не потребительских сегмент, где компонент ПК может оказаться в
"Пыльном месте с окружающей температурой 28 градусов, без потока воздуха спереди и работой с перебоями напряжения"
Ivan
Ну тут как бы я слежу за этим. У нас отдельная серверная, два мощных кондиционера поддерживают постоянно температуру 21 градус в ней. Стоят мощные ИБПхи на все железо.
central
Ivan
А что процессору? Там стоит xeon 2324g. Его мне кажется более чем достаточно. На нем отдельный кулер.
Georg🎞️🎥
У меня старые полки emc по sas6 еще )) все хорошо с ними , доволен ))
riv
А у вас прям такая же проблема была?
Не думаю что он перегревается, я на него дополнительно охлаждение поставил, доп вентилятор приколхозил.
Пока было 6 дисков, работало нормально. Как поставили все 36 начал замечать появление ошибок после скраба... и диски меняли в серанре и бп и даже проц, оказалось контроллер подвисал при одновременной нагрузке на все диски. Причем, позже выяснили, что проблема проявляетмя особенно сильно при использовании любого експандера тоже адаптековского.
Обратил внимание, что контроллер греется необъяснимо сильно даже в простое. Глюк был плавающий и часто проявлялся при скрабе, диски словно зависали, но возникал и при обычной работе, т.к на пуле появлялись ошибки. Там был пул из парных mirror. Часть данных потеряна. Позже на другом адаптеке на другом сервере тоже самое словил, причем пул из нескольких raid-z1 умер! Теперь adaptec и z1 обхожу стороной. Оба контроллера были старые, оба hba, оба сильно грелись, на обоих глюк часто возникал сразу после включения сервера, либо отключения и включения после простоя либо после одновременной нагрузки на все диски.
Vladislav
Меня всегда интересовало, в чём причина брать adaptec, а не LSI...
Fedor
я раньше использовал адаптек и areca, никаких нареканий
Ivan
Меня всегда интересовало, в чём причина брать adaptec, а не LSI...
Честно сказать, просто потому что посоветовали. Я впервые с ними столкнулся. В двух других стоит LSI кстати. Но там по 12 лисков
Ivan
Полет нормальный пока
Ivan
Но я думаю это на любителя, кому-то нравится адаптек, кому-то lsi. Я встречал и тех и тех
Vladislav
Честно сказать, просто потому что посоветовали. Я впервые с ними столкнулся. В двух других стоит LSI кстати. Но там по 12 лисков
Мол LSI используют:
Dell, Huawei, Fujitsu, Supermicro, Lenovo