Так потестите где у них деградация по скорости начинается

Чем лечить ошибку: zfs-8000-5e? После перезагрузки пул не монтируется автоматом, выдаёт ошибка 97, делает 3 попытки и всё, дальше никак. При загрузки с флешки freebsd-13 live - и ручном монтировании пишет: state: FAULTED ada0p3 FAULTED corrupted data

не встречался, тьфу,тьфу,тьфу, а тут смотрели? https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-5E/index.html

ну конечно смотрел - там предлагают убить пул, создать новый и восстановить из рез.копии. Вот прикольно перегрузился и всё сдохло - ползи в архив.

там пул из одного диска

в этом-то и фокус, диск живой, виктория и hdd reg прогнал ни единого сбоя

уже третьи грабли у меня с зфс, наверное плюну на неё: память жрёт, пустое место теряет, а теперь ещё и пул сдох после ребута, и при всё этом нет никаких инструментов для лечения, где долгожданные плюсы??? э-эх, печалька...столько надежд...и назад в geom/ufs

в этом-то и фокус, диск живой, виктория и hdd reg прогнал ни единого сбоя

там пул из одного диска

в этом-то и фокус, диск живой, виктория и hdd reg прогнал ни единого сбоя

А шлейф/плата подключения проблемой быть не может? У меня был реальный кейс, перед введением сервера с 8 винтами в эксплуатацию, все винты тщательно проверялись, один винт давал периодические сбои. Было решение заменить. Заменили, поставили, а масив все равно дает сбой по винту. Оказалось что сбои были из-за шлейфа. Новый комплектный заводской шлеф сата заставил поменять 3 диска. По итогу, все диски оказались нормальными, заменили шлеф и сервак пашет уже лет 7 без сбоев.

в сате есть вроде црц32 на канале, это или ошибок дохрена в кабеле настолько что 2^-32 вероятность для 32битного црц пропустить битый пакет (с кучей битовых ошибок) срабатывает или железо плюет на это црц где-то. или что-то еще?

в сате есть вроде црц32 на канале, это или ошибок дохрена в кабеле настолько что 2^-32 вероятность для 32битного црц пропустить битый пакет (с кучей битовых ошибок) срабатывает или железо плюет на это црц где-то. или что-то еще?

Ну у нас было так - собрали пул, запустили, пул вроде работает, потом бац, диск фейлед, ок, пересобрали, бац повторно. Начали проверять диск mhdd - поверхность в норме, smart в норме, опять пересобрали, опять проверили, опять с тем же диском тот же трабл. Винты были сигейт констелейшн серверные. Отправили диск по гарантии на замену. Через пару дней прислали такой же. Всталили, опять та же лабуда. Я попросил заменить на другу марку. Прислали вестерн голд. Поставили, таже лабуда. Но! В этот раз mhdd выдал ошибку по smart-у. Глянули, по ошибке типа ошибка взаимодейтсвия диска с контроллером. Уже точно не скажу как оно на самом деле выглядело, но т.к. все диски были на одном контроллере, через один бэкплейт, решили заменить шлейф. После замены - вуаля, никаких проблем. Так и остался тот вестерн голд в пулес сигейтами стоять. За 5 лет там из 8 сигейтов еще два реально сдохли. Тоже меняли на вестерны голд.

Хочется ведь понять причину - чтобы в последствии избежать этого

типа, диск вылетал по таймаутам а не по порче данных?

Ну у нас было так - собрали пул, запустили, пул вроде работает, потом бац, диск фейлед, ок, пересобрали, бац повторно. Начали проверять диск mhdd - поверхность в норме, smart в норме, опять пересобрали, опять проверили, опять с тем же диском тот же трабл. Винты были сигейт констелейшн серверные. Отправили диск по гарантии на замену. Через пару дней прислали такой же. Всталили, опять та же лабуда. Я попросил заменить на другу марку. Прислали вестерн голд. Поставили, таже лабуда. Но! В этот раз mhdd выдал ошибку по smart-у. Глянули, по ошибке типа ошибка взаимодейтсвия диска с контроллером. Уже точно не скажу как оно на самом деле выглядело, но т.к. все диски были на одном контроллере, через один бэкплейт, решили заменить шлейф. После замены - вуаля, никаких проблем. Так и остался тот вестерн голд в пулес сигейтами стоять. За 5 лет там из 8 сигейтов еще два реально сдохли. Тоже меняли на вестерны голд.

видимо у вас zfs по таймауту доступа выкидывал диск из пула

Может, я там не так подробно описал ситуацию, я уже не помню точно, это все ж было лет 7 назад, когда мы первый проксмокс на зфс поднимали, но точно помню что диск вылетал не мгновенно, т.е. у меня тогда вообще не было опыта общения с зфс и мы после сброрки пула, прикрутили к нему слог и л2арк на ссд, а потом гоняли по производительности меняя параметры, и вот винт вылетал не сразу. Пул нормально работал пару дней, а потом происходил сбой. Это навело на мысли о проблеме с поверхность, типа мы заливали кучу рэндом даты в пул и натыкались на поврежденное место. Этим мы изначально трактовали периодичность сбоев.

а, тогда и по количеству ошибок просто мог выбивать как накапливались

а, тогда и по количеству ошибок просто мог выбивать как накапливались

можете smart запостить ?

Нет, нормально. Да и тут полгода работал, вот решил ребутнуть.

Использую типа таких но без конденсатора, а что должен защитить тут конденсатор ? В обычных raid контроллерах он вроде защишает кэш, а тут что ?

Мне тоже хотелось понять, каким образом он что-то защищает. По идее, должен в момент отключения дать возможность сохранить кэш, но для этого он должен уметь сообщить накопителю, что надо выключаться.

Для этого в накопителе должен быть кеш. В нве кеш есть?

да

Не смог нагуглить. Просто гуглить ссд кеш это капец как не про кеш внутри ссд :(

так в sata тоже есть кэш

https://www.kingston.com/en/solutions/servers-data-centers/ssd-power-loss-protection

Конечно, речь не про продакшн, а про домашний сервер.

Дома кондёры не нужны особо, sync=disabled в случае zfs и все дела

У меня есть данные, которые жалко потерять

при чём тут они?

а зачем рисковать с sync=disabled?

рисковать чем? в случае потери питания примерно последние 5 секунд записи (по дефолту) только потеряются

ещё предложите массив raid10 убрать

Ну а зачем мне так делать, если есть slog?

ау, zfs транзакционная

зачем slog дома?

А зачем slog не дома?

БД, синхронная запись же. Которая "дома" нафиг не нужна

Ну а мне нужна.

ну так зачем?

Бд, синхронная запись, вот это всё. Почта. Пришло письмо, сервер вырубился, письма больше нет.

Бд, синхронная запись, вот это всё. Почта. Пришло письмо, сервер вырубился, письма больше нет.

благо дело sync это свойство датасета

ну так зачем?

у меня дома кластер esx из двух нод. когда свет пропал, потом половину линуховых виртуалок висит на чеке