@ru_zfs - страница 801 - Telegram web archive

в этом мане ничего и похожего нет, в see also тоже кол-во то понятно, оно на всем есть но тырпрайзные харды по моему именно в систему сообщают о своих бедблоках

Vladislav

в этом мане ничего и похожего нет, в see also тоже кол-во то понятно, оно на всем есть но тырпрайзные харды по моему именно в систему сообщают о своих бедблоках

В SAS есть Elements in grown defect list

Vladislav

А если нужны именно расположение бэд блоков - можно пройтись VictoriaHDD

Vladislav

В SAS есть Elements in grown defect list

Ну и обнаруживается это все только после long smart scan

Roman

в этом мане ничего и похожего нет, в see also тоже кол-во то понятно, оно на всем есть но тырпрайзные харды по моему именно в систему сообщают о своих бедблоках

В самом простом варианте smartctl -a ... А там разберёшься.

Alexander

Смысла в списке блоков нет, если диск может сделать ремап, он сделает. Количество бедов это косвенный признак, но диск может внезапно умереть и без единого бэда с прекрасным смартом

Alexander

Максимум можно мониторить количество бедов и при резком росте превентивно диск менять. Но это так, повод для замены. Бэкапы нужны на отдельную железку в географически отдаленное место

D⁣en⁣is

Смысла в списке блоков нет, если диск может сделать ремап, он сделает. Количество бедов это косвенный признак, но диск может внезапно умереть и без единого бэда с прекрасным смартом

Иногда может, но не хочет пока его очень не попросишь викторией. Бывают ещё софт-бэды, у которых просто контрольная сумма физического сектора неверная. Лечатся перезаписью сектора. В общем информация о бэдах может быть полезной.

Alexander

Иногда может, но не хочет пока его очень не попросишь викторией. Бывают ещё софт-бэды, у которых просто контрольная сумма физического сектора неверная. Лечатся перезаписью сектора. В общем информация о бэдах может быть полезной.

О количестве возможно, но не о списке. Но что значит «не попросишь», бэд - это вероятностный процесс, если диск не прочел сектор он пытается с этим что то сделать, прочитать снова и сделать ремап. Виктория это не PC3000, особой магии она не делает

D⁣en⁣is

О количестве возможно, но не о списке. Но что значит «не попросишь», бэд - это вероятностный процесс, если диск не прочел сектор он пытается с этим что то сделать, прочитать снова и сделать ремап. Виктория это не PC3000, особой магии она не делает

Именно что вероятностный, нет жестких состояний читается/не читается поэтому нельзя всё подряд ремэпить из-за случайных ошибок. Решение принимает прошивка, при чём на разных дисках по-разному (на некоторых не хочет переназначать сектор, как ни пинай). Виктория просто пытается многократно перезаписать сектор, чтобы до фирмвари дошло, что сектор полностью битый и его надо заремэпить.

Alexander

Именно что вероятностный, нет жестких состояний читается/не читается поэтому нельзя всё подряд ремэпить из-за случайных ошибок. Решение принимает прошивка, при чём на разных дисках по-разному (на некоторых не хочет переназначать сектор, как ни пинай). Виктория просто пытается многократно перезаписать сектор, чтобы до фирмвари дошло, что сектор полностью битый и его надо заремэпить.

«Может отремапить» и есть принятие решений. Ну да, Виктория пытается форсировать ремап при ошибке, но раз процесс вероятностный то ошибка при проходе может и не возникнуть. Единственное реальное применение Виктории это зафорсить по максимуму ремап чтобы снять копию и дальше пытаться восстанавливать уже данные. Мой поинт был в том что список бэдов ровным счетом ничего не даёт.

Alexander

А раз речь идет о zfs то максимум надо контролировать количество бедов, но есть и другие показатели. И все это просто информация для планирования замены диска до того как он отвалился сам. Но и идеальный диск может внезапно отвалится, поэтому не надо изучать списки бэдов а надо делать бэкапы

D⁣en⁣is

Согласен. Но хотелось бы иметь список софт-бэдов (pending в смарте). Зачастую это нормальные сектора, которые не сбоят потом после лечения. Имея список можно вылечить диск не меняя.

Alexander

Может нормальные а может нет, пока данные не потеряешь точно не узнаешь.

Alexander

«Лечить» разве что только для развлечения, или увеличения шансов восстановления данных. Это либо для нерадивого знакомого кто бэкапы не делал а все на домашнем десктопе держал (таких все меньше) либо для любопытства. А в реальных хранилищах - только бэкапы помогут не потерять данные

D⁣en⁣is

Так из этих секторов уже ничего не читается раз они в списке. Если не получается восстановить - диск под замену. Если получается - делаем скраб и наблюдаем. Повторится - под замену. Бэкапы само собой, никто не говорит, что они не нужны. Просто если можно починить не нагружая лишний раз систему (что увеличивает шанс отказа), почему бы не попробовать. И диски сейчас дорогие, не хочется выбрасывать рабочие.

Alexander

Ну значит данные не такие дорогие что можно достать диск из массива, потратить часы на Викторию ))

D⁣en⁣is

Лечить можно не только викторией. hdparm умеет записывать отдельные сектора, вытаскивать диск для этого не нужно. Только приходится искать LBA-номер по dmesg, либо через smart-тесты. Повторюсь, речь идёт о дисках с софт-бэдами (UNC, pending). Если не видно других проблем, ничего страшного в том, чтобы перезаписать уже не читающийся сектор. Даже если не получится - меняем диск, делаем resilver. Если получится, то скрабом восстанавливаем только повреждённые места. В каком месте вы видите возможную потерю данных? Когда сбойнёт другой диск в массиве? Тогда уже и без всякого лечения у нас проблемы. Не настаиваю на таком подходе, просто для информации, что такой способ возможен. Выкидывать живые диски только из-за того, что где-то не сошлась контрольная сумма расточительно.

Alexander

Ну так список lba нужен только для ускорения этого процесса, но это все вероятностно. Вы перепишите «сбойный» сектор и решите что это «проблема контрольной суммы». Но откуда она взялась? Может поверхность в этом месте уже нестабильна, ну один раз вам повезло, нули записались )) только это ничего не говорит об исправности. Я не разу не видел чтобы диски просто так выдавали «софт» беды, это всегда начинающиеся проблемы. Если это один диск в raidz3 можно поразвлекаться конечно, но мои данные дороже дисков ))

Δαρθ

Ну так список lba нужен только для ускорения этого процесса, но это все вероятностно. Вы перепишите «сбойный» сектор и решите что это «проблема контрольной суммы». Но откуда она взялась? Может поверхность в этом месте уже нестабильна, ну один раз вам повезло, нули записались )) только это ничего не говорит об исправности. Я не разу не видел чтобы диски просто так выдавали «софт» беды, это всегда начинающиеся проблемы. Если это один диск в raidz3 можно поразвлекаться конечно, но мои данные дороже дисков ))

А я видел. Один диск после многих лет использования стабильно выдавал бед на конкретном секторе. После перезаписи этого сектора стабильно беды перестал выдавать вообще на последующие годы

D⁣en⁣is

Ну так список lba нужен только для ускорения этого процесса, но это все вероятностно. Вы перепишите «сбойный» сектор и решите что это «проблема контрольной суммы». Но откуда она взялась? Может поверхность в этом месте уже нестабильна, ну один раз вам повезло, нули записались )) только это ничего не говорит об исправности. Я не разу не видел чтобы диски просто так выдавали «софт» беды, это всегда начинающиеся проблемы. Если это один диск в raidz3 можно поразвлекаться конечно, но мои данные дороже дисков ))

Про контрольную сумму не я решаю, это сам диск возвращает UNC и ставит кандидатом на ремэп в смарте. Откуда берётся могу только предполагать. Может нестабильное питание, температура, может оттуда же, откуда возникают ошибки в ECC-памяти (её почему-то не спешат обычно менять), может действительно диск сыпется. У меня другой опыт. Если нет признаков, что диск сыпется, но внезапно появляются UNC-сектора, то чаще всего дело поправимо. Вы просто видимо не заморачивались на эту тему, просто ставя новый винт.

Alexander

Про контрольную сумму не я решаю, это сам диск возвращает UNC и ставит кандидатом на ремэп в смарте. Откуда берётся могу только предполагать. Может нестабильное питание, температура, может оттуда же, откуда возникают ошибки в ECC-памяти (её почему-то не спешат обычно менять), может действительно диск сыпется. У меня другой опыт. Если нет признаков, что диск сыпется, но внезапно появляются UNC-сектора, то чаще всего дело поправимо. Вы просто видимо не заморачивались на эту тему, просто ставя новый винт.

Я наблюдаю за дисками и если пошли бэды то меняю. Но у меня в массивах минимум wd gold, они если начали бэды выдавать то смысла особого тянуть нет. Данные бизнесу дороже чем диски, а ломаются они не так часто, где-то две штуки из 80 заменили за последние лет 5

Vladislav

https://www.phoronix.com/news/OpenZFS-Direct-IO

Vladislav

ОНО СЛУЧИЛОСЬ

Vladislav

Теперь на ком-то это нужно тестить....

Vladislav

Ну, учитывая отсутствие поддержки zvol - я пасс

Georg🎞️🎥

ОНО СЛУЧИЛОСЬ

Объясните пожалуйста, если не трудно

Vladislav

Объясните пожалуйста, если не трудно

Если очень кратко - если данные идут с\на NVMe - они полностью пропускают ARC

Georg🎞️🎥

Если очень кратко - если данные идут с\на NVMe - они полностью пропускают ARC

То есть flash массив игнорит arc типа ?

Vladislav

То есть flash массив игнорит arc типа ?

Да

Georg🎞️🎥

Да

Благодарю ☺️ но по моему это не круто

Georg🎞️🎥

Arc быстрее ж

Vladislav

Стэк сейчас

Vladislav

Arc быстрее ж

Нет

Georg🎞️🎥

Нет

Память быстрее любого диска в случайном чтении 🤔 как бы …

Georg🎞️🎥

Линейная скорость не интересует

Vladislav

Суть в том, что в случае с арком на чтение - - Данные в памяти? Осматриваем память - Данные в l2arc? Осматриваем l2arc - Данные на дисках? Идём смотреть на диск

Vladislav

Суть в том, что в случае с арком на чтение - - Данные в памяти? Осматриваем память - Данные в l2arc? Осматриваем l2arc - Данные на дисках? Идём смотреть на диск

В случае с DirectIO - Мы читаем с диска

Georg🎞️🎥

В случае с DirectIO - Мы читаем с диска

То есть не траться время на поиск данных а сразу идет на диски так ?

Vladislav

То есть не траться время на поиск данных а сразу идет на диски так ?

Да, это при чтении и грубо

Vladislav

При записи СИЛЬНО сокращается время, которое ZFS тратит на memcopy между кэшами

Vladislav

Он сразу идёт писать на диск

Georg🎞️🎥

Да, это при чтении и грубо

Ага вот теперь ясно 👍 но в некоторых сценариях я предпочту чтобы все же с памяти читало , ибо туда влезают все наши проекты , спасибо за разъяснение