доброго всем дня, имеется зеркало с двумя ssd. Появились следующую ошибки:

в smart проблем нет

сервер не перезагружался

при запросе, списка снапшотов такие ошибки:

Очень интересно

самих снимков, которые указаны как поврежденные в zpool status, в списке снимков нет, scrub завершается без проблем и без ошибок, запускал 3 раза

И почитайте что такое бэкап, а что такое резервирование

Вот и почитайте что вы написали, у вас запасной сервер с репликацией, а никак не бэкап.

Вот и почитайте что вы написали, у вас запасной сервер с репликацией, а никак не бэкап.

.....

Во-первых, написал не я про это

Во-вторых, резервация это когда есть ещё один такой же сервер, который может с ТОЧНО того же момента продолжить работу в случае выхода из строя первого

Вот два контроллера в СХД это резервация 2 схд в синхронной репликации active-standby это резервация

Две копии данных с дельтой это не РЕЗЕРВАЦИЯ

Вот и почитайте что вы написали, у вас запасной сервер с репликацией, а никак не бэкап.

Поэтому не несите хуйни

самих снимков, которые указаны как поврежденные в zpool status, в списке снимков нет, scrub завершается без проблем и без ошибок, запускал 3 раза

Рекомендую чекнуть реддит и гугл

Рекомендую чекнуть реддит и гугл

какой то более\менее похожий случай нашел только такой: https://www.reddit.com/r/zfs/comments/thhrnw/permanent_errors_have_been_detected_in_the/

человеку помогло удаление всех снапшотов

Поэтому не несите хуйни

Тут нужно писать без оскорблений.

Здесь технический чат

Тут нужно писать без оскорблений.

Это не оскорбление? Это матерное слово, но не оскорбление https://ru.m.wiktionary.org/wiki/%D1%85%D1%83%D0%B9%D0%BD%D1%8F

косвенное

я тоже злой инженер и вполне могу использовать различные эпитеты, но нужно, все-таки, стараться этого избегать

Чепуха слишком мягкое слово для такой открытой хуйни, когда человек называет резервацией то, что называется бэкапом (в частности это реплика)

несовпадение терминологии, бывает

резервация это роль того сервиса, если так подумать

как всегда самые ожесточенные споры творятся вокрук терминологии

бгг

как всегда самые ожесточенные споры творятся вокрук терминологии

Сегодня была шикарная фраза

А человек про переименование сервера на одном из сайтов

у меня получилось сделать снапшот (интересно, что этот новый снапшот не отображался в списке снапшотов) датасета с повреждением и сделать ему zfs send\recv, похоже что данные в порядке, но я не могу удалить поврежденный датасет:

не знаете, как решить эту проблему?

в дмесге ио еррор с каких устройств прилетает?

в дмесге ио еррор с каких устройств прилетает?

dmesg | grep I/O и dmesg | grep error. И то и то пусто.

dmesg | grep I/O и dmesg | grep error. И то и то пусто.

еррор с ключем -i лучше искать. а как там io пишется вообще непонятно

лучше глазами весь выхлоп глянуть

лучше глазами весь выхлоп глянуть

посмотрел, к сожалению, ничего подозрительного не нашел, это несколько пугает

еррор с ключем -i лучше искать. а как там io пишется вообще непонятно

да и scrub за 4 раза так и не нашел ошибок, все ошибки по нулям как были, так и есть....

да и scrub за 4 раза так и не нашел ошибок, все ошибки по нулям как были, так и есть....

zfs -V

или стрейс, посмотреть, где именно он не может что-то получить

zfs -V

zfs-2.1.9-pve1 zfs-kmod-2.1.9-pve1

или стрейс, посмотреть, где именно он не может что-то получить

сейчас погуглю как сделать

хотя в ядре бы отразилось

как-то очень странно выглядит. уже не в продакшене сервер?

кажется, что лучше, как он и написал, восстановиться из резервной копии, может, что-то в структурах повредилось, например, из-за недостаточной проверки целостности данных по пути от цпу/рам до дисков

как-то очень странно выглядит. уже не в продакшене сервер?

к сожалению, еще в продакшене до вечера как минимум. Хотя бы диски VM удалось вывести из поврежденных датасетов, хоть что то

/report

Бекапы то понятно... Но есть массивы данных где бекапы не сделаешь, например массив на 100 Tb очень напряжно бекапить)

Суровая правда жизни ...

Бекапы то понятно... Но есть массивы данных где бекапы не сделаешь, например массив на 100 Tb очень напряжно бекапить)

бэкап второго уровня....

у меня получилось сделать снапшот (интересно, что этот новый снапшот не отображался в списке снапшотов) датасета с повреждением и сделать ему zfs send\recv, похоже что данные в порядке, но я не могу удалить поврежденный датасет:

В течении дня прибавился еще один датасет с такой проблемой. После ребута сервера zfs стала показывать список всех снапшотов в поврежденных датасетах, они стали удалятся. Я даже не знаю, радоваться тому, что ребут помог или грустить....

Подожду я пока обновляться с 2.1.5 до 2.1.9 :) вообще очень странно , что в dmesg ничего полезно. У нас подобная почти проблема была, всегда видно , что где произошло. Рекомендую искать методом исключения за несколько дней.

У нас была из-за битой памяти конечно. Пришлось часть из бэкапа восстанавливать. Но в столбце cksum были ошибки. Думаю вы уже сделали clear перед скрином , потому и не понятно.

Я бы на вашем месте уже собирал рядом еще один стор и переливал туда важные вм :)

У нас была из-за битой памяти конечно. Пришлось часть из бэкапа восстанавливать. Но в столбце cksum были ошибки. Думаю вы уже сделали clear перед скрином , потому и не понятно.

в том то и дело, что clear НЕ делал, в таблице сразу были нули

второй скраб убрал все ошибки

Я бы на вашем месте уже собирал рядом еще один стор и переливал туда важные вм :)

всегда стоит рядом на стреме два сервера с репликами и отдельны для бекапов без zfs, так что есть возможность продолжить наблюдение, так сказать...

я надеюсь в логах есть ответ, смотри syslog или messages или где там у тебя.

я надеюсь в логах есть ответ, смотри syslog или messages или где там у тебя.

да в 4 глаза не нашли... sanoid только ругался, теми же ошибками, что и сама zfs

бэкап второго уровня....

Данные видимо ОЧЕНЬ ценные)

Данные видимо ОЧЕНЬ ценные)

Да, ещё есть третий уровень в другом здание

Да, ещё есть третий уровень в другом здание

Что там, 1с базы? Криптокошельки? Компромат на высшее руководство?

Что там, 1с базы? Криптокошельки? Компромат на высшее руководство?

данные для научных исследований

данные для научных исследований

Блек меса?

Блек меса?

почти что

почти что

Я бы бекапил регионально удаленно, а то черная дыра и все дела...

Я бы бекапил регионально удаленно, а то черная дыра и все дела...

я думаю прорвёмся

Всем привет. Подскажите. а нет подводных камне в mirror, когда делаешь replace дисков одного производителя на другого?

2 Тб SSD kingston хочу на 4тб SAMSUNG_MZ7LH3T8HMLT поменять

2 Тб SSD kingston хочу на 4тб SAMSUNG_MZ7LH3T8HMLT поменять

вообще без проблем, вот если одного размера - то единственно что может быть это несовпадение по размеру

отлично

он кстати просто не даст заменить если не влезет :)

прям напишет об этом мол столько то не хватает

Надо ставить серверные ssd 🤔☝🏻

они чо вечные? да шанс меньше, но тем не менее

они чо вечные? да шанс меньше, но тем не менее

Ну как бы между netac и Intel к примеру )))) Мими

Ну как бы между netac и Intel к примеру )))) Мими

ну как бы да... но вот тошибы обычные хдд у меня уже лет 8+ крутятся... там интел может улететь внезапно

ну как бы да... но вот тошибы обычные хдд у меня уже лет 8+ крутятся... там интел может улететь внезапно

Ну Интел тоже в зеркало ))) чтоб без внезапностей )) ну или пару теровых оптанов Кстати походу дело было в секторе Мне винты отформатировали под 512 и все завелось 👌👌👌

Ну Интел тоже в зеркало ))) чтоб без внезапностей )) ну или пару теровых оптанов Кстати походу дело было в секторе Мне винты отформатировали под 512 и все завелось 👌👌👌

ну так я и говорил что у тебя ашифт 9 не может в 4кн, там вниз нельзя

в смысле ты может шифт 512 байт использовать с сектором 4к но не назад