« Rev
@ru_zfs   488
Fwd »


Egor
И проверять
Алексей
потери задетектятся сразу
Алексей
вопрос скорее всего в искажениях
Shaker
Оно просто разорвет соединение
Egor
Необязательно, если по ssh передавать то он он даже после рестарта сервиса и сети не теряет коннект
Shaker
У меня есть стор на 200 тб, он синхронизируется по nc на другую площадку, при потерях прерывается отправка. На удаленной машине снапшота не наблюается.
Egor
Некоторый тайм-аут терпит
Shaker
ssh по скорости сильно ограничивает, пожалуй через nc быстрее в разы
Shaker
если каналу есть доверие конечно
Δαρθ
scrub?
scrub проверяет что локально данные совпадают с чексуммами. т.е. детектит порчу которая произошла на диске после того как данные на него записали
Δαρθ
мой вопрос как сличить данные там где сделали сенд с теми где приняли по рекв
Δαρθ
ну кроме очевидного пофайлового сравнения но это уже не про zfs )
Алексей
мой вопрос как сличить данные там где сделали сенд с теми где приняли по рекв
я буду очень сильно расстроен если узнаю что ссш чекает то что отправилось/пришло, а зфс нет
Δαρθ
Необязательно, если по ssh передавать то он он даже после рестарта сервиса и сети не теряет коннект
ну так рестарт сервиса не убивает уже существующие процессы держащие коннект, просто-напросто. а рестарт сети если не приводит к закрытию сокетов -- то тоже очевидно что коннект не падает
Δαρθ
я буду очень сильно расстроен если узнаю что ссш чекает то что отправилось/пришло, а зфс нет
ок а если рассмотреть случайные ошибки? ссх чекнуло -- ок, и пока оно лежало для recv -- бит флипнулся например
Egor
Скраб покажет что локальные данные валидны и данные во всех блоках соответствуют их чек-суммам, а ваш вопрос звучит примерно как: "А что если при передаче по сети данные изменятся и чек-суммы под них подгонятся" - такого не может быть
Алексей
ок а если рассмотреть случайные ошибки? ссх чекнуло -- ок, и пока оно лежало для recv -- бит флипнулся например
я думаю отправляются контрольные суммы и чекаются что хеш данных бьется с контрольной суммой
Δαρθ
а значит место для случайной ошибки остается
Алексей
допустим у тебя память ецц
Δαρθ
допустим у тебя память ецц
допустим. но кроме памяти еще есть места без ецц
Алексей
как вообще эти компьютеры работают, не понимаю!
Алексей
столько мест где может ошибка появиться!
Δαρθ
я тоже, когда они стали 7нм
Алексей
но пока, вроде бы работают
Δαρθ
перестал понимать почему до сих пор работают
Алексей
допустим. но кроме памяти еще есть места без ецц
если у тебя память без ецц то тебе уже ничето не поможет
Δαρθ
https://github.com/openzfs/zfs/issues/8888 не один я такую пургу спрашиваю )
Δαρθ
судя по всему придется по старинке -- rhash -r ...
Алексей
да я сам тут постоянно всякую дичь задвигаю)
Δαρθ
если у тебя память без ецц то тебе уже ничето не поможет
как ни странно память с ецц, хвала амд и рызенам
Алексей
но вообще после того сраного бага когда я похерил 100 тер данных.. я проверяю, но на файловом уровне
Алексей
так как на уровне снапшотов всё чётко было
Δαρθ
и то событий исправления ецц вижу если не ежемесячно, то как минимум раз в 2-3 месяца (к вопросу о том как оно работает)
riv
https://github.com/openzfs/zfs/issues/8888 не один я такую пургу спрашиваю )
По сути вопроса. После репликации в датасетах должны остаться по снимку: в источнике и в назначении. Если guid (по моему так параметр называется) одинаковые, то, вероятно, и снимки идентичны. Поискать параметр показывающий количество записи после снимка, там должно быть 0 или сделать датасету rollback к снимку, если надо сделать их одинаковыми.
riv
столько мест где может ошибка появиться!
В других местах ошибки не столь разрушительны, обычно все быстро зависает и не успевает разнести все в клочья )
Eugen
Подскажите, создание пула с ключем -s влияет как то на производительность?
George
тем временем scrub таки решил проблему...
надо смотреть zpool пропертю freeing в будущем, удаление асинхронное
Eugen
Так что на счёт разреженных томов?) Падает ли производительность?
Алексей
Некто ни знает
Eugen
Эх, в инетах тоже не нашел(
Алексей
А тебе вообще зачем такое знаешь
Алексей
Какой у тебя кейс
Eugen
Когда снапкоты делаешь или клоны (не помню что именно провоцирует) с образа который занимает чуть больше половины физ диска, то пишет что не хватает места. Разреженный том решает проблему, но вот падает ли производительность при этом
Eugen
А фигня в том что клон или снепшот системы должен видеть хотя бы столько же свободного места сколько занимает оригинал. Типа что бы поместится, при том что он весит ничего
Алексей
Мне кажется в твоем случае у тебя вариантов два. Смириться с неведомым падением производительности или докупиться железом и не мучаться неизвестностью
Алексей
Какой вариант выберешь ты?
Eugen
Но именно в зфс в этом аспекте криво конечно реализовано
Алексей
Вообще я слышал что зфс это не про производительность
Eugen
Вообще я слышал что зфс это не про производительность
От задач, луны раздавать по сети вообще изи
Δαρθ
в данном случае место хавается 'про запас'
Eugen
емнип никак
Ну по логике да
Nick
надо смотреть zpool пропертю freeing в будущем, удаление асинхронное
а у датасета есть такое свойство? zpool то очень большой на много датасетов...
George
а у датасета есть такое свойство? zpool то очень большой на много датасетов...
нету, сам датасет мог тоже быть удалён, это общий механизм на пул
George
но обычно там 0 должен быть, массовое удаление не часто
Станислав
привет всем, у меня такой вопрос, чисто теоретически, если у меня есть zfs пул, и на нём хранить виртуальные машины c гостевой фс zfs, где-то я читал, что в этом случае может биться гостевая файловая система, вроде даже несколько лет назад игрался с подобной конфигурацией (создавал на zfs пуле файлы, и на этих файлах поднимал внутри zfs, и при этом получал ошибки при скрабе, причем довольно много, но они исправлялись сами собой (пробовал поднимать raidz2 внутри)), так вот к чему вопрос (теперь практический) - есть сервер с proxmox и raidz2, и на нем есть необходимость в виртуалке freebsd, естественно для фряхи лучше использовать zfs рутовый, но будет ли стабильно это работать? (вопросы скорости работы не рассматриваем, нагрузки на неё не будет)
Станислав
привет всем, у меня такой вопрос, чисто теоретически, если у меня есть zfs пул, и на нём хранить виртуальные машины c гостевой фс zfs, где-то я читал, что в этом случае может биться гостевая файловая система, вроде даже несколько лет назад игрался с подобной конфигурацией (создавал на zfs пуле файлы, и на этих файлах поднимал внутри zfs, и при этом получал ошибки при скрабе, причем довольно много, но они исправлялись сами собой (пробовал поднимать raidz2 внутри)), так вот к чему вопрос (теперь практический) - есть сервер с proxmox и raidz2, и на нем есть необходимость в виртуалке freebsd, естественно для фряхи лучше использовать zfs рутовый, но будет ли стабильно это работать? (вопросы скорости работы не рассматриваем, нагрузки на неё не будет)
Зачем внутри ZFS? У Вас уже внешняя среда обеспечивает все те функции, которые необходимы. Внутри ext4 делайте или что там у вряхи стандартное
Egor
делал так несколько раз - никаких проблем не замечал
Станислав
Можно, но зачем?)
Egor
снапшоты, бэкапы с помощью снапшотов
Vladislav
ZFS более юзабельная, чем UFS
Станислав
снапшоты, бэкапы с помощью снапшотов
С этой стороны, конечно, да, если нужно оперировать бэкапами внутри ВМ
Vladislav
В общем ломаться, как мне кажется, не должно. Странно, что ошибок много было
У меня чаще ломался Линукс с ext4. Возможно за 3 года OpenZFS пофиксила ошибки и теперь виртуалки более стабильно работают
Станислав
ну вот так получалось, может быть как-то неадекватно транзакции на транзакции накладывались, вроде и память ЕСС была, и диски все норм, а чексуммы слетали периодически (именно внутри, на железном zfs все отлично)
Egor
я бы попробовал поставить на пуле с виртуалками sync=always, мне кажется в этом могла быть причина
Δαρθ
Это ведь лишние IOPS ?
ну ессно без синка снаружи консистентность внутри ломалась вся суть транзакций в том что в конце концов железо сделает синк и не обманет если внешний слой врет внутреннему про синк - все ппц
Владимир
Зачем жёстко то
« Rev
@ru_zfs   488
Fwd »