Vladislav
How much space do you need for Metadata storage?
Vladislav
https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954#how-much-space-do-you-need-for-metadata-storage-3
Georg🎞️🎥
https://forum.level1techs.com/t/zfs-metadata-special-device-z/159954#how-much-space-do-you-need-for-metadata-storage-3
Спасибо, это статью читал , на сколько она объективна ?🤔👋
Vladislav
Ну чисто логически, вопрос - какого размера диск должен быть для метаданных ZFS. Ответ - то сколько они сейчас занимают в пуле
George
Как вычислить размер для спешл ? ))) и я так понимаю , он должен быть максимально быстрый ?👋👋👋
https://www.reddit.com/r/zfs/comments/cpg6pp/comment/ewppla6/?utm_source=reddit&utm_medium=web2x&context=3
George
для видео с большим рекордсайзом я не думаю что будет больше 0.3%
George
0.3% это скорее даже для 128к блока
Georg🎞️🎥
Благодарю … думаю для теста подойдёт незеркальная ssd u2👋👋
Georg🎞️🎥
Ну чисто логически, вопрос - какого размера диск должен быть для метаданных ZFS. Ответ - то сколько они сейчас занимают в пуле
А есть команда - посмотреть сколько весят мета? Подскажите ?👋
Vladislav
Ilya Diff
День добрый. Извиняюсь за оффтоп — админы, какой вы тут бот используете для затирания спама? ( по команде "report" )
Fedor
День добрый. Извиняюсь за оффтоп — админы, какой вы тут бот используете для затирания спама? ( по команде "report" )
Добрый. Пока вручную. Есть ряд ботов, которые реагируют на эту команду, оповещая админов.
Arseniy
Есть смысл устанавливать систему на ZFS, или достаточно систему на обычный диск со стабильными бэкапами?
Если система накрылась и необходима чистая установка на новый диск, любой ZFS-pool может быть восстановлен средствами импорта, так? Вернее, внутри самой ОС не содержится никаких данных о ZFS-пуле, верно?
Δαρθ
оффтопик и крамола но все же. держать именно рут удобнее на btrfs. :)
Fedor
лол
Arseniy
Кто то может прокомментировать кейс?
https://qna.habr.com/q/702852?ysclid=l9snujgu68180808566
Arseniy
Почему такая ситуация возникла в принципе? Даже при удалении проблемного device
Vladislav
10й рейд выдерживает выход из строя одного диска
При этом, один диск вышел из строя, а ещё один имеет другое количество транзакций
Александр
... кто пять лет назад собрал RAID0 вместо RAID1 и позавчера это обнаружил по отвалу диска - тот я...
Vladislav
Vladislav
Fedor
Александр
Мощно. Удачи!
Что принципиально важное - успел эвакуировать или нашлось у разработчика. Выдыхаем, бобры
Ivan
кстати, как быть в ситуации, когда zvol не отдает данные блока по причине того что чексуммы не сходятся ? попросить например каким-то паттерном залить или нулями можно при спасении данных ? а то читать zvol через ddrescue как-то оверхедно.
Александр
Александр
в dmesg ругани не было, значит есть вероятность что не того
Проверить обязательно. Если память не ECC, то готовиться к неприятностям
Ivan
Проверить обязательно. Если память не ECC, то готовиться к неприятностям
допустим диски в хороший сервер поставили с нормальными датакабелями, рамой, питанием и прочим. вычитать то как без ddrescue ?
Александр
допустим диски в хороший сервер поставили с нормальными датакабелями, рамой, питанием и прочим. вычитать то как без ddrescue ?
Как-то через zdb должно извлекаться
Fedor
Vladislav
zfs set checksum=off ?
Vladislav
zfs set checksum=off ?
Поправка нет,зато тут есть что-то что скорее всего поможет
https://github.com/openzfs/zfs/issues/11628
Arseniy
Вероятно, оффтоп, но.. можно ли отобразить датасет на zfs-пуле как "обычную" папку в GNOM'e?
Vladislav
Vladislav
Там же автоматически создаётся mount point
Arseniy
Перемонтировал, не появилось отображение
Vladislav
Перемонтировал, не появилось отображение
Пермиссии проверьте
На папку в корне где zfs пул замаунчен
Александр
Пермиссии проверьте
На папку в корне где zfs пул замаунчен
... если "пермисии на папку проверьте", то уж "пермиссии чекните на директорию в руте" ))
Arseniy
Спасибо, все ок. Я прост перекрасноглазил малясь, сменил точку монтирования на другую, не ту, которую хотел))) залез - а там все на месте 👍
Я ещё только-только в Linux влезаю, много необычностей, формат мышления надо поменять после использования форточек
Александр
Спасибо, все ок. Я прост перекрасноглазил малясь, сменил точку монтирования на другую, не ту, которую хотел))) залез - а там все на месте 👍
Я ещё только-только в Linux влезаю, много необычностей, формат мышления надо поменять после использования форточек
Главное, к чему придется привыкать - все логично.
Vladislav
Arseniy
Главное, к чему придется привыкать - все логично.
Вот невозможно поспорить!)
Я в общем-то, изначально хотел все на TrueNas scale сделать... А потом понял, что это та ещё дьявольщина, и лучше построить все ручками на чистом Linux. Пока в шоке от прозрачности и очевидности)
Александр
Vladislav
Arseniy
Не, Я там щупал, не зашло. Докера нет
Александр
Не, Я там щупал, не зашло. Докера нет
Докер - это такой способ очень быстро поделиться своими данными со всем инетом
Arseniy
Тут уже конфликт интересов. Если бояться всего, интернет лучше вообще не подключать) и из дома не выходить)
Александр
Тут уже конфликт интересов. Если бояться всего, интернет лучше вообще не подключать) и из дома не выходить)
Нет. Докер - это ты скачиваешь хз какой версии хз как настроенное хз откуда и запускаешь
Arseniy
Если OpenSource - сиди и кури что там да как. А оно, преимущественно, все такое. Даже любой коммерческий продукт с закрытым кодом неизвестно что делает, так что...
Александр
Если OpenSource - сиди и кури что там да как. А оно, преимущественно, все такое. Даже любой коммерческий продукт с закрытым кодом неизвестно что делает, так что...
Основная идея докера - это доведенное до абсолюта "Хуяк, хуяк и в прод"
Arseniy
В любом случае, мне нужен NextCloud. Альтернативу не вижу. Ставить его на хост - тоже такое себе. Выход: докер
Arseniy
Пара вопросов:
1. Если отключить swap, включить дедупликацию+сжатие, к чему приведет исчерпание свободной ОЗУ?
И вчерашний вопрос, на который так и не нашел ответа:
Если ОС накрылась и необходима чистая установка на новый диск, любой ZFS-pool может быть восстановлен средствами импорта, так? Вернее, внутри самой ОС не содержится никаких данных о ZFS-пуле, обязательно требующихся для дальнейшего импорта, верно?
Vladislav
Пара вопросов:
1. Если отключить swap, включить дедупликацию+сжатие, к чему приведет исчерпание свободной ОЗУ?
И вчерашний вопрос, на который так и не нашел ответа:
Если ОС накрылась и необходима чистая установка на новый диск, любой ZFS-pool может быть восстановлен средствами импорта, так? Вернее, внутри самой ОС не содержится никаких данных о ZFS-пуле, обязательно требующихся для дальнейшего импорта, верно?
К крашу системы со всеми вытекающими. ZFS конечно отдаст память, если сможет, но не ниже определённого уровня
Да, до тех пор установленная версия ZFS новее или такая же как у пула
Arseniy
Про версионность zfs немного не понял, можно подробнее/понятнее?)
Я просто натыкался на статью, где мужик для переноса ФС с одной ОС на другую, заходил сперва в первую ОС, в ней делал export zfs, затем во второй ос воспроизводил те же точки монтирования... И что то как то слишком нагромождено все
Александр
Александр
Про версионность zfs немного не понял, можно подробнее/понятнее?)
Я просто натыкался на статью, где мужик для переноса ФС с одной ОС на другую, заходил сперва в первую ОС, в ней делал export zfs, затем во второй ос воспроизводил те же точки монтирования... И что то как то слишком нагромождено все
Лучше да. Но можно просто import -f
Vladislav
Про версионность zfs немного не понял, можно подробнее/понятнее?)
Я просто натыкался на статью, где мужик для переноса ФС с одной ОС на другую, заходил сперва в первую ОС, в ней делал export zfs, затем во второй ос воспроизводил те же точки монтирования... И что то как то слишком нагромождено все
https://openzfs.github.io/openzfs-docs/man/7/zpool-features.7.html
Ключевые слова read-write
Vladislav
Ниосилил :)
Так чё по физическим и логическим секторам и их влиянию на нарезку разделов в linux?
Александр
Буду откровенен, jail'ы ковырял из под TrueBas Core 😂
jail - это "контейнер вообще"
riv
Кто то может прокомментировать кейс?
https://qna.habr.com/q/702852?ysclid=l9snujgu68180808566
На разных vdev разные TXG:
- возможно есть какое-то кэширование и кэш сбросился при перезагрузке.
- кэширование может быть и в самих дисках. HP рекомендует внутренний кэш диск отключать, но при этом сильно падают iops при записи. Я же думаю, что надо выбирать диски которые гарантированно не теряют этот кэш, т.к. есть механизм его записи, который спользует энергию тормозящегося шпинделя. Надо бы тесты провести, но у меня руки не дошил до этого
- можно попытаться импортировать пул с параметрами -fFXn -o ro:
-f Forces import, even if the pool appears to be potentially active.
-F Recovery mode for a non-importable pool. Attempt to return the pool to an importable state by discarding the last few transactions. Not all damaged pools can be recovered by using this option. If successful, the data from the discarded transactions is irretrievably lost. This option is ignored if the pool is importable or already imported.
-X Used with the -F recovery option. Determines whether extreme measures to find a valid txg should take place. This allows the pool to be rolled back to a txg which is no longer guaranteed to be consistent. Pools imported at an inconsistent txg may contain uncorrectable checksum errors.
For more details about pool recovery mode, see the -F option, above. WARNING: This option can be extremely hazardous to the health of your pool and should only be used as a last resort.
-n Used with the -F recovery option. Determines whether a non-importable pool can be made importable again, but does not actually perform the pool recovery. For more details about pool recovery mode, see the -F option, above.
После этого надо немедленно забекапить все что нужно. Скорее всего, ещё раз его импортировать так ужене получится.
И ещё, недавно я подключил диски своего хранилище резервных копий через sata-usb адаптер (точнее это была usb-хранилка с двумя чипами 5xsata-> 1xsata port multiplayer и чипом 2xSATA->USB3.1)
Через некоторое время пул разрушился. Ничего не помогало, кроме отката до живой TXG указанной выше командой. К сожалению, я недооценил предупреждение к опции -X
WARNING: This option can be extremely hazardous to the health of your pool and should only be used as a last resort.
и попытался записать данные на пул. Система зависла и больше пул не импортируется.
Nikita
В любом случае, мне нужен NextCloud. Альтернативу не вижу. Ставить его на хост - тоже такое себе. Выход: докер
у меня nextcloud в jail под фрёй прекрасно себя чувствует(да, на zfs всё, чтоп не офтопить совсем уж). разве что для подключения online редактирования офисных документов пришлось bhyve виртуалку под debian делать.
Arseniy
Так как я новичок в этой теме, все таки не могу понять, по какой причине TXG могут быть разными. Насколько я понял, при создании mirror запись TXG по каждому из dev идёт "параллельно" и, если настигла неудача в процессе записи, запись не будет завершена с результатом "ок" и мы "откатываемся" к предыдущему состоянию ФС.
Snapshot's не могут позволить восстановить пул в таком случае? Не очень понял как snapshot's взаимодействуют с TXG
Egor
Так как я новичок в этой теме, все таки не могу понять, по какой причине TXG могут быть разными. Насколько я понял, при создании mirror запись TXG по каждому из dev идёт "параллельно" и, если настигла неудача в процессе записи, запись не будет завершена с результатом "ок" и мы "откатываемся" к предыдущему состоянию ФС.
Snapshot's не могут позволить восстановить пул в таком случае? Не очень понял как snapshot's взаимодействуют с TXG
Дисковый кэш на запись. Диск сообщил zfs что данные сброшены на диск а на самом деле они остались в его энергозависимом кэше. И чем больше таких дисков в пуле, тем более вероятно появление такой проблемы при любом сбое
Arseniy
О как интересно, Я думал что диск сообщает об этом когда информация уже записана в сектора, а не в кэш. Так себя ведут все диски, или зависит от каких-то параметров?
И какой самый разумный способ защиты от этого? Постоянный scrub?
LordMerlin
Отключить дисковый кэш. Но тогда сильно просядут ИОПС на запись.
Arseniy
Рассмотрим пример: у нас есть диски Disk1 и Disk2. Имеем разные TXG, в силу того, что данные из кэш Disk2 не были записаны на сам диск в силу каких-то обстоятельств.
Верно ли я понимаю, что при запуске scrub система актуализирует TXG на Disk2? Или будет конфликт?
Если воспользоваться снапшотом, который был создан на момент, когда TXG Disk1 и Disk2 были равны, мы сможем сделать бэкап данных?
Если перевести Disk2 в offline, каков будет статус пула? Degraded?
Vladislav
Roman
Vladislav
(Под нормальным подразумевается не Seagate за 2к рублей, а Datacenter линейки)