А потом нет инкременталки и мои 10tb за выходные не забекапливаются

Да и ограничения у него ресурсов весьма вольные, ionice не защищает от io совсем и легко кладет машинку, а бекапилка может положить на пару секунд-минут машинку пока будет снапшотить, вызывая адский la без ограничений

Это вы про демку что ли в которой половина в глубокой девел ветке?

Она есть, но толку нет почти

Лимичу я по саксимуму, в выходные ад, а у нас 14*7

по nfs или iscsi?

Локал это даже не смешно)))

Толку от этого....

ребят, особо от тематики чата не уходите. по проксмоксам лучше в курилку.

https://www.opennet.ru/opennews/art.shtml?num=53939

Реализация файловой системы обновлена до OpenZFS 2.0 на базе "ZFS on Linux", а содержимое базового окружения синхронизировано с FreeBSD 12-STABLE.

как они до 2.0 обновили, если релиза ещё не было?

#Вопрос Как лучше хранить бэкапы ? Допустим на сервере с бэкапами тоже стоит zfs. Можно: 1) zfs send pool/dataset@now lz4c -z -> zfs recv pool/dataset => в итоге получаю датасеты и зволы на удалённом серваке. 2) zfs send pool/dataset@now lz4c -z -> 'cat > /mnt/backup/vps/billing.zfs.lz4' => получаю архив Всё через ssh. Технически информация в них одна и таже, но в первом случае она хранится в пул/звол, а во втором файлом. Хотя и то и то на зфс. Как лучше ? Может при восстановлении скорость чтение больше где-то или какие-то ещё нюансы ? У кого какой опыт ?

я выбираю первый способ, т.к. он а) точно позволяет убеждаться в реальном времени что с данными на стороне бэкапа полный порядок (передочиские скрабы и невозможность передать битый снимок) б) позволяет удалять снимки на бэкапной стороне (хвост чистить если надо, если место не безлимитное на бэкапном сервере)

уже много лет так бэкаплю проксмоксы и фринасы, на фринасах встроенные скрипты хорошие, и настройка реплик из GUI прямо есть

как они до 2.0 обновили, если релиза ещё не было?

Там 2.0-rc по факту

https://www.opennet.ru/opennews/art.shtml?num=53939

Бгг, переводчеги, в оригинале bringing all upcoming OpenZFS 2.0 (Formerly ZFS on Linux).

да, тоже залез оригинал глянуть на всякий

пока обьем больше 100 gb не дашь)))

и больше 100 восстановилось

Доброе утро. Вопросов нет, я пришел почитать полезное от сообщества) В другом чате порекомендовали.

Доброе утро. Вопросов нет, я пришел почитать полезное от сообщества) В другом чате порекомендовали.

Добро пожаловать!

Подскажите, а есть рейтинг 4ТБ HDD ?

Подскажите, а есть рейтинг 4ТБ HDD ?

уверен, он может не подойти под задачи. в обычных бенчах на парятся с правильными замерами, какой там кэш и всё прочее. там и смр может победить всех.

Так, я предпринимаю последнюю попытку получить свой пул обратно

https://pastebin.com/Xe7VDKGv

Вот что дает vfs.zfs.debug=1

Причем ядро-то с пула читается! gptzfsboot его видит,

Вруби geom debug

Врубил. Дебуг есть, осмысленного в нем нет.

для начала грузиться с vfs.zfs.debug=1 думаю стоит, смотреть консоль на вывод, ещё zdb -l на каждый диск, если он всё видит то не разметка по идее. Я правда в bsd свечку не держал) тематический чатик @ru_zfs

gptzfsboot пул читает и ядро с него грузит. Проблема начинается уже у ядра

Было какое-то заклинание для zpool, в переводе на русский "читай, как есть, плюй на ошибки" - я им вынул содержимое с двух синхронно рухнувших SSD. Но я его не помню

Ни у кого нет идеи?

кстати, в телеге вроде треды появились. мб админ может включить ? так будет проще найти начало проблемы.

кстати, в телеге вроде треды появились. мб админ может включить ? так будет проще найти начало проблемы.

Я всю проблему вроде как рассказал. Начало банальное, повис - ребут - не бут. Бут с mfsbsd, пул есть, импорт не работает

а без ada0 пул не импортится ?

если его вынуть физически

а без ada0 пул не импортится ?

Геморройно его вытаскивать. Я что думаю - снести нахрен geom с ada0, если пул импортнется - присобачить обратно и пусть пересобирается, если не импортнется - расстрелять негодяя и по новой отформатировать

а какая версия зфс ?

5000

Ну, какая там в FreeBSD 12.1. Версия пула помечена как 5000

кажись в старых версиях было важно, чтоб диски местами не перепутали.

(а) не верю, странно очень (б) они по порядку

мб диски были заведены не по id и они проинициализировались не в том порядке

gptzfsboot пул читает и ядро с него грузит. Проблема начинается уже у ядра

интерееесно, т.е. vdev даже импортируется. Либо копаться что bsd-специфичное не даёт загрузиться, либо данные вытащить, загрузившись с ZoL, либо бекапы. На что времени и желания хратит

(а) не верю, странно очень (б) они по порядку

ну я не раз встречал утверждение о важности добавления дисков в зфс по ид.

Геморройно его вытаскивать. Я что думаю - снести нахрен geom с ada0, если пул импортнется - присобачить обратно и пусть пересобирается, если не импортнется - расстрелять негодяя и по новой отформатировать

+1 к идее

+1 к идее

Если общественное мнение ничего более разумного за время, пока подействует баралгин, не придумает - то так и будет

ну я не раз встречал утверждение о важности добавления дисков в зфс по ид.

разница только в эксплуатации, при импорте порядок не важен

я бы предложил посмотреть что предложит дебиановый или убунтовый livecd

Если общественное мнение ничего более разумного за время, пока подействует баралгин, не придумает - то так и будет

был ещё vfs.zfs.recover=1 , я по докам что-то его без бзд под рукой не найду, плюс он не поможет особо, у тебя сам пул живой

vfs.zfs.recover вроде как недоубитые пулы ищет, не более

Не помогло

root@mfsbsd:~ # zdb -c -e ioffe Traversing all blocks to verify metadata checksums and verify nothing leaked ... loading concrete vdev 0, metaslab 5 of 116 ...Assertion failed: space_map_load(msp->ms_sm, msp->ms_allocatable, maptype) == 0 (0x5 == 0x0), file /usr/src/cddl/contrib/opensolaris/cmd/zdb/zdb.c, line 3349. Abort (core dumped)

Это в морг?...

... хотя, gptzfsboot ведь все видит!

Так. Я получил первые разведданые ZFS_DBGMSG(zdb): spa_import: importing ioffe spa_load(ioffe, config trusted): LOADING disk vdev '/dev/gpt/ioffe1': best uberblock found for spa ioffe. txg 894659 spa_load(ioffe, config untrusted): using uberblock with txg=894659 spa_load(ioffe, config trusted): LOADED spa=ioffe async request task=32 spa_import: importing ioffe_CHECKPOINTED_UNIVERSE spa_load(ioffe_CHECKPOINTED_UNIVERSE, config trusted): LOADING disk vdev '/dev/gpt/ioffe1': best uberblock found for spa ioffe_CHECKPOINTED_UNIVERSE. txg 894659 spa_load(ioffe_CHECKPOINTED_UNIVERSE, config untrusted): using uberblock with txg=894659 spa_load(ioffe_CHECKPOINTED_UNIVERSE, config trusted): FAILED: unable to retrieve checkpointed uberblock from the MOS config [error=2] spa_load(ioffe_CHECKPOINTED_UNIVERSE, config trusted): UNLOADING

есть возможность импортировать пул с последней успешной транзакцией

есть возможность импортировать пул с последней успешной транзакцией

-F ?

есть возможность импортировать пул с последней успешной транзакцией

Флаги-то какие? Если -F - пробовал, без эффекта

есть недокоментированный

cannot clear errors for ioffe: I/O error но он как минимум импортировался, спасибо

Не, он, конечно, импортировался, но ушел таки в сторону моря со снижением. Переставляю ОС. Всем спасибо

pool: ioffe state: FAULTED status: The pool metadata is corrupted and the pool cannot be opened. action: Destroy and re-create the pool from a backup source. see: http://illumos.org/msg/ZFS-8000-72 scan: scrub repaired 0 in 7 days 04:39:21 with 0 errors on Fri Oct 2 05:45:58 2020 config: NAME STATE READ WRITE CKSUM ioffe FAULTED 0 0 2 raidz1-0 ONLINE 0 0 12 gpt/ioffe0 ONLINE 0 0 0 gpt/ioffe1 ONLINE 0 0 0 gpt/ioffe2 ONLINE 0 0 0 gpt/ioffe3 ONLINE 0 0 0

Кто объяснит, что это за нафиг - все работает, но пул посыпался? Как такое может быть и как от этого защищаться?

а что за диски?

TOSHIBA MG06ACA800E

А таки шо?

Чую хетцнер

у меня в заметках есть такое: zdb -ul vdev | less zpool import -N -F -f -R /mnt/zroot -T transaction-id zroot zpool import -F -f -o readonly=on -R /tmp/zroot zroot zpool import -F -f -X -o readonly=on -R /tmp/zroot zroot zdb -h zroot

погуглите опции и попробуйте

Поздно, товарищи, zpool create сделан

Чую хетцнер

Нет, селектел

Очень интересный кейс у вас

Следил с интересом, лучше сериалов. Эх, закончился быстро

А память оперативная у вас ецц?

А память оперативная у вас ецц?

в селектеле вродь как настоящие серваки

Вдруг коло

а write cache включен на дисках или нет? и есть ли там ионистор?

хотя диск вроды ынтырпрайзный...

А память оперативная у вас ецц?

Нет

а write cache включен на дисках или нет? и есть ли там ионистор?

Надо посмотреть, это можно как-то без залезания в биос?

конечно