@ru_zfs - страница 374 - Telegram web archive

Semyon 🌀

и данные в пуле, надо смотреть по коду снимает ли он этот флаг если данные с удалённого vdev полностью перезаписаны

это если пул пересобирать на новый?

George

ткните пожалуйста, как пересоздать пул или ещё лучшее решение как можно было бы починить

я про bsd не скажу в плане того что это рутовый пул, но направления основные я описал - изучить отключится ли флаг при перезаписи данных с удалённого vdev - создать новый пул с нужными фичами, перелить в него данные и разобраться с загрузкой с него bsd - обновлять код на том же пуле, чтобы система начала поддерживать этот флаг

nikolay

если что, генератор примерно так прописывается для пула systemctl enable zfs-import@POOLNAME.service

Георгий, попробовал заенейблить пул по вашему совету - выдает ошибку Failed to enable unit: Unit file zfs-import@pgsql.service does not exist. гугл что-то пока ничего вменяемого не выдает..

George

Георгий, попробовал заенейблить пул по вашему совету - выдает ошибку Failed to enable unit: Unit file zfs-import@pgsql.service does not exist. гугл что-то пока ничего вменяемого не выдает..

Странно root@foton:~# systemctl enable zfs-import@test.service Created symlink /etc/systemd/system/zfs-import.target.wants/zfs-import@test.service → /etc/systemd/system/zfs-import@.service. root@foton:~# systemctl disable zfs-import@test.service Removed /etc/systemd/system/zfs-import.target.wants/zfs-import@test.service.

George

2.0.5 чтоли у меня

George

2.0.5 чтоли у меня

вот как он выглядит root@foton:~# cat /etc/systemd/system/zfs-import@.service [Unit] DefaultDependencies=no Before=zfs-import-scan.service Before=zfs-import-cache.service [Service] Type=oneshot RemainAfterExit=yes ExecStart=/sbin/zpool import -N -o cachefile=none %i [Install] WantedBy=zfs-import.target

nikolay

2.0.5 чтоли у меня

у меня 2ю0ю5

nikolay

и centos 8.4

nikolay

вот как он выглядит root@foton:~# cat /etc/systemd/system/zfs-import@.service [Unit] DefaultDependencies=no Before=zfs-import-scan.service Before=zfs-import-cache.service [Service] Type=oneshot RemainAfterExit=yes ExecStart=/sbin/zpool import -N -o cachefile=none %i [Install] WantedBy=zfs-import.target

у меня два скрипта /usr/lib/systemd/system/zfs-import-cache.service /usr/lib/systemd/system/zfs-import-scan.service

nikolay

cache.service будет использоваться при наличии cachefile, scan.service будет сканировать если нет cachefile

George

у меня два скрипта /usr/lib/systemd/system/zfs-import-cache.service /usr/lib/systemd/system/zfs-import-scan.service

хм, в мастере и правда нет теперь его https://github.com/openzfs/zfs/tree/master/etc/systemd/system

George

видать у меня наследие в системе)

nikolay

я задал для пула опцию cachefile=none, по идее должен отработать нужный service, но этого не происходит по непонятной причине..

nikolay

вручную, после загрузки ос, все импортится и монтируется..

nikolay

в багтреккере я нашел уже несколько багов, связанных с моей проблемой, но все они решены либо обновлением до следующей версии, либо никак)

Semyon 🌀

То есть у тебя в памяти теперь пытается подгрузиться libzfs от 11.4, а zfs бинарь от 13.0. Бывает такое. При import можно указать разные опции аля altroot / -R

а в чруте при этом не даёт так же посмотреть статус, хоть и модуль загружен. root@mfsbsd:/$ zpool status -v internal error: failed to initialize ZFS library root@mfsbsd:/$ kldstat Id Refs Address Size Name 1 9 0xffffffff80200000 1f11ef8 kernel 2 1 0xffffffff87e00000 478910 zfs.ko

Mikhail

а в чруте при этом не даёт так же посмотреть статус, хоть и модуль загружен. root@mfsbsd:/$ zpool status -v internal error: failed to initialize ZFS library root@mfsbsd:/$ kldstat Id Refs Address Size Name 1 9 0xffffffff80200000 1f11ef8 kernel 2 1 0xffffffff87e00000 478910 zfs.ko

для этого есть jail-ы :)))

Mikhail

Я честно не знаю как chroot работает в bsd (shame on me). Но по идеи должно работать

Semyon 🌀

для этого есть jail-ы :)))

что именно имеете в виду ?) просто dev не был смонтирован, теперь норм. mount -t devfs devfs /mnt/dev

Mikhail

Сек, гляну откуда именно ошибка летит

Semyon 🌀

но всё равно он мне эту feature включил уже в старом пуле :( zpool get all zroot | grep remo zroot feature@device_removal active local

Semyon 🌀

downgrade у пула нет такого случайно ? :))

Mikhail

downgrade у пула нет такого случайно ? :))

а что мешает проапгрейдить ядро?

Semyon 🌀

а что мешает проапгрейдить ядро?

вроде ничего, НО! 1) я ни разу не делал этого из LiveUSB под msfbsd 2) я привык это делать через сорцы и пересборкой ядра и мира последовательно с каждой версией (STABLE\RELENG) 3) я боюсь что может вылезти ещё что то с прикладом и софтом ну и портами и прочем

Semyon 🌀

в общем то ничего, я не знаю как это пройдёт или нет... сейчас бекаплю пока что данные

Semyon 🌀

да и 11.4 меня устраивала, там было много нареканий на 12 и 13 версию и работу с памятью

Semyon 🌀

да, я не использую бинарное обновление и pkg )

Mikhail

вроде ничего, НО! 1) я ни разу не делал этого из LiveUSB под msfbsd 2) я привык это делать через сорцы и пересборкой ядра и мира последовательно с каждой версией (STABLE\RELENG) 3) я боюсь что может вылезти ещё что то с прикладом и софтом ну и портами и прочем

есть риск конечно, но время помоему пришло )))

Semyon 🌀

есть риск конечно, но время помоему пришло )))

спасибо, отпишусь...

Mikhail

спасибо, отпишусь...

Да можно проще сделать - запустись с 13 ядра со всеми модулями и с проблемного пула

Semyon 🌀

Да можно проще сделать - запустись с 13 ядра со всеми модулями и с проблемного пула

с live cd 13 версии, и что дальше ?

Mikhail

Даже можно так. Собрать ядро и положить его в проблемный пул.

Mikhail

Запуститься с нового ядра (старое рядом останется, его не удалять).

Semyon 🌀

а zfs.ko с ядром идёт, не с миром?

Mikhail

все модули лежат в /boot/kernel

Semyon 🌀

Даже можно так. Собрать ядро и положить его в проблемный пул.

короче взять сорцы свежие от 13, собрать ядро без мира и подложить его и попробовать бут?

Mikhail

короче взять сорцы свежие от 13, собрать ядро без мира и подложить его и попробовать бут?

вот как без мира собрать я не знаю, ибо нужен clang от мира.

Mikhail

Подложить = installkernel в DESTDIR=...

Mikhail

да простят нас боги ZFS :)))

nikolay

все пытаюсь разобраться в своей проблеме (не импортируется пул при загрузке ос), стал проверять все сервисы и получил следующее

nikolay

[root@localhost ]# systemctl enable zfs-import.service Failed to enable unit: Unit file /usr/lib/systemd/system/zfs-import.service is masked.

nikolay

получается у меня не работают стартовые скрипты?

George

получается у меня не работают стартовые скрипты?

Емнип не все из них по дефолту включены, но да, можешь попробовать unmask и enable нужных

nikolay

Емнип не все из них по дефолту включены, но да, можешь попробовать unmask и enable нужных

[root@localhost ]# systemctl umnask zfs-import.service Unknown operation umnask.

nikolay

я понимаю что не все они нужны, но проблема есть и она не решается никак( пойду наверное баг заводить...

nikolay

первый раз с таким столкнулся..

George

[root@localhost ]# systemctl umnask zfs-import.service Unknown operation umnask.

u**mn**ask?

nikolay

u**mn**ask?

?

George

?

unmask, не umnask

nikolay

unmask, не umnask

а) да, это копипаст неправильной команды, не помогает unmask

nikolay

после него то же самое при попытке сделать enable

nikolay

[root@localhost ]# systemctl enable zfs-import.service Failed to enable unit: Unit file /usr/lib/systemd/system/zfs-import.service is masked.

nikolay

причем есть описания такого поведения https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwjQ7uCZouLyAhViQfEDHbmBCj4QFnoECAkQAQ&url=https%3A%2F%2Faskubuntu.com%2Fquestions%2F1193309%2Fservice-zfs-import-is-masked-and-unmask-does-not-help-ubuntu-19-10&usg=AOvVaw0im9StVvkPdwvB9UdpFp0c

nikolay

но рецепт который там описан для centos не подходит..

nikolay

разбираясь с работой стартовых скриптов которые входят в 2.0.5 попутно выяснил что у меня оказывает генерируется кривой кэш файл))

nikolay

делаю zfs export pool, потом zfs import -с /etc/zfs/zpool.cache pool

nikolay

zpool import -c /etc/zfs/zpool.cache pgsql invalid or corrupt cache file contents: invalid or missing cache file

nd

Подскажите, сабж работает на centos stream 8 latest? Из реп

Vyacheslav

Подскажите, сабж работает на centos stream 8 latest? Из реп

https://openzfs.github.io/openzfs-docs/Getting%20Started/RHEL-based%20distro/index.html To simplify installation a zfs-release package is provided which includes a zfs.repo configuration file and public signing key. EL6 Package: zfs-release.el6.noarch.rpm (zfs-0.8.x) EL7.9 Package: zfs-release.el7_9.noarch.rpm (zfs-0.8.x) EL8.4 Package: zfs-release.el8_4.noarch.rpm (zfs-2.0.5)

nd

https://openzfs.github.io/openzfs-docs/Getting%20Started/RHEL-based%20distro/index.html To simplify installation a zfs-release package is provided which includes a zfs.repo configuration file and public signing key. EL6 Package: zfs-release.el6.noarch.rpm (zfs-0.8.x) EL7.9 Package: zfs-release.el7_9.noarch.rpm (zfs-0.8.x) EL8.4 Package: zfs-release.el8_4.noarch.rpm (zfs-2.0.5)

Ставил. Пишет zfs module not found, При modprobe zfs

nd

В папке нет модулей zfs(

Vyacheslav

Все по этой инструкции делал?

nd

Да. Два раза, на разных серваках. Если что kmod ставил

Vladimir

https://openzfs.github.io/openzfs-docs/Getting%20Started/RHEL-based%20distro/index.html To simplify installation a zfs-release package is provided which includes a zfs.repo configuration file and public signing key. EL6 Package: zfs-release.el6.noarch.rpm (zfs-0.8.x) EL7.9 Package: zfs-release.el7_9.noarch.rpm (zfs-0.8.x) EL8.4 Package: zfs-release.el8_4.noarch.rpm (zfs-2.0.5)

El7_9, кстати тоже ставить 2.0.5🤔