вероятно, ради интереса, я пересмотрю весь тред, как появится время. если ребята говорили - сначала разобраться в вопросе и взвесить риски, прежде чем проводить действия - я с ними соглашусь.

но предупреждение о том, что тут не следует флудить и раскрывать негативные стороны личности - в силе

То есть, описанное мною выше — вам по барабану, и делаете выводы вы исходя из собственных фантазий в своём идеальном мирке без учёта обстоятельств собеседника. 1) С гугла я и начал. Собсно, благодаря ему и завершил благополучно — пасип за запоздалую рекомендацию. 😄 2) Какие, нафиг, быкапы? Я тут на новом месте 2 месяца как. Вся инфра развалена. - Один проксмокс — без веб-морды, полудохлый, с древнючим необновлябельным пфсенсом. Обратно в проксмоксы железом не вышел: достаточно сказать, что его предел — 8 гигов ДДР2 (пфсенса с грехом пополам перетащил на новый узел, позже буду менять на шлюз в контейнере). Сделаю из этого полутрупа какое-никакое СХД, ибо быкапов здесь НЕ ДЕЛАЛОСЬ ВООБЩЕ, поскольку СХД — просто НЕТ. - Ещё один — чуть новее (тоже 4 версии), вне кластера. - Два седьмых. Но забиты наглухо. - Часть сервисов — на железе, если так можно обозвать простые компы. В т.ч. самбо-шары, сервер лицензий 1с, ещё несколько — и астериск, у которого посыпался загрузочный рейд на четвертьтерабайтниках. И виртуализировать его пока не представляется возможным: он через плату DАHDI по потоку Е1 с миром соединён, плюс пробрасывает Е1 на Авайю — что не виртуализируется, для чего надо целиком на СИП перейти. Так вот тот новый сервер, с которым я е-гусь, был приобретён до меня и предназначался лишь под основную 1С. Что вообще никак не способствует какой-либо модернизации доставшегося мне барахла. И именно его я заюзал под это вот типа "бэкапа" эплаенсов со старых железяк для установки на последние свежего проксмокса и дальнейшего сбалансированного перераспределения имеющихся виртуалок. С последующим планом перевода их сервисов в компактные контейнеры. И вдруг на новёхоньком узле (муха не размножалась!) забастовало сразу два новых винта. А вместо дельных советов (они таки были, но уже после) — мне рассказывают, как надо жить. :) Так что "ваш совет очень важен для нас, оставайтесь на линии". 😎

вывести, заренеймить, реплейснуть?

/report

Кстати про замену дисков. По ману proxmox надо sgdisk скопировать разметку на новый диск. И подсовывать раздел, а не целиком диск. И переустанавливать grub. Это только потому, что пул загрузочный? Или proxmox не использует новые подходы какие-то?

Прошу прощения за оффтопик, но я б оттуда просто валил. Кроилово вошло у руководства в привычку. Скорее всего, все попадалова будут пытаться переложить на админа.

Не. Это не первый мой опыт по извлечению инфры из сортира. Собсно, потому и позвали. Более того, именно теперь я снова ощущаю себя полным жизни и востребованным.

Ну может быть. Я как-то стараюсь подобные кроилова обходить десятой дорогой, там обычно просят на грош пятков купить, рупь сдачи принести, а уж все остальное - твое вознаграждение.

господа...классика жанра )) грохнул датасет на пуле zfs destroy pool/dataset да не тот )) в принципе ничего критического но хотелось бы "вернуть взад" эот датасет. попробовал zpool history -il pool (посмотре txg на удаление датасета) zpool export pool zpool import -T txg-1 pool но получаю cannot import 'pool': one or more devices is currently unavailable нид хелп

Попробуйте сделать импорт с опцией -d, указав все устройства

в тч и кеш чтения?

он сам тип определит? при обычном импорте норм (там раидз1)

Добрый день! Подскажите пожалуйста, диски в пуле, вывались в статус DEGRADED счётчик ошибок 76 и 103 шт, причем один из дисков считай заменили недавно, но не суть. Сделал zpool clear, все вывалилось в ONLINE, но resiveling не произошел, будто они уже синхронизированы. Вопрос, в статусе DEGRADED диски синхронизируются?

Добрый! Что по вашему мнению делает команда "zpool clear"?

Сбрасывает счётчик ошибок, но я пока не понимаю природы, в статусе degraded работает ли синхронизация дисков в пуле или нет.

Сбрасывает счётчик ошибок, но я пока не понимаю природы, в статусе degraded работает ли синхронизация дисков в пуле или нет.

А сообщество это гугл?

хорошо, в общем то это всё, что она делает. не ясно, почему вы ждете от неё еще и запуска проверки/синхронизации данных.

/report

Всем привет! Сетап: RockyLinux 9, ZFS из его репозитория. Сделал пул командой zpool create -m /opt/datapool datapool /dev/sdb из под root, пул появился в системе. В системе есть сервис, который работает из-под своего пользователя (user_svc), и делает sudo /sbin/zfs create datapool/store1 , потом sudo mkdir /opt/datapool/store1/folder1, и копирует туда данные, что-то с ними делает, в логах сервис всё ок. Любой другой пользователь делает ll /opt/datapool/store1/ - А ТАМ ПУСТО! du -hs /opt/datapool/store1/ тоже ПУСТО!! zfs list показывает, что данные в datapool/store1 есть и их столько сколько и ожидается. После reboot все видят все папки и данные в datapool/store1 как положено. Подскажите, пожалуйста, что это за подземный стук, всю голову уже сломал.... Что ещё делал: заменил sudo /sbin/zfs create datapool/store1 на sudo mkdir -p /opt/datapool/store1 - всё ок работает, но только без zfs, а мне от него снапшоты и сжатие нужны по условиям задачи :( ядро 5.14.0-362.18.1.el9_3.0.1.x86_64 zfs zfs-2.1.14-2.el9.x86_64 selinux - выключен

Созданный каталог виден только одному пользователю, после ребута проблема самоисправляется?

Точнее одному процессу, который его создал. После ребута всё ок.

Одному процессу.... . . . Рестарт процесса к чему-то ведет?

Точнее одному процессу, который его создал. После ребута всё ок.

А процесс где выполняется, не в контейнере случаем?

Одному процессу.... . . . Рестарт процесса к чему-то ведет?

Рестарт процесса на видимость файлов не повлияло - так же не видно.

Так. Контейнеры?

Нет, даже рядом не стояли :) , всё нативно, через systemd.

Убить процесс, перемонтировать ФС?

Вангую проблему в видимости mount, похоже что для процесса свои namespace. Т.к изменения системные - после ребута работает.

на основе доклада подготовили статью https://habr.com/ru/companies/vk/articles/770300/ , буду рад фидбеку (и косякам в личку :) )

Убить понятно, а как перемонтировать: pool через zpool create создан же...

zfs umount потом zfs mount

отмонтируй и подмонтируй pnqvinpq

Отмонтировать отказался, после монтирования всё стало видно.

Вот все и ясно-с. Порядок монтирования.

Т.е. это каталог, в сервисе, надо принудительно примонтировать?

Т.е. это каталог, в сервисе, надо принудительно примонтировать?

Нет, надо изначально монтировать в правильном порядке

Хм, тут всего 2 команды: zpool create от root при установке системы и sudo /sbin/zfs create datapool/store1 в сервисе...

У тебя пересечение монтирования, отсюда проблемы. в /opt/datapool уже то-то есть, ты монтируешь сверху.

/opt/datapool просто пустой каталог, создан при установке - его не надо создавать?

Где-то в недрах настроек есть переупорядочивание монтирорвания. "Обратитесь к своему системному администратору" ))

Дык я админ\программер\devops и есть :)

/opt/datapool просто пустой каталог, создан при установке - его не надо создавать?

Тогда вот эту конкретную задачу должен уметь нагуглить

если знать что гуглить: первый раз сегодня про "переупорядочивание монтирования" услышал, так же как и про отмонтирования датасета...

Это зависит, какая у вас задача. Я не могу сказать, "нужен каталог" - "не нужен каталог"

Он создавался, типа как точка монтирования датапула. Датапулу, точнее zpool create нужен существующий каталог для создания пула?

Вот теперь знаешь

Он его создаст

Он его создаст