Pbs делать своп на zfs через отдельный раздел
Так он сам создал, я создал пул из 20 дисков, добавлял диски по dev/disk/by-id/ целиком, сейчас смотрю и вижу разметку как выше
Device Start End Sectors Size Type
/dev/sdx1 128 4194304 4194177 2G Linux swap
/dev/sdx2 4194432 5860533134 5856338703 2.7T Solaris /usr & Apple ZFS
Ну и вопрос какого фига)
Олег
Fedor
Кстати. @gmelikov подскажи плз - свап на зол использовать уже можно, он стабилен? Были как-то времена, когда он мог систему повесить. По аналогии с вставанием системы колом при высоком io на странных медленных носителях
Fedor
В иллюмос свап живет прекрасно
LordMerlin
Ещё лучше он живёт в Zram ))
Fedor
Ну это вообще костыльная история
Fedor
Для андроидов норм, но не для серверов
LordMerlin
Ну тогда, чтобы убрать проблемы с записью в swap можно zswap использовать.
Fedor
Это немного не то, что требуется для серьезной работы)
Олег
По моей проблемке не подскажите?)
Okhsunrog
Ivan
Ну тогда, чтобы убрать проблемы с записью в swap можно zswap использовать.
это может отсрочить, но не решить проблему
LordMerlin
Хотя, вот тоже странно, видимо от дистрибутива зависит. Все Проксмоксы, что ставил на raidz ни разу не делали раздел своп.
LordMerlin
мажоры)))
George
George
На домашних нуждах у меня всё ок с ним, но при использовании гибернации надо быть аккуратным
Станислав
Кстати. @gmelikov подскажи плз - свап на зол использовать уже можно, он стабилен? Были как-то времена, когда он мог систему повесить. По аналогии с вставанием системы колом при высоком io на странных медленных носителях
У меня на 2.1.2 норм живёт, но почти не используется, так как ОЗУ с запасом
George
я с 0.7 точно местами держал, но без гибернации и со свободным озу
Евгений
zfs set aclmode=passthrough rpool
zfs set aclinherit=passtrhough rpool
setfacl -m u:root:rwx /rpool/data/test/
setfacl: /rpool/secure/data/test/: Operation not supported
Привет, подскажите что делаю не так.
Евгений
Владимир
а как в данном контексте связан бекап со снапшотами?
Владимир
я лично не знаю способа бекапа пула который будет плодить снапшоты
Владимир
я что-то тип того делаю, но использую не снапшоты, а ...
Владимир
блин забыл как называется)
Владимир
сек
Владимир
--create-bookmark
Владимир
закладка
Владимир
в общем это тоже самое что и снапшот, только снапшот держит блоки, а закладка нет, она только хранит инфу что такие блоки были
Владимир
syncoid
Владимир
и делаю я это не нативным zfs, а саноидом
Владимир
работает на ура
Egor
я такую конструкцию использую:
gpart backup da0 | ssh admin@backup dd of=/mnt/backup/test/`uname -n`/da0.backup
zfs send -R zroot@clear | ssh admin@backup "gzip -1cf > /mnt/backup/test/`uname -n`/da0p3.img.gz"
Первая команда переносит по сети на бэкап-сервер копию таблицы разделов, вторая - снапшот clear. Т.о. можно выполнять full-backup любой машины, хоть физической хоть виртуальной (и разворачивать хоть на физике хоть в ВМ)
Владимир
я лично такого не делал))
Egor
я их заливаю раз в сутки с заменой, а снапшоты на бэкап-сервере превращают их в инкрементные
Владимир
но тебе ведь не просто со снапшотов на закладки, тебе с нативного способа на саноид
Владимир
боюсь что прийдётся перекачивать, но пробуй конечно без перекачки
Egor
но да, для больших машин такой способ не годится
Владимир
я так синхроню саноидом 13тб, причём в режиме онлайн
Aba
Может кто ставил линухи на нативно шифрованный zfs? Он вообще может грузиться с такого диска?
Владимир
системд службу сделал которая дёргает процесс и постоянно свежие данные тянет
Владимир
[Unit]
Description=Continuous replication of media storage
After=network.target
[Service]
ExecStart=/usr/sbin/syncoid root@0.0.0.0:HDD/media HDD/media --create-bookmark
Restart=always
RestartSec=10000ms
StartLimitInterval=0
[Install]
WantedBy=multi-user.target
Владимир
каждые 10 сек запускается процесс синхрона
Владимир
и что?
Владимир
там много не надо
Владимир
Владимир
постоянно свежие данные)
Владимир
я так понимаю у самого zfs тоже есть такой функционал, саноид это просто удобная прослойка для работы с этим
Владимир
но захочешь ли ты разбираться в тонкостях или просто возьмёшль саноид, вопрос номер 2)
George
Может кто ставил линухи на нативно шифрованный zfs? Он вообще может грузиться с такого диска?
может, не помню шифровал ли вообще весь рут, но хомяк точно шифровал. Нюансы только с бут пулом, либо юзать efistub
Станислав
Может кто ставил линухи на нативно шифрованный zfs? Он вообще может грузиться с такого диска?
Есть пару серверов с зашифрованным рутом.
Нужно только /boot вынести либо на обычный раздел, либо в отдельный пул, который будет соответствовать требования бут-пула для grub.
Если UEFI загрузка, то EFI раздел всегда отдельно, у него вообще свои требования к файловой системе
Станислав
При перезагрузке нужно будет ввести пароль либо прямо на компе, либо, как я сделал, подключившись по ssh в initramfs, вызвать zfs unlock, ввести пароль и вуаля.
Для этой возможности нужно установить dropbear-initramfs, настроить его
Также, при шифрованном root, нужно установить zfs-initramfs
Murmuring
Здравствуйте 👋
Подскажите пожалуйста. При сборке сервера поменял диски местами случайно и теперь состояние пула degraded. Можно как то это исправить ?
central
Zfs по идее ориентируется на метаданввн диски а не на его физическое расположение
Murmuring
Zfs по идее ориентируется на метаданввн диски а не на его физическое расположение
А он у меня выпал в degraded, из-за смены пути (dev/sda, dev/sdb и т.д.)
Andrey
zpool export my-pool
zpool import -d /dev
Murmuring
Которые были
Andrey
он сам должен просканировать
Andrey
см man zpool-import
Andrey
-d dir|device
Uses device or searches for devices or files in dir. The -d option can be specified multiple times.
Egor
Надо было на гпт-метках собирать
Egor
Хоть все диски перепутай - соберётся и слова не скажет
Δαρθ
Andrey
а что мешает пересобрать с /dev/disk/by-id/
zpool import -d /dev/disk/by-id/
Maksym
Игорь
Игорь
Михаил
Кот и есть хозяин)
Mikhail
Приветствую.
Помогите плиз разобратся в связке iscsi+zvol на Linux.
Что имеют - это чтение-запись через iscsi в разы медленнее (по latency - 1мс на zfs, 10-50мс - через iscsi).
Что заметил и что смущается - в OS постоянно пересоздаются ZFS треды:
root 2749615 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2749639 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2749644 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2749646 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_0]
root 2749649 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_1]
root 2749650 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_1]
root 2749652 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_0]
root 2756892 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss_h]
root 2756895 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss_h]
root 2757139 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_h]
root 2757794 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2757797 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2757800 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2758032 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2758137 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
через 10 сек:
root 2780308 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2781053 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2781097 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2781099 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_iss]
root 2781110 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_1]
root 2781112 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_0]
root 2781113 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_0]
root 2781116 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_1]
root 2781284 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2781285 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2781509 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
root 2781540 0.0 0.0 0 0 ? S< 17:58 0:00 [z_wr_int_h]
root 2781550 0.0 0.0 0 0 ? S< 17:58 0:00 [zvol]
Что они такие не постоянные и зачем ядро их постоянно плодит и убивает? Это какая-то недонастройка модуля?
Vladislav
Схему подключения тоже было бы неплохо получить
Vladislav
А то может у Вас все в разных сетях и маршрутизация через кору в двух хопах от сервера
Mikhail
А что по памяти? Кто с другой стороны? Какая скорость Линка? Что между инициатором и таргетом?
Тупит именно таргет сторона, проверил через tcpdump. Между iscsi command и респонсом до 40 мс, хотя zil пишется за 1 миллисекунд. Там raidz на 10 nvme
Mikhail
А то может у Вас все в разных сетях и маршрутизация через кору в двух хопах от сервера
Пакеты все в пределах 150мкс ходят, иногда за 50мкс. Но там копейки по нагрузке получаются.
Mikhail
Более того, отключил sync на zvol - так и диски стали отдыхать, иногда сбрасывая накопившееся.
Mikhail
Замеренные скорости - это 50MiBps на запись и 110MiBps на чтение