@ru_zfs - страница 570 - Telegram web archive

Fedor

Или купить батарейку

Fedor

И использовать без зфс

Алексей

Порядок записи среднего слоя не гарантирует что старые данные будут записаны ранее новых

А что здесь средний слой?

Fedor

А что здесь средний слой?

Кеш

Fedor

Контроллера

Egor

Вариант отсутствия кеша не рассматривается - слишком медленно

Так он будет, просто его поведение было бы более предсказуемо с т.з. zfs

Алексей

Без кеша не помогает даже sync=disabled и длинное txg

Fedor

Зфс не поможет побороть законы физики. Если иопсов нехватает, их не будет хватать и со всем остальным.

Алексей

Понятно 😭

Алексей

Всем спасибо

Lone

может расскажешь как ты убиваешь пул и что тебе пишет в ответ?)

Я об этом написал в первом сообщении: ``` # zpool destroy -f zroot cannot unmount '/mnt/var/tmp': no such pool or dataset could not destroy 'zroot': could not unmount datasets ```

Владимир

Я об этом написал в первом сообщении: ``` # zpool destroy -f zroot cannot unmount '/mnt/var/tmp': no such pool or dataset could not destroy 'zroot': could not unmount datasets ```

А все датасеты этого пула отмонтированы?

Lone

А все датасеты этого пула отмонтированы?

Из документации: Destroys the given pool, freeing up any devices for other use. This command tries to unmount any active datasets before destroying the pool.

Владимир

И?

Владимир

Если размонтирование невозможно потому что фс чем-то занята оно не делает это принудительно)

Владимир

Я вас уверяю

Lone

destroy должен сам размонтировать.

Владимир

destroy должен сам размонтировать.

Но не обязан

Владимир

Ваш датасет чем-то занят, кликните процессы которые его занимают и вперед

Lone

FS ничего не делает. Это - инсталлятор. Он просто всё создает и монтирует. Я уже об этом писал. Ругается то что dataset /var/tmp куда-то волшебным образом делся.

Владимир

Из документации: Destroys the given pool, freeing up any devices for other use. This command tries to unmount any active datasets before destroying the pool.

mount

Владимир

Можно вывод команды?

Artem

destroy должен сам размонтировать.

This command _tries_ to unmount

Lone

Можно вывод команды?

Уже нельзя :) Это же инсталлятор, который я сам делаю. Я уже 100500 раз всё переинсталлировал :) Я нашёл минимальную конфигурацию и последовательность действий, которая не приводит к таким проблемам. Дальше буду пытаться её постепенно усложнять. Спасибо за желание помочь!

Lone

This command _tries_ to unmount

Если что-то лишнее замонтировано, то zpool пишет, что пул is busy ...

Arseniy

Или купить батарейку

Есть ещё промежуточные варианты (пардон, если не прав). Серия MG у Тошиба позволяет "успеть" сбросить данные с кэша на диск в случае сбоя питания за счёт энергии, вырабатываемой при остановке шпинделя 😊

Arseniy

Есть ещё промежуточные варианты (пардон, если не прав). Серия MG у Тошиба позволяет "успеть" сбросить данные с кэша на диск в случае сбоя питания за счёт энергии, вырабатываемой при остановке шпинделя 😊

Но тут вопрос другой, интересный. Сам имею такую Тошибу в зеркале, а в зеркале - Хитачи, который этой опции не имеет. И вот тут уже вопрос, как сработает zfs. Номинально, оба контроллера сообщат, что все записано. Но Тошиба реально запишет, а вот Хитачи - нет. И что потому будет при первом же scrub - вопрос. Я планирую в ближайшее время провести такой эксперимент, дополнительно сообщу о результатах

Fedor

Есть ещё промежуточные варианты (пардон, если не прав). Серия MG у Тошиба позволяет "успеть" сбросить данные с кэша на диск в случае сбоя питания за счёт энергии, вырабатываемой при остановке шпинделя 😊

Кеш на контроллере она не сможет обрабатывать

Fedor

Это разного уровня и объёма кеши

Arseniy

Кеш на контроллере она не сможет обрабатывать

Тошиба заявляет 🤷‍♂

Fedor

Это разные кеши

Fedor

И речь шла не о кеше на диске, а о кеше на контроллере

Arseniy

Пардон, не углядел

Nikolay

hi! Делаю сервер под бэкапы(линейная запись и немного чтения). Сейчас в пуле один vdev на 12*14T дисков(ST16000NM001G-2K) RAIDZ2, потом ещё два таких-же vdev`a добавится. Есть в сервере ещё два SSD 1,7Tb(XS1920SE10103). Вот эти ssd как лучше употребить? Под кэш(l2arc) или собрать special vdev? Большинство ФС в пуле будут с recordsize 1M и компрессией, на парочке сделаю мешьший recordsize и дедуп.

central

От Кеша толку мало будет

Nikolay

в мане про special vdev пишут, что если у меня raidz2, то и special vdev с таким же raidz2 типом собирать. Насколько это не best practice если special vdev из двух дисков в зеркале собрать? A device dedicated solely for allocating various kinds of internal metadata, and optionally small file blocks. The redundancy of this device should match the redundancy of the other normal devices in the pool.

Nikolay

Я думаю что "избыточность" != "тип пула" Всегда в зеркало собираю special, для raidz в том числе.

Nikolay

Я думаю что "избыточность" != "тип пула" Всегда в зеркало собираю special, для raidz в том числе.

при добавлении ругается на это zpool add ztank special mirror /dev/sda /dev/sdb invalid vdev specification use '-f' to override the following errors: mismatched replication level: pool and new vdev with different redundancy, raidz and mirror vdevs, 2 vs. 1 (2-way)

Nikolay

при добавлении ругается на это zpool add ztank special mirror /dev/sda /dev/sdb invalid vdev specification use '-f' to override the following errors: mismatched replication level: pool and new vdev with different redundancy, raidz and mirror vdevs, 2 vs. 1 (2-way)

У меня такого не было. Возможно надо три диска в зеркало таком случае (судя по ошибке), тогда будет 2 и 2. Не думаю что это критично, можно -f использовать.

Алексей

hi! Делаю сервер под бэкапы(линейная запись и немного чтения). Сейчас в пуле один vdev на 12*14T дисков(ST16000NM001G-2K) RAIDZ2, потом ещё два таких-же vdev`a добавится. Есть в сервере ещё два SSD 1,7Tb(XS1920SE10103). Вот эти ssd как лучше употребить? Под кэш(l2arc) или собрать special vdev? Большинство ФС в пуле будут с recordsize 1M и компрессией, на парочке сделаю мешьший recordsize и дедуп.

Special. В дедуп лучше не лезть………..

Алексей

Это я как обладатель аналогичного сетапа с дедупом и вдев под дедуп имеющего ответственно заявляю.

Nikolay

Это я как обладатель аналогичного сетапа с дедупом и вдев под дедуп имеющего ответственно заявляю.

а что с дедупом не так? Медленно работает?

Алексей

а что с дедупом не так? Медленно работает?

Жрет много илпсов на запись

Алексей

Очень много. И чем больше данных накоплено тем больше

Ivan

Очень много. И чем больше данных накоплено тем больше

Интересно, VDO такой проблеме тоже подвержен ?

Алексей

Интересно, VDO такой проблеме тоже подвержен ?

Что такое vdo?

Ivan

Что такое vdo?

надстройка на lvm у красношапок

CARA

Здравствуйте,скажите пожалуйста Jbod и zfs совместим? Что делать когда у тебя контроллер 9361-4i avago?

ivdok

Здравствуйте,скажите пожалуйста Jbod и zfs совместим? Что делать когда у тебя контроллер 9361-4i avago?

Шить в IT mode, это LSI'ный контроллер с другим шильдиком. Но я вижу пока только на 8i прошивки, глубоко в гугле не рылся

CARA

Шить в IT mode, это LSI'ный контроллер с другим шильдиком. Но я вижу пока только на 8i прошивки, глубоко в гугле не рылся

Тоже не нашёл прошивку(вот и думаю как быть(

Ivan

Тоже не нашёл прошивку(вот и думаю как быть(

man cross-flash

Aba

Тоже не нашёл прошивку(вот и думаю как быть(

На сайте lsi еслиьпорыться - можно найти прошивку, как под i4, так и под i8. Ну или на сайтах аваго, делл и прочей нечисти как вариант. Под i4 я точно видел, а вот под i16 уже не скажу

Art

Здравствуйте,скажите пожалуйста Jbod и zfs совместим? Что делать когда у тебя контроллер 9361-4i avago?

Блинский, на форуме Трунаса был офигенный список апробированных контроллеров, но чёт найти не могу Отвечая на вопрос, должен сказать, что лично я так и не понял что такое JBOD-режим у рейд-контроллеров То ли это синоним HBA, то ли не всегда... Вот, скажем, в каком виде у тебя система видит диски, подключенные через эту железяку? В /dev/disks/ всм И получает ли система смарты с дисков?

CARA

Блинский, на форуме Трунаса был офигенный список апробированных контроллеров, но чёт найти не могу Отвечая на вопрос, должен сказать, что лично я так и не понял что такое JBOD-режим у рейд-контроллеров То ли это синоним HBA, то ли не всегда... Вот, скажем, в каком виде у тебя система видит диски, подключенные через эту железяку? В /dev/disks/ всм И получает ли система смарты с дисков?

Смарты получает точно)Ну и диски через /dev/disks/