Всем привет! версия зфс 2.1.12, ядро 6,1,44. Скорее всего этот вопрос больше на гитхаб, но может быть тут быстрее ответят если я что то упустил, создаю пул и добавляю к нему диск l2cache, делаю экспорт этого пула, создаю второй пул и пытаюсь добавить тот же диск в l2cache, он успешно добавляется и если после этого импортировать первый пул, то он импортируется и у l2cache диска будет статус FAULTED. я пробовал использовать апи зфс и вызвал функцию zpool_in_use() на этот диск в тот момент когда он привязан к первому пулу и пул экспортирован, и он пишет что диск не занят, хотя в это же время если вызвать zpool_read_label(), то он вернёт 4 метки, то есть видит их. судя по коду, зфс не может достать из l2cache свойство vdev_tree и считает что диск свободен. такая же история и с запасными. это баг или так и задумано? разве не должно быть безусловного возврата занятости диска если zpool_read_label() вернул какие то метки зфс?

@gmelikov может быть вы знаете

Всем привет! версия зфс 2.1.12, ядро 6,1,44. Скорее всего этот вопрос больше на гитхаб, но может быть тут быстрее ответят если я что то упустил, создаю пул и добавляю к нему диск l2cache, делаю экспорт этого пула, создаю второй пул и пытаюсь добавить тот же диск в l2cache, он успешно добавляется и если после этого импортировать первый пул, то он импортируется и у l2cache диска будет статус FAULTED. я пробовал использовать апи зфс и вызвал функцию zpool_in_use() на этот диск в тот момент когда он привязан к первому пулу и пул экспортирован, и он пишет что диск не занят, хотя в это же время если вызвать zpool_read_label(), то он вернёт 4 метки, то есть видит их. судя по коду, зфс не может достать из l2cache свойство vdev_tree и считает что диск свободен. такая же история и с запасными. это баг или так и задумано? разве не должно быть безусловного возврата занятости диска если zpool_read_label() вернул какие то метки зфс?

Приветствую, с чего вы решили что L2ARC можно использовать в двух пулах?

Приветствую, с чего вы решили что L2ARC можно использовать в двух пулах?

в этом и вопрос, почему зфс позволяет это сделать

в этом и вопрос, почему зфс позволяет это сделать

Потому что вы первый пул отключили, и из тех дисков можно снова новый собирать

Потому что вы первый пул отключили, и из тех дисков можно снова новый собирать

но зфс не позволяет брать диски например из состава основных или же из slog

а с l2arc прокатывает

но зфс не позволяет брать диски например из состава основных или же из slog

Что значит не позволяет?

А с ключём F можно все

Что значит не позволяет?

ну то есть если взять мой пример, создаю пул, экспортирую этот пул, и хочу создать пул из дисков первого пула, то он напишет что они заняты

А с ключём F можно все

ну это я не рассматриваю) я про обычные условия

Всем привет! версия зфс 2.1.12, ядро 6,1,44. Скорее всего этот вопрос больше на гитхаб, но может быть тут быстрее ответят если я что то упустил, создаю пул и добавляю к нему диск l2cache, делаю экспорт этого пула, создаю второй пул и пытаюсь добавить тот же диск в l2cache, он успешно добавляется и если после этого импортировать первый пул, то он импортируется и у l2cache диска будет статус FAULTED. я пробовал использовать апи зфс и вызвал функцию zpool_in_use() на этот диск в тот момент когда он привязан к первому пулу и пул экспортирован, и он пишет что диск не занят, хотя в это же время если вызвать zpool_read_label(), то он вернёт 4 метки, то есть видит их. судя по коду, зфс не может достать из l2cache свойство vdev_tree и считает что диск свободен. такая же история и с запасными. это баг или так и задумано? разве не должно быть безусловного возврата занятости диска если zpool_read_label() вернул какие то метки зфс?

L2arc сейчас между пулами шарить нельзя, но вроде были мысли такое позволить. Что не ругается - скорее баг

Связанный с тем что l2arc относительно эфемерным до его персистентности был

L2arc сейчас между пулами шарить нельзя, но вроде были мысли такое позволить. Что не ругается - скорее баг

Спасибо!

L2arc сейчас между пулами шарить нельзя, но вроде были мысли такое позволить. Что не ругается - скорее баг

Вы один из разработчиков?

Вы один из разработчиков?

Контрибьютор, и мейнтейню openzfs-docs

Вы один из разработчиков?

Вы наверняка статьи Георгия о ZFS читали на хабре и не только)

Может в курсе, не знаете , ведутся ли работы по оптимизации работы с 4к блоком , уж слишком мало iops

Может в курсе, не знаете , ведутся ли работы по оптимизации работы с 4к блоком , уж слишком мало iops

Вопрос слишком широкий, из перформанса есть патч для поддержки directio, меньше копирований памяти на nvme жизнь могут улучшить, но это уже кейс когда диски сильно быстрые

Вопрос слишком широкий, из перформанса есть патч для поддержки directio, меньше копирований памяти на nvme жизнь могут улучшить, но это уже кейс когда диски сильно быстрые

Подскажите, пожалуйста, что значит "меньше копий памяти"?

Memcopy системные процедуры ядра

Подскажите, пожалуйста, что значит "меньше копий памяти"?

Ага, речь про memcpy

Канал до озу и её скорость становятся узким местом

Может в курсе, не знаете , ведутся ли работы по оптимизации работы с 4к блоком , уж слишком мало iops

Люди пытались и забили, основные грабли это тусовочка из ixsystems

Люди пытались и забили, основные грабли это тусовочка из ixsystems

Ты прям негативишь) вообще кстати со времён 2.0 было оч много патчей на перформанс, особенно Александр Мотин много этим занимался

Ща покажу

Ща покажу

приветы не встречалось ли такое на массиве zfs сыпет ошибками чтения/записи/контрольных сумм взял пару дисков неновых, сыпало ошибки на один диск, поменял, стало сыпать ошибки на тот диск, который вчера был без ошибок совсем

это виртулка TrueNAS 23 на ESXi

В виртуализации вообще опасно зфс запускать, есть много мест по пути от вм до физического диска, где что-то может начать ломаться.

zpool status в консоли и в paste bin.

И можно рулесы почитать, там есть несколько полезных команд, которые могут пригодиться - так же в пастебин

Поделитесь что ли знаниями с коммьюнити

повреждены были снапшоты, виртуалка не стартовала, диск не отмонтировались... решено через vmdk - вручную внутри поправил кто кому родитель, потом прогнал через vmkfstools -i disk-00001.vmdk disk-new.vmdk получил результирующий диск. который по содержимому равен тому, что было в последнем снапшоте этот диск и примонтировал лк новой виртуалке как dedup устройство, массив импортировался

повреждены были снапшоты, виртуалка не стартовала, диск не отмонтировались... решено через vmdk - вручную внутри поправил кто кому родитель, потом прогнал через vmkfstools -i disk-00001.vmdk disk-new.vmdk получил результирующий диск. который по содержимому равен тому, что было в последнем снапшоте этот диск и примонтировал лк новой виртуалке как dedup устройство, массив импортировался

То есть со стороны вари решили проблему, окей

root@truenas-01[/mnt/tank]# zpool status -v tank pool: tank state: DEGRADED status: One or more devices are faulted in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the faulted device, or use 'zpool clear' to mark the device repaired. scan: resilvered 1.98M in 00:00:11 with 0 errors on Thu Mar 7 17:10:27 2024 config: NAME STATE READ WRITE CKSUM tank DEGRADED 0 0 0 mirror-0 DEGRADED 0 8 0 sdg FAULTED 0 14 0 too many errors sdh ONLINE 0 9 0 errors: No known data errors root@truenas-01[/mnt/tank]# zfs --version zfs-2.2.2-1 zfs-kmod-2.2.2-1 root@truenas-01[/mnt/tank]# uname -a Linux truenas-01 6.6.10-production+truenas #1 SMP PREEMPT_DYNAMIC Mon Feb 5 22:05:36 UTC 2024 x86_64 GNU/Linux root@truenas-01[/mnt/tank]#

pastebin сюда не дает вставить, нельзя вставлять ссылки 24 часа

Я попробую найти решение на этот счёт

pastebin сюда не дает вставить, нельзя вставлять ссылки 24 часа

pastebin .com/afefwec

pastebin .com/EG4FLEMy

pastebin .com/9cArsxfq

pastebin .com/9cArsxfq

Нууу, dmesg прям засирается от количества битых секторов

Смарт ещё нужен

pastebin .com/bBbuvAqf

pastebin .com/szBz4uXt

pastebin .com/bBbuvAqf

почему такие ошибки сыпет то на один диск, то на другой?

почему такие ошибки сыпет то на один диск, то на другой?

Бекплейн какой?

Как подключены диски?

меняю провода местами, сыпет на тот е диск, хотя он уже подключен к другому разъему sata потом начинает на другой диск ругаться...

UDMA_CRC_Error_Count и WRITE FPDMA QUEUED обычно указывает, что либо проблема с кабелем, либо слотом с любой из сторон

Manufacturer HUANANZHI Model X10X99-16D

Manufacturer HUANANZHI Model X10X99-16D

Контакты попробуй почистить на жестаке и маме, и кабель прям другой возьми

UDMA_CRC_Error_Count и WRITE FPDMA QUEUED обычно указывает, что либо проблема с кабелем, либо слотом с любой из сторон

Тоже самое все было отвечаю. Никто ниче не чистил. Диски поменяли и проблема ушла. Смарт то что показывает это ерунда, zfs походе требует идеальнейших условий.

Мне ничего не понятно почему. Но я потом эти диски поющал в десктопе и они сыпаться начали а смарт ок

Тоже самое все было отвечаю. Никто ниче не чистил. Диски поменяли и проблема ушла. Смарт то что показывает это ерунда, zfs походе требует идеальнейших условий.

Коннектор со стороны диска тоже подлежит чистке

У меня, к примеру, такое было, когда Г образный сата кабель был на 170 градусов погнут, первые полгода было норм, а потом посыпалось

У меня, к примеру, такое было, когда Г образный сата кабель был на 170 градусов погнут, первые полгода было норм, а потом посыпалось

Интересная инфа

И ещё подобное было, когда скакало напряжение

подскажите пожалуйста, можно ли как-то в существущее зеркало (raid1) добавить ещё зеркало с 2х дисков (по утогу получив raid10) или нужно пересобирать массив добавляя сразу все 4 диска?

подскажите пожалуйста, можно ли как-то в существущее зеркало (raid1) добавить ещё зеркало с 2х дисков (по утогу получив raid10) или нужно пересобирать массив добавляя сразу все 4 диска?

Да, емнип zpool add mirror disk1 disk2 poolname лучше прочесть ман и потренироваться на пуле из файлов

(пул можно создать поверх файлов, а не дисков)

Файл для этого можно создать через truncate -s 1G file1.img (к примеру)

Файл для этого можно создать через truncate -s 1G file1.img (к примеру)

Отлично, потренируюсь спасибо!

Контакты попробуй почистить на жестаке и маме, и кабель прям другой возьми

проблема решена покупкой LSI HBA и серверных проводов SATA ни одной ошибки на всех 5ти дисках а раньше подсыпало ошибки на RAIDZ1 из трех дисков, даже на другой материнке в другом компе итого - обычные SATA кабели по 150 рублей - зло

проблема решена покупкой LSI HBA и серверных проводов SATA ни одной ошибки на всех 5ти дисках а раньше подсыпало ошибки на RAIDZ1 из трех дисков, даже на другой материнке в другом компе итого - обычные SATA кабели по 150 рублей - зло

Ну собственно о чем и речь

Ща покажу

https://github.com/openzfs/zfs/pull/10018#issuecomment-1977725364

собственно либо пихать рамдиски, либо страдать с этими шизиками

а подскажите пожалуйста ещё по поводу такой ситуации: допустим есть пул zfs raid10 с 4SSDx2Tb, 2 зеркала, он заполнился данными примерно на 60-80%, докупили ещё 2 диска что бы расширить дисковое пространство и добавили в данный пул третье зеркало с 2х аналогичных по размеру дисков. а что будет проихсодить дальше? после добавления дисков произойдет ли перебалансировка/перераспределение дискового пространства? или данные будут по прежнему писатся в 2 зеркала до заполнения и после чего будет использоваться 3е зеркало?

Тоже самое все было отвечаю. Никто ниче не чистил. Диски поменяли и проблема ушла. Смарт то что показывает это ерунда, zfs походе требует идеальнейших условий.

Ну я видел когда определенные сочетания мамка-кабель-диск начинают срать ошибкам SATы (особенно если она вскакивает на 6гбит/с), замена одного из компонентов (каждый сам по себе исправен, в других наборах) решает проблему

так что может можно было просто макс скорость саты ограничить и проблема бы ушла

а подскажите пожалуйста ещё по поводу такой ситуации: допустим есть пул zfs raid10 с 4SSDx2Tb, 2 зеркала, он заполнился данными примерно на 60-80%, докупили ещё 2 диска что бы расширить дисковое пространство и добавили в данный пул третье зеркало с 2х аналогичных по размеру дисков. а что будет проихсодить дальше? после добавления дисков произойдет ли перебалансировка/перераспределение дискового пространства? или данные будут по прежнему писатся в 2 зеркала до заполнения и после чего будет использоваться 3е зеркало?

При добавлении, будет писать в наиболее свободную область. Читать будет оттуда, куда записал :))) какой то баланс настанет, когда будете удалять// добавлять новые данные ) Вроде так )

а подскажите пожалуйста ещё по поводу такой ситуации: допустим есть пул zfs raid10 с 4SSDx2Tb, 2 зеркала, он заполнился данными примерно на 60-80%, докупили ещё 2 диска что бы расширить дисковое пространство и добавили в данный пул третье зеркало с 2х аналогичных по размеру дисков. а что будет проихсодить дальше? после добавления дисков произойдет ли перебалансировка/перераспределение дискового пространства? или данные будут по прежнему писатся в 2 зеркала до заполнения и после чего будет использоваться 3е зеркало?

Перебалансировка будет только при перезаписи всего пула

ага. вот как спасибо за разъяснения

Reported to 1 admin(s)

/report

/report

Reported to 1 admin(s)

/report

/report

Reported to 1 admin(s)

Уважаемые гуру от zfs. Подскажите начинающему: Имеется домашний сервер с убунту-cli. Файлопомойка организована как raidz2. 5 дисков по 6Тб. Позавчера начали подтормаживать фильмы. Перезагрузил. отвалился раид. Сделал импорт с -f. Сервер Написал что 3 диска resilvering. И процент 0.12. через час все те же 0.12 и судя по активности сервер ничего не делал. Подождал еще несколько часов, а воз и ныне там. Перезагрузил - сервер начал виснуть на загрузке кэша. Проверил порты, смарты hdd. Все в порядке. Перенес кэш в другое место и сервер загрузился. Но при импорте теперь: