А вот на мой вопрос никто так и не ответил, можно ли привести пул в рабочее состояние после замены диска без replace одним лишь scrub? Как гарантированно проверить работоспособность пула? Железобетонно так сказать, а не просто посмотреть что в датасетах что-то есть, да погонять zpool status - ибо сегодня я убедился что ни то ни другое в реале не дает гарантии увидеть проблему в пуле в дикой природе так сказать. К слову после скраба у меня вроде пул жив, сделал zpool clean да и все. Вечерний бэкап уже отработал без ошибок.

когда закончил, я сделал zpool clean и повторно пнул скрабом, на этот ра ошибок уже не было

ну и опять же меня смутило то что --create-bookmark + --no-sync-snap по задумке автора используются для нерегулярных синков, так сказать по необходимости, а не перманентного ежеминутного, про идею которого Вы выше говорили, поэтому я недопонял мысль

Переодично это когда ты ставишь на крон, а у меня будет выполняться друг за другом с неким таймаутом

Ну так это и есть "выполнение с определенной периодичностью", в нашем случае с неким таймаутом, ну да ладно, это игра слов =) Вопрос в конечной задаче - хотите реализовать аналог цефа/гластера но с асинхронной синхронизацией?

Вот именно что нет тут переодичности, не путайте с таймаутом

ребят, оказия некоторая с zfs, есть pve 6й версии на amd epyc процах, материнку сходу не скажу, но какой-то супермикро. zfs не хочет съедать опцию arc_max_size. как-то можно лечить? сталкивался на intel серверах, но там не аффектило и решили не исправлять, а вот на эпиках кушает половину памяти, хотелось бы ограничить.

конкретизируц "не хочет съедать", команду в студию

обе, и через >> в опции и через конфиг файл, ошибок не выдаёт, просто лимиты не ограничивает

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#module-parameters

обе, и через >> в опции и через конфиг файл, ошибок не выдаёт, просто лимиты не ограничивает

при ребуте должно принимать, емнип ещё initramfs может потребоваться пересобрать чтобы туда приехало

на других серваках ок, на конкретно этой платформе не хочет

ладно, если не популярная проблема - я порисёрчу, логов насыплю попозже

ребят, оказия некоторая с zfs, есть pve 6й версии на amd epyc процах, материнку сходу не скажу, но какой-то супермикро. zfs не хочет съедать опцию arc_max_size. как-то можно лечить? сталкивался на intel серверах, но там не аффектило и решили не исправлять, а вот на эпиках кушает половину памяти, хотелось бы ограничить.

если проблема на проксмоксе, то полюбасу об этом есть тред на форуме

Коллеги, подскажите по поводу дисков. Сейчас рабочий ZFS пул из 30 дисков с ashift=12 на 4K дисках по 6ТБ (HUS726T6TAL4204) с двумя hospare. Собираемся добавить 512E диски по 6ТБ (HUS726T6TAL5204) и добавить их в существующий пул. Я как понимаю 512Е это только виртуально указано для совместимости со старыми контроллерами. Но какие могут проблемы с тем, что диски с разными секторами? Не получил ли на этих дисках худшую производительность пула?

по лезвию ходить решили?)

Есть обоснование этому?

Коллеги, подскажите по поводу дисков. Сейчас рабочий ZFS пул из 30 дисков с ashift=12 на 4K дисках по 6ТБ (HUS726T6TAL4204) с двумя hospare. Собираемся добавить 512E диски по 6ТБ (HUS726T6TAL5204) и добавить их в существующий пул. Я как понимаю 512Е это только виртуально указано для совместимости со старыми контроллерами. Но какие могут проблемы с тем, что диски с разными секторами? Не получил ли на этих дисках худшую производительность пула?

лучше добавлять их с ashift=12 , чтобы иметь возможность потом спокойно заменить

Не понял Вас, пул и так собран на ashift=12

zpool add -o ashift=12 mirror disk1 disk2

Сейчас пул из 30 дисков 4К собранный так: zpool create -o ashift=12 -o autoreplace=on -o autoexpand=on -O compression=lz4 mypool mirror disk1 disk2 mirror disk3 disk4 Собираемся добавить еще дисков в пул с сектором на диске 512E zpool add -o ashift=9 mypool mirror disk1 disk2 mirror disk3 disk4 Т.е. хотите сказать это сработает нормально и будет работать стабильно.

в одном пуле могут быть диски с разным ashift

в одном пуле могут быть диски с разным ashift

интересно)

Вот тут есть обсуждение https://www.reddit.com/r/zfs/comments/g37vbn/from_the_perspective_of_a_zfs_pool_with_ashift12/?utm_source=share&utm_medium=web2x&context=3 Но как понял не пришли к общему выводу.

там же самый топовый коммент > Assuming both configs use ashift=12, there should effectively be no difference in performance.

А ниже сомнения

Коллеги, подскажите по поводу дисков. Сейчас рабочий ZFS пул из 30 дисков с ashift=12 на 4K дисках по 6ТБ (HUS726T6TAL4204) с двумя hospare. Собираемся добавить 512E диски по 6ТБ (HUS726T6TAL5204) и добавить их в существующий пул. Я как понимаю 512Е это только виртуально указано для совместимости со старыми контроллерами. Но какие могут проблемы с тем, что диски с разными секторами? Не получил ли на этих дисках худшую производительность пула?

Так же слухи что больше 20 дисков в ZFS пул не реккомендуется

Вообще поведение при разных задержках смущает и разном поведении на одной операции

я бы добавлял с ashift=12, у самого диски 512Е на 12-м ашифте, никакой потери производительности нет, я ашифт выбираю исходя из физического размера а не того размера с каким диск "прикидывается"