Что такое троттлинг?

Он там невпёрся реально

vfz.zfs.l2arc_write_max Вы бы хоть почитали про то как он работает

И у эппл, и у линукс свои плюсы и минусы. Тут чат не про это.

Extfat относится к семейству fat, но это так, для справки

Вот кстати, интересно, планируется хотя бы теоретически, у разрабов openzfs дефрагментация?

Нет, там другие принципы хранения данных. В худшем случае нормы они фрагментированы всегда

Дефрагментация может иметь смысл только при линейном способе хранения данных и линейном чтении.

Понятно, что с чтением у zfs все не так хорошо, но в 2+ раза хуже записи? Стоит еще дальше пытаться настраивать, как думаете? Или плюнуть уже...

Ну вот если я хочу читать файл быстро, а зфс его раскидало буквально по всему диску, от начала до конца, то дефраг бы ускорил чтение файлов на холодную

Для сравнения - на mdraid 7-дисковый страйп с 1М chunk пишет-читает примерно одинаково 900МБ/с

Я поэтому и спрашивал, Вам надёжность или скорость

А почему нельзя на zfs надежно читать с 7 дисков данных потоково большим блоком 700 МБ/с?

Там не все так просто

А в чём проблемы?

Вообще, по идее, если сделать send | receive на чистый пул (с нужными флагами, которые надо смотреть в доке) - это решит проблему дефрага текущего

костыль )

При большинстве сценариев данные фрагментируются снова. И эта фрагментация является ожидаемлй нормой для зфс.

Дефрагментация изначально костыль)

Для сравнения - на mdraid 7-дисковый страйп с 1М chunk пишет-читает примерно одинаково 900МБ/с

Потому что, как написано выше, они обычно располагаются на линейных носителях, и там это даёт эффект. У них нет всяких cow и подобных. Зфс больше похожа на бд с мультиверсионностью, почему для бд нет дефрагментации?

Для сравнения - 7-дисковый raidz1 пишет 650 МБ/с читает 380МБ/с. prefetch hit = 0%. 300 операций впустую. Отсюда и разница в скорости записи и чтения кмк. Соответственно вопрос - почему префетч на одной потоковой задаче чтения 0% и как это исправить.

Вы читали ссылки выше?

Есть советы конкретные? Если нет - спасибо

Плюс 16гб рама под Арк на, сколько там Тб места?

Еще раз - в реальной жизни там 100000 файлов по 12МБ. Сколько тогда надо памяти, умник?

Посчитайте

Послушайте товарищ, вы надоели лично мне уже. Прошу вас не отвечать на мои сообщения

Послушайте товарищ, вы надоели лично мне уже. Прошу вас не отвечать на мои сообщения

Ну вот приедут все заказанные диски - попробую сливать. А пока развивается следующим образом: Попробовал, выключив север, убрать возможную проблему контактов: переприсоединил SATA Data к тому диску, который помечен SLOW. После перезагрузки сервера (опять только со второй попытки - первая висела более получаса 😞 ) состояние zpool status изменилось: https://pastebin.com/9UjVABw3 То есть тот диск, который был SLOW, перестал (?) быть медленным. Более того, ресилверинг на нем прекратился (на двух других дисках ресиверинг как будто продолжается)! Зато статус SLOW получил совсем другой диск. Оставил пул вчера в этом состоянии. Сегодня, спустя более 30 часов, процент ресилвенга не изменился, прогноза времени его завершения нет. То есть как будто все зависло. Файловая система не совсем мертва: некоторые команды ls показали содержимое некоторых папок, но довольно быстро дошел до папки, на которой ls опять подвесил терминал (который был отрыт через ssh). Так что спасти данные копированием пофайловым точно не получится, и что-то мне кажется, что и send/receive не получится. Но завтра, не дожидаясь получения дисков для всего пула, попробую send/receive какого-нибудь одного датасета.

эх хецнер хецнер что ж ты делаешь...

https://searchengines.guru/ru/forum/1088210 ?

We regret to inform you that due to the tense geopolitical situation with Russia, we will be ending our contractual relationship with customers from Russia. Political decisions have led to changes in the legal regulations that affect our business with Russian-based customers. Unfortunately, we can no longer have contracts with customers with Russian postal addresses. This will affect everyone with a Russian address stored on Hetzner Accounts. After we analyze the customer databases, we will send the affected customers a notice of termination for all products and services on Friday, 15 December 2023. It will take effect from 31 January 2024. We recommend that you take appropriate measures now. We very much regret the inconvenience, ask for your understanding in this challenging situation, and thank you for your continued cooperation. We will answer any questions you may have. Please write to us by logging onto your account on our administration interface and going to “Support” in the menu. Kind regards Hetzner Online

М? А разве Хентзнер предоставлял услуги Ру сегменту после начала СВО?

У нас тут есть товарищ с 512гб рама или уже с 1тб?

Но дяяя, сотни тысяч файлов по 12мб, это ведь целых 10 ТЕРРАБАЙТ (максимум)! Вах, действительно, никакого l2arc не хватит

❓Можно ли изменить (не знаю какой) параметр zfs, определяющий количество ошибок, после которого устройство переходит в статус FAULTED ❓ Нагуглил только, что clear помогает, но через некоторое время снова диск отключается. Помогите продержать в коме умирающий пул, пока из него данные выкачиваются. Пул raidz2 полудохлый, выкачиваю из него данные send/recv, но медленно, скорость вначале 80-90 MiB/s, потом до 20-30 падает на длинном промежутке. Все другие задачи с пула снял. Проблема в том, что на одном из vdev два диска сбоят, появляются ошибки READ/WRITE, после небольшого количество которых диски помечается как FAULTED. Пишут, что их отключает сама zfs, когда считает, что ошибок слишком много. Боюсь, что такое случится с каким-нибудь еще диском, и тогда весть пул FAULTED. Пусть лучше выдают пока ошибки, но не отключаются. Как бы порог отключения повысить?

❓Можно ли изменить (не знаю какой) параметр zfs, определяющий количество ошибок, после которого устройство переходит в статус FAULTED ❓ Нагуглил только, что clear помогает, но через некоторое время снова диск отключается. Помогите продержать в коме умирающий пул, пока из него данные выкачиваются. Пул raidz2 полудохлый, выкачиваю из него данные send/recv, но медленно, скорость вначале 80-90 MiB/s, потом до 20-30 падает на длинном промежутке. Все другие задачи с пула снял. Проблема в том, что на одном из vdev два диска сбоят, появляются ошибки READ/WRITE, после небольшого количество которых диски помечается как FAULTED. Пишут, что их отключает сама zfs, когда считает, что ошибок слишком много. Боюсь, что такое случится с каким-нибудь еще диском, и тогда весть пул FAULTED. Пусть лучше выдают пока ошибки, но не отключаются. Как бы порог отключения повысить?

Попробуй ещё так поискать https://github.com/openzfs/zfs/issues/3422 https://github.com/openzfs/zfs/issues/1897 https://serverfault.com/questions/974293/force-zfs-to-ignore-checksum-errors-without-removing-the-offending-disk

По этим ссылкам - исключение проблемы ошибок при посылке снапшотов. У меня другая. Посылка идет без ошибок. Проблема в том, что безотносительно send/receive диски отключаются (переходят в статус FAULTED)

По третьей как мне кажется как раз твой случай

running zpool clear hdd in a loop every 500ms to clear checksum errors before they reach the threshold

Это я сейчас руками делаю 😉. Вопрос, как этот threshold поднять?

adjusting zfs_checksum_events_per_second from 20 to 0 ? Это, наверное, совсем проверку убирает? Но не очень понятны вообще последствия 🤔