@ru_zfs - страница 399 - Telegram web archive

Мне казалось что так. txg пишутся целиком в блоки из того, что набралось в RAM. А уж насколько это фрагментированный файл - другое дело. Но тут могу заблуждаться

Ilya

вот как-то так на канале 50МБ/сек (тариф "до 500мбит"). Взял максимально жирную по кол-ву сидов раздачу для теста

включение sync=always для датасета, куда льётся торрент по SMB чуть увеличило среднюю скорость:

Δαρθ

Мне казалось что так. txg пишутся целиком в блоки из того, что набралось в RAM. А уж насколько это фрагментированный файл - другое дело. Но тут могу заблуждаться

а если клиент перед отписью делает на файл fallocate, это както помогает zfs? или ей пох?

Ilya

не пробовал

Δαρθ

btrfs например выделяет место заранее. если блоки торрента ложатся по блокам диска, файл получается нефрагментированным. иначе (раздача из неск файлов) -- вхлам

Ilya

по скорости преимущества не увижу, так как на зеркале из 2х5400 ТБ и так упираюсь в тариф при скачивании/записи. А тестировать степень фрагментации не умею/не хочу

Иван

кстати на торрентах зфс себя хорошо ведет?

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#bit-torrent

central

в смысле последовательно в порядке скачки но файл получается фрагментированным вхлам?

Скачал 100 Гб на 500 Гб диск, фрагментация 2%

Δαρθ

https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#bit-torrent

прям первое предложение неверно. Bit torrent performs 16KB random reads/writes я наблюдал размеры блоков от 256кб до 16мб

Ilya

В qbittorrent есть галка "скачивать последовательно" для волнующихся

Ivan

так еще там можно объединять блоки записи

Ivan

и кажется во многих клиентах есть создание файла перед записью в него

Δαρθ

и кажется во многих клиентах есть создание файла перед записью в него

вот я и спрашиваю, помогает ли это хоть как-то zfs

Ivan

вот я и спрашиваю, помогает ли это хоть как-то zfs

кмк ей это не тяжело, но если экономить на спичках, объединение операций записи будет полезным и не на zfs тоже.

Δαρθ

если качать например 100гб, не пообъединяешь особо, рамы не хватит )

Ivan

если качать например 100гб, не пообъединяешь особо, рамы не хватит )

не. размер буфера тоже настраивается. в итоге часто пишешь вместо множества операций мелкими блоков будет меньше операций, но большими блоками.

Δαρθ

типа просто объединить во времени записи, пусть и рандомные?

Ivan

https://www.libtorrent.org/reference-Settings.html#coalesce_reads

central

блин ну это же CoW, если есть возможность писать последовательно будет, иначе уже никакого выбора нету, будет писать как сможет

Ivan

https://libtorrent.org/single-page-ref.html#piece_extent_affinity

Ilya

и кажется во многих клиентах есть создание файла перед записью в него

Так изменённые блоки (перезапись нулей на актуальные) приведет к почтой записи новых блоков с последующим выбрасыванием ненужных pre-allocated блоков же

Δαρθ

в 3.0 обещают поддержку fiemap, можно будет пронаблюдать фрагментацию пофайлово )

Ivan

если так за фрагментацию боишься, то лучше cow не пользовать )

Δαρθ

если так за фрагментацию боишься, то лучше cow не пользовать )

я не то чтобы боюсь, просто интересуюсь

Δαρθ

а вообще да, лет 10 назад наблюдал дичайшую фрагментацию ехт3 от торрентов. замедление всего io с диском раз в 5 было

Δαρθ

интересно, fio может сымитировать как торренты пишутся?

Δαρθ

рандомные записи кусками 2^n, но со смещением о начала. и каждый байт пишется ровно 1 раз

central

интересно, fio может сымитировать как торренты пишутся?

почему бы и нет

Δαρθ

почему бы и нет

я чото курил его доку, последний пункт как сделать не понял

Владимир

Всем привет, кто подскажет как принудительно отмонтировать? # zfs unmount -f HDD/media-staging cannot unmount '/mnt/nfs/staging-dmz/media': unmount failed Так не прокатывает)

Δαρθ

lsof посмотреть, мож ктото файл там открыл

George

а если клиент перед отписью делает на файл fallocate, это както помогает zfs? или ей пох?

Преаллокацию отключить, остальное по дефолту на hdd норм

Δαρθ

Преаллокацию отключить, остальное по дефолту на hdd норм

преаллокация пустого файла как-то меняет поведение ZFS при последующей записи в него?

George

преаллокация пустого файла как-то меняет поведение ZFS при последующей записи в него?

Ну если приложение решает прям нулями предзабить то лишние действия просто

George

На zfs честная преаллокация бессмысленна

Δαρθ

Ну если приложение решает прям нулями предзабить то лишние действия просто

нет, не нулями. а пустым местом. преаллокация не в смысле нули вписать, а заявить оси что мол пусть-ка в тэтом файле будет 100гб пустоты.

Δαρθ

На zfs честная преаллокация бессмысленна

честная - это которая с пустотой? Я так и подозревал, спасибо!

George

нет, не нулями. а пустым местом. преаллокация не в смысле нули вписать, а заявить оси что мол пусть-ка в тэтом файле будет 100гб пустоты.

В рамках файла заранее выделить емнип нельзя, после обсуждений fallocate частично имплементировали https://github.com/openzfs/zfs/pull/10408 Только проверка по месту в момент создания да sparse.