Например volblocksize=128K

И sync=disabled 😊

Ограничивайте скорость, как уже писали :) Я вообще скупо ресурсы раздаю, каждый гигабайт памяти для вм как от сердца отрываю :))

как часто? 1% из всего времени когда будет работать другая нагрузка и по которой показатели устраивают? Ну так забейте - идеала нет в мире))

Это уход от проблемы. Интересует же почему так? Я думаю размер блока должен быть не меньше суммарного кол-ва vdev и по несколько секторов на каждом.

Ограничивайте скорость, как уже писали :) Я вообще скупо ресурсы раздаю, каждый гигабайт памяти для вм как от сердца отрываю :))

для меня это выглядит как еслиб я взял и в локальной сети всем выдал по 20 мегабит, потомучто кто-то иногда может пожрать гигабит. и вот все страдают на малой скорости и никогда не могут получить скорость повыше, даже если канал полностью свободен.

смущает что вот такой производительный титан может приуныть оттого что кто-то начал копировать большой файл

ну как только будут другие - они также будут забивать кеш на запись. Если пул не успевает разгрести - можно покрутить тротлинг, я выше кидал

для меня это выглядит как еслиб я взял и в локальной сети всем выдал по 20 мегабит, потомучто кто-то иногда может пожрать гигабит. и вот все страдают на малой скорости и никогда не могут получить скорость повыше, даже если канал полностью свободен.

а потом (когда кто-то отжирает большую часть полосы) - у вас не возникает вопроса почему так медленно у всех сетка работает?

просто на однопоточном тесте нельзя говорить нормально о многопоточной нагрузке

для меня это выглядит как еслиб я взял и в локальной сети всем выдал по 20 мегабит, потомучто кто-то иногда может пожрать гигабит. и вот все страдают на малой скорости и никогда не могут получить скорость повыше, даже если канал полностью свободен.

не пробовали с volblocksize поэксперементировать? Он задается во время создания zvol

про меня и zfs отличная картинка )

👌👍

ZFS I/O (ZIO) - прочитал как "зло" 😁

😁

Судя по обилию смайликов, четверг - это маленькая пятница.

Именно 😁

Из рубрики вредных советов ещё NCQ включить.

а он кстати по дефолту включен. выключил и чтение приуныло почему-то.

ncq позволяет за один оборот сделать несколько io-операций, а последовательное чтение LBA не всегда последовательное на диске. Я думаю по этому.

а он кстати по дефолту включен. выключил и чтение приуныло почему-то.

Он обманывает транзактную подсистему зфс

Он обманывает транзактную подсистему зфс

эдак еще и кэш хдд придется отключить

эдак еще и кэш хдд придется отключить

Зфс с этим сам разбирается :)

хз. везде включено, я смотрю. отключение кэша ссд дало эффект.

Он обманывает транзактную подсистему зфс

не обманывает, при отключении он успевает данные из кэша сбросить в специальную область. контроллер, по слухам, питается при этом от электричества за счет торможения блинов - о как!

Кеш в ссд не причиняет вреда, если он на суперконденсаторе

не обманывает, при отключении он успевает данные из кэша сбросить в специальную область. контроллер, по слухам, питается при этом от электричества за счет торможения блинов - о как!

У него батарейка для хранения в памяти прост

До следующего включения

Кеш в ссд не причиняет вреда, если он на суперконденсаторе

тут приводили сложный пример, объясняющий, что кэш в ssd тормозить всё! Я ближайшее время это намерен проверить.

А там уже флюшит данные

тут приводили сложный пример, объясняющий, что кэш в ssd тормозить всё! Я ближайшее время это намерен проверить.

Ценность зфс в консистентности, а не производительности

Рисковать не стоит - лучше закладывать сразу все косты при расчете проекта

До следующего включения

Это на ssd там он тоже использует заряд, чтобы записать данные. Ну а с HDD какие проблемы 256МБ при линейной записи в участок на границе блина - 1 секунда работы диска. Вполне может успеть хоть на конденсаторе, хоть на самом деле от вращения - это красивое инженерное решение. Замедление диска думаю не испортит ничего ,есть же диски с переменной частотой вращения шпинделя.

Это на ssd там он тоже использует заряд, чтобы записать данные. Ну а с HDD какие проблемы 256МБ при линейной записи в участок на границе блина - 1 секунда работы диска. Вполне может успеть хоть на конденсаторе, хоть на самом деле от вращения - это красивое инженерное решение. Замедление диска думаю не испортит ничего ,есть же диски с переменной частотой вращения шпинделя.

1 секунда работы диска при записи в одну дорожку. А если несколько? Там другие алгоритмы

При каждом ио указываются координаты записи по секторам

Они могут находиться на противоположных концах диска

Исключение смр- там пишется в промежуточный кеш, но тут не тот случай

Это на ssd там он тоже использует заряд, чтобы записать данные. Ну а с HDD какие проблемы 256МБ при линейной записи в участок на границе блина - 1 секунда работы диска. Вполне может успеть хоть на конденсаторе, хоть на самом деле от вращения - это красивое инженерное решение. Замедление диска думаю не испортит ничего ,есть же диски с переменной частотой вращения шпинделя.

И замедление вращения - функция нелинейная и зависит от физики привода, которая плавает от экземпляра к экземпляру, а подсчёт оборотов так и так квантован и не отразит реальных промежуточных цифр. Можно легко промахнуться, особенно, при тающем заряде

По зфс есть бестпраксис. Чтобы не наступать на грабли, их лучше придерживаться

1 секунда работы диска при записи в одну дорожку. А если несколько? Там другие алгоритмы

Там просто есть область скрытая на размер буфера. Он туда скидывает, а после включения считывает эти данные назад в буфер и дозаписывает куда надо имея стабильное питание.

Там просто есть область скрытая на размер буфера. Он туда скидывает, а после включения считывает эти данные назад в буфер и дозаписывает куда надо имея стабильное питание.

Как называется эта технология? Первый раз слышу.

вот гуглю, саому интересоно пруф дать...

Ну неплохо, если так. Только я пока не представляю надёжного способа это сделать

в хдд есть фича сохранения кэша при сбое питания

в хдд есть фича сохранения кэша при сбое питания

Сохранения, или удерживания, вот, в чем вопрос)

https://toshiba.semicon-storage.com/content/dam/toshiba-ss/asia-pacific/docs/product/storage/product-manual/eHDD-MG04ACAxxx-Product-Overview.pdf

пишут что схороняет в флешу

Вообще можно взять фирмварь и дизассемблировать.

потом записывает при включении

пишут что схороняет в флешу

Похоже на правду

Я щас читаю разные толксы, там люди без ссылок утверждают что есть во влешку, а есть как я сказал от вращения диска контроллер питается.

что скажите за опцию к ядру libata.force=noncq ?

Это вроде опция хба

Ну неплохо, если так. Только я пока не представляю надёжного способа это сделать

Here is another one (6TB WD Re WD6001FSYZ-01SS7B1): http://www.hddoracle.com/viewtopic.php?f=3&t=2762 This "enterprise class" drive incorporates WD's newer ARCH7 firmware architecture. Location U12 is occupied by the firmware as in earlier models, but there are an additional 6 x Winbond 8Mbit SPI flash memories at U15 - U20. These 6 "ROMs" were mostly empty when the owner dumped them. At the time we were all puzzled as to the function of these ROMs, but it now appears that they may be involved in power loss protection. In fact there is a bank of 11 capacitors nearby, and these appear to be charged via a diode in a boost converter configuration. The datasheet confirms that Power Loss Data Protection is present in capacities of "5 TB and above": https://www.elfadistrelec.fi/Web/Downloads/-t/ds/WD-RE_SATA_2-6TB-eng-tds.pdf Here is the PCB from the 4TB drive on the same datasheet (WD4000FYYZ): It has a single ROM at U12 and no capacitor bank, ie there are no power loss protection components. По крайне мере про сохранение во флешь это рпвда. Но этого может не быть в бытовых HDD! https://forums.tomshardware.com/threads/wd-red-nasware-3-0-data-protection-in-case-of-power-loss.3531833/ Я, в основном по причине большего срока службы, в пользуюсь в хранилище только жёсткими дисками enterprice-класса: WD Black, HGST Ultrastar и т.д. И я никогда не сталкивался с повреждением пула из-за отключения питания. А таких отключений было очень много.

и чуть ниже про энергию вращения: Power Loss Data Protection - Upon power loss, the drive utilizes stored spindle energy to back up the HDD cache to on-board flash. This allows deeper write queues which boosts performance, while minimizing data loss/corruption such as write splices that can occur during unexpected power losses.

Неплохо

Неплохо

Насчте нелинейности вращения. Я недавно с удивлением узнал, что в моём USB-свистке 4g от huawey стоит аж два процессора: на одном выполняется android 2, на втором фирменная ОС реального времени huawey и они связаны между собой сетевым линком! К обоим ОС можно получить доступ через командную строку, подпаявшись к специальным разъемам на плате... 😳 Думаю посчитать какое-нибудь диф уравнение вообще не проблема, если надо. Но ведь бывает так что на старых дисках это не срабатывает. Уж не из-за изношености ли подшипников и увеличенного трения в них?

Там много переменных

Если я прописал в zfs.conf параметр zfs_arc_max=... как его применить на ходу ?

Вроде бы на ходу он не применяется

Если я прописал в zfs.conf параметр zfs_arc_max=... как его применить на ходу ?

https://forum.proxmox.com/threads/zfs_arc_max-realtime.46172/

прогнал тесты с выключенным в ядре ncq. на одиночном чтении/записи медленней на порядок, в 16 потоков 8 джобов - на два порядка медленней.

прогнал тесты с выключенным в ядре ncq. на одиночном чтении/записи медленней на порядок, в 16 потоков 8 джобов - на два порядка медленней.

Два порядка это 100 ))

именно !

там местами 150-200

возможно основную роль сыграло отключение ncq на ssd. пишут, что ncq на ssd зачем-то очень нужен.

такс. что-то непонятное случиль, вернул ncq - результаты те же

что ж за срань то такая. из всех изменений только ncq выключал/включал. прежние иопсы назад не хотят возвращаться.

что ж за срань то такая. из всех изменений только ncq выключал/включал. прежние иопсы назад не хотят возвращаться.

Баг в прошивке, может питание отключить не на долго?

питание пробовал выключать. в стате по хдд нет дисков с выбивающимися латенси. скраб в данный момент не делается, ребилд тоже.

После отключения питания сбросился ssd кэш? А сколько iops даёт отдельный диск сейчас?

80-120 - норм.

Если брать полностью случайную нагрузку

read/write или по отдельности ?

что ж за срань то такая. из всех изменений только ncq выключал/включал. прежние иопсы назад не хотят возвращаться.

значит ты не нагрузил ссд до этого нормально))) и пошли реальные иопсы после хоть какого-то заполнения😂

После отключения питания сбросился ssd кэш? А сколько iops даёт отдельный диск сейчас?

вообще я ребутал сервер и до этих тестов, например перед отключением кэша ссд и всё ок было.

nvme у меня только после 30% заполнения начинают реальные цифры давать

значит ты не нагрузил ссд до этого нормально))) и пошли реальные иопсы после хоть какого-то заполнения😂

да сейчас в логе и special свободно 95%

а как отключал и включал NCQ? можно ли его состояние проверить?

похоже либо сервер, либо ссд навернулись

после очередного ребута потерялся rpool с проксом

после очередного ребута потерялся rpool с проксом

как-то подозрительно совпало с отключением NCQ